CN112204946A - 数据处理方法、装置、可移动平台及计算机可读存储介质 - Google Patents
数据处理方法、装置、可移动平台及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112204946A CN112204946A CN201980034224.5A CN201980034224A CN112204946A CN 112204946 A CN112204946 A CN 112204946A CN 201980034224 A CN201980034224 A CN 201980034224A CN 112204946 A CN112204946 A CN 112204946A
- Authority
- CN
- China
- Prior art keywords
- camera
- movable platform
- measurement unit
- inertial
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 191
- 238000005457 optimization Methods 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000005096 rolling process Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 description 36
- 210000003128 head Anatomy 0.000 description 19
- 230000036544 posture Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000009434 installation Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000003416 augmentation Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000009012 visual motion Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种数据处理方法、数据处理装置、可移动平台及计算机可读存储介质。其中，数据处理方法，应用于一可移动平台，所述可移动平台上设有第一相机和第一惯性测量单元，所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据，所述方法包括步骤：获取所述第一相机的预估姿态；根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。采用本申请实施例提供的技术方案，在定位相机(即全局快门曝光的相机)无法工作时，也能够持续地、准确地输出优化后的位姿信息。
Description
技术领域
本申请涉及自动控制领域，尤其涉及一种数据处理方法、数据处理装置、可移动平台及计算机可读存储介质。
背景技术
可移动平台，诸如无人飞行器(UAV)等，可以用于执行监视、侦察和勘探任务以供多种民用、商用和军事应用。可移动平台可以由远程用户手动控制，或者能够以半自主或全自主方式操作。可移动平台可以包括传感器，所述传感器被配置成用于收集可在无人飞行器操作期间使用的数据，如图像数据、惯性数据。
目前，可移动平台可使用视觉惯性里程计进行定位、姿态测量、速度测量等。视觉惯性里程计(VIO，visual-inertial odometry)是融合相机采集到的图像帧和IMU惯性测量单元测量得的惯性数据，进行定位、姿态测量、速度测量等的算法。实施视觉惯性里程计时，通常使用触发同步性能较好的全局快门曝光的相机。
对于设置有下视视觉定位相机以及高画质主相机的可移动平台来说，下视视觉定位机为全局快门曝光的相机，用于定位、姿态测量、速度测量等以稳定可移动平台；然而，高画质主相机为卷帘快门相机，用于影像拍摄。但在一些特定情况下，比如可移动平台起飞阶段，下视视觉定位相机贴近地面，没有有效观测，因此无法在起飞阶段使用视觉里程计稳定可移动平台。
发明内容
为应对现有技术中存在的问题，本申请各实施例提供了一种数据处理方法、数据处理装置、可移动平台及计算机可读存储介质。
在本申请的一个实施例中，提供了一种数据处理方法，应用于一可移动平台，所述可移动平台上设有第一相机和第一惯性测量单元，所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据，所述方法包括步骤：
获取所述第一相机的预估姿态；
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
在本申请的另一实施例中，提供了一种数据处理方法，应用于一可移动平台，所述可移动平台上设有第一相机、第二相机及第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据；
所述方法包括步骤：
获取所述第一相机的预估位姿；
基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
在本申请的又一实施例中，提供了一种数据处理装置，应用于一可移动平台，所述可移动平台上设有第一相机和第一惯性测量单元，所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据；
所述数据处理装置包括处理器及存储器；其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
获取所述第一相机的预估姿态；
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
在本申请的又一实施例中，提供了一种数据处理装置，应用于一可移动平台，所述可移动平台上设有第一相机、第二相机及第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据；
所述数据处理装置包括处理器及存储器；其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
获取所述第一相机的预估位姿；
基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
在本申请的又一实施例中，提供了一种可移动平台。该可移动平台包括：
第一相机，用于以卷帘快门的方式采集图像帧；
第一惯性测量单元，用于测量所述可移动平台的惯性数据；
以及
一个或多个处理器，其单独地或共同地被配置成用于：
获取所述第一相机的预估姿态；
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
在本申请的又一实施例中，提供了一个或多个非暂时性计算机可读存储介质，其具有储存于其上的可执行指令，所述可执行指令在一个或多个处理器执行时，使所述计算机系统至少：
获取第一相机的预估姿态；
根据第一惯性测量单元测量得到的惯性数据以及第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态；
其中，可移动平台上设有所述第一相机及所述第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。
在本申请的又一实施例中，提供了一种可移动平台。该可移动平台包括：
第一相机，用于以卷帘快门的方式采集图像帧；
第二相机，用于以全局快门的方式采集图像帧；
第一惯性测量单元，用于测量所述可移动平台的惯性数据；
以及
一个或多个处理器，其单独地或共同地被配置成用于：
获取所述第一相机的预估位姿；
基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
在本申请的又一实施例中，提供了一个或多个非暂时性计算机可读存储介质，其具有储存于其上的可执行指令，所述可执行指令在一个或多个处理器执行时，使所述计算机系统至少：
获取第一相机的预估位姿；
基于第一相机采集到的图像帧，在所述第一相机与第二相机中确定一可用相机；
根据第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿；
其中，可移动平台上设有所述第一相机、所述第二相机及所述第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。
本申请实施例提供的技术方案中，可移动平台上设有第一惯性测量单元及第一相机；其中，第一相机用于以卷帘快门的方式采集图像帧；利用第一惯性测量单元测量得到的惯性数据以及第一相机采集到的图像帧，构建优化方程；通过优化方程对第一相机的预估姿态进行优化，得到第一相机的优化姿态；解决了现有技术中因下视视觉定位相机没有有效观测而无法使用视觉里程计稳定可移动平台的问题；另一方面，本申请实施例提供了一种准确地得到第一相机姿态的方案，对于存在有增稳云台的可移动平台来说，增稳云台直接使用第一相机的姿态信息来进行运动补偿，不会导致画面歪斜，有助于提高第一相机的拍摄画质；又一方面，对于机械结构的增稳云台来说，因无需结合可移动平台的姿态及机械结构中各个机械关节角来确定第一相机姿态，而是准确地得到第一相机姿态，所以对于云台的机械结构安装精度、变形的要求也可以降低。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为图像中出现歪斜影像的示例图；
图2为本申请一实施例提供的数据处理方法的流程示意图；
图3为本申请实施例中将彩色图像中部分像素降采样为一个像素的示意图；
图4为本申请实施例中第一相机的曝光延迟示意图；
图5为本申请一实施例提供的可移动平台的结构示意图；
图6为本申请一实施例提供的数据处理方法的原理性示意图；
图7为本申请另一实施例提供的数据处理方法的流程示意图；
图8为本申请一实施例提供的数据处理装置的结构示意图；
图9为本申请另一实施例提供的数据处理装置的结构示意图。
具体实施方式
下面对本文中涉及到的相关内容进行简要说明。
1、视觉惯性里程计
视觉惯性里程计(VIO，visual-inertial odometry)，是融合相机和IMU(Inertialmeasurement unit，惯性测量单元)的数据，进行定位、姿态测量、速度测量等的算法。目前使用相机和IMU惯性测量单元的视觉惯性里程计主要分为松耦合和紧耦合两类。松耦合的视觉惯性里程计通过两个较为独立的视觉运动模块和惯性导航运动估计模块，分别进行运动的状态估计后，再进行对各个模块输出结果进行融合，得到最终的位姿信息。紧耦合的视觉惯性里程计直接融合两个传感器的原始信息，共同估计，相互制约相互补充，充分利用了传感器的特性，精度较高，但算法的计算量较大，模块耦合较明显。
单目视觉本身具有较大的局限，无法直接输出用于控制的信息。单目视觉系统通常没有尺度，由于对于图片输出的立体信息、深度信息的缺失，通过基本矩阵、本质矩阵或单应矩阵约束计算得到的相机的位置姿态信息没有真实的物理尺度，即具有较为准确的相对姿态，但相对位置的尺度有缩放；通过对极约束和三角化计算得到的空间三维点的位置信息没有真实的物理尺度，即具有相似的形状，但尺寸有所缩放。
IMU惯性测量单元是测量线加速度与角速度的传感器，具有较好的瞬时特性。并且，IMU惯性测量单元的加速度计输出的加速度是直接具有重力尺度的，可以较好的辅助单目视觉恢复尺度。但由于有偏置，IMU惯性测量单元的输出无法直接通过对时间进行积分的方式得到较为准确的速度、位置和姿态。
同时使用视觉观测与IMU惯性测量单元的输出，通过视觉惯性里程计的技术，可以融合得到较为准确的位姿信息，并且IMU惯性测量单元的偏置不容易导致测量的漂移。
2、视觉惯性里程计中的相机
视觉惯性里程计中，通常使用触发同步性能较好的全局快门曝光的图像传感器作为输入。由于全局快门曝光的相机所有的像素在同一时刻进行曝光，所有像素的图像信息是在同一时刻进行采集的，这更加接近传统视觉系统(尤其是光流Optical Flow之类的，要求所有像素描述的是同一时刻的场景信息，并且光照程度相似，移动大致相同)对于被拍摄场景的假设。
而用于拍摄的高画质相机，通常具有较大的感光面积，较为宽广的感光度范围，较大的宽容度，能够适应更大的动态范围，更小的噪声。这些对于视觉定位系统，相对于额外的定位相机来说，都具有更大的优势。但是，高画质的主相机通常有以下问题：
高画质的相机一定是卷帘快门曝光，即所有的像素是按照顺序一一进行曝光，并串行读出的。这些像素的图像信息并非是同一时刻的，而是依次顺序的。在系统运动，即相机曝光时有运动的时候，卷帘快门(Rolling Shutter)曝光的相机曝光顺序带来的偏差会影响视觉惯性测量单元的信息采集，例如，在行进的火车上相对于地面水平运动的相机，拍摄的路旁电线杆是倾斜的，参见图1所示图像。
同时，高画质相机的曝光是由用户进行控制的，在拍摄过程中，用户可以人为的修改相机的曝光快门时间、增益以及曝光补偿，这对于实时性要求较高的视觉定位系统是较为不利的。例如，由于用户人为的调节了主相机图像传感器的曝光参数，造成相邻图像帧之间的亮度值不一致、破坏了传统视觉系统要求的光照不变性；
同时，高画质的主相机是彩色传感器。彩色传感器每个像素的三个RGB红绿蓝通道输出通常是采用拜尔滤镜实现的。彩色图像传感器输出的像素值中，只有相应通道的像素值是其真实值，而其他通道的值是又其相邻的相应像素值进行插值得到。对于人眼来说，插值与真实值得差异无法区分，但对于就要亚像素精度的视觉定位系统而言，直接使用彩色图片进行视觉定位时，会降低精度。
3、机械增稳云台
小型摄像机在手持拍摄或是航拍时，由于载体姿态不稳定，会导致画面晃动、模糊。通过一定的增稳方法，可以增稳摄像机，使拍摄的画面稳定，运动光滑。通常使用的增稳方法有机械云台增稳，电子防抖增稳和光学防抖增稳。光学防抖通过增稳图像传感器实现，增稳的范围较小；电子防抖增稳通过旋转剪裁图像实现增稳，会裁剪画幅并导致画质降低。机械云台增稳通过实时检测摄像机的运动，并控制电机驱动机械框架调整以补偿会带来画面抖动的摄像机运动，实现无损防抖，获得流畅稳定的画面。
三轴增稳云台是指有外-中-内三个旋转框架，可以在三个旋转自由度(偏航-俯仰-滚转)上进行运动补偿增稳的机械增稳云台。三轴增稳云台使用由三轴陀螺仪和三轴加速度传感器构成的IMU惯性测量单元对摄像机的姿态进行测量和反馈，但由于IMU惯性测量单元长时间使用时存在漂移的特性，需要通过姿态滤波算法与外界姿态相融合。IMU惯性测量单元与高画质相机固联，用以测量高画质相机的惯性数据。
航拍无人机上的云台通常使用IMU惯性测量单元与外界姿态相融合的滤波算法进行姿态反馈。由于直接使用IMU惯性测量单元获取的姿态在长时间使用时会有漂移，需要与外界姿态等不易漂移的姿态进行算法滤波后得到较为准确的姿态。外界姿态通常来自三轴加速度计对重力的测量，或者是航拍无人机机体的姿态与各个机械关节角结合后的姿态，但都不是主相机图像传感器的实际姿态，在使用中，常常会出现反馈姿态错误导致图像画面歪斜等现象。同时，这对于IMU惯性测量单元与图像传感器的安装精度要求较高，对于关节角的测量精度要求也较高。
由上述内容可知：
由于航拍无人机上的云台通常使用姿态反馈并非实际主相机的姿态，会导致在航拍使用过程中出现图像画面歪斜的现象，对于航拍过程有很大影响，通常使用后期进行补偿修正。
对于设有定位相机与主相机的航拍无人机来说，由于在起飞前下视相机贴近地面，没有有效观测，无法在起飞阶段使用视觉惯性里程计稳定航拍无人机。
为解决或改善上述内容中提及的问题，提出了如下各实施例。为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。下文所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图2示出了本申请一实施例提供的数据处理方法的流程示意图。如图所示，本实施例提供的所述方法应用于一可移动平台，所述可移动平台上设有第一相机和第一惯性测量单元，所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。
具体的，如图1所示，所述方法包括步骤：
101、获取所述第一相机的预估姿态；
102、根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
103、通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
在一种可实现的技术方案中，所述可移动平台上还设有云台，所述第一相机设置在所述云台上；相应的，上述步骤101“获取所述第一相机的预估姿态”可具体为：
通过云台的动作参数，确定所述预估姿态。
在一具体实施方案中，所述云台为三轴云台；所述三轴云台包括：外框架、中框架及内框架；以及所述云台的动作参数包括：可移动平台机身相对于所述外框架的第一旋转参数；所述外框架相对于所述中框架的第二旋转参数；所述中框架相对于所述内框架的第三旋转参数。
相应的，上述步骤“通过云台的动作参数，确定所述预估姿态”包括：
1011、获取所述第一相机相对于所述可移动平台机身的零点位姿；其中，所述零点位姿为所述云台的动作参数均为零时所述第一相机相对于所述可移动平台机身的位姿；
1012、根据所述零点位姿、所述第一旋转参数、所述第二旋转参数及所述第三旋转参数，确定所述预估位姿。
上述1011中，所述零点位姿可以理解为是设计参数，即由设计决定。
第一相机安装在三轴增稳云台上，由于云台存在增稳补偿的旋转动作，同时有可能存在其他外部控制操作(如可移动平台的操纵者的控制操作)控制云台的姿态视角(如俯仰角)，导致第一相机与可移动平台的机身(即第一惯性测量单元)的相对旋转并不固定。因此，需要通过云台机械框架的关节角粗略估计第一相机的预估姿态：Rex与tex。第一相机的预估姿态中的Rex等于第一相机相对于第一惯性测量单元的相对旋转RiC，即上述步骤1012可采用如下公式(1)计算得到预估位姿中的Rex。
Rex＝RiC＝RORMRIRiC0 (1)
其中：RiC0为关节角为0时，第一相机相对于第一惯性测量单元的相对旋转，由设计决定，是一个已知量；
RO为可移动平台机身相对于云台外框架的旋转；
RM为云台外框架相对于中框架的旋转；
RI为云台中框架相对于内框架的旋转；
云台上还包含有：用于驱动外框架相对可移动平台机身旋转的第一电机、用于驱动中框架相对外框架旋转的第二电机以及驱动内框架相对中框架旋转的第三电机。上述RO、RM及RI可通过读取第一电机、第二电机及第三电机各自对应的电机编码器的计数来确定。
第一相机的预估姿态中的tex(即第一相机相对于第一惯性测量单元的相对位移变换)通常在机械设计时确定，即在可移动平台设计及安装时，第一相机在可移动平台上的位置就已确定，且不会再发生变化。因此，第一相机的预估姿态中的tex是一个已知量。
上述102中，可利用优化算法来构建优化方程。该优化方程可理解为：包含有构建出的目标函数，并确定了一组求解参数；所述求解参数使目标函数的值最小。其中，求解参数中包含有第一相机的优化位姿：
当然，在具体实施时，还可基于实际需要增加其他参数，比如：图像帧上某一个特征点的三维坐标等。在一些实施方式中，目标函数可以是线性函数或非线性函数，可以使用迭代求解技术使目标函数最小化，以便获得第一相机的优化位姿。下文将结合具体实例对目标函数的具体实现进行说明。
上述103中，将预估姿态作为优化方程的入参，通过优化迭代过程后即可得到所述第一相机的优化位姿。
这里需要补充的是，本文各实施例中提及的惯性测量单元是指一种电子装置，其使用一个或多个加速度感应器测量被测体(即本实施中提及的可移动平台)当前的速度、加速度(例如包括各坐标轴方向上的平移速度、加速度；绕各坐标轴的角速度、角加速度等)等；使用一个或多个陀螺仪检测在方向、翻滚角度和倾斜姿态上的变化。当然，有一些惯性测量单元还可包括磁力计，主要用于协助校准方向偏移。本文中各实施例中的惯性测量单元测得的惯性数据可包括但不限于：绕各坐标轴的角速度、沿各坐标轴的平移速度、绕各坐标轴的角加速度、沿各坐标轴的角加速度。这里提到的坐标系可以是可移动平台的坐标系，当然也可以是其他坐标系，本实施例对此不作具体限定。
本实施例提供的技术方案中，可移动平台上设有第一惯性测量单元及第一相机；其中，第一相机用于以卷帘快门的方式采集图像帧；利用第一惯性测量单元测量得到的惯性数据以及第一相机采集到的图像帧，构建优化方程；通过优化方程对第一相机的预估姿态进行优化，得到第一相机的优化姿态；解决了现有技术中因下视视觉定位相机没有有效观测而无法使用视觉里程计稳定可移动平台的问题；另一方面，本实施例提供了一种可直接、准确地得到第一相机姿态的方案，对于存在有增稳云台的可移动平台来说，增稳云台直接使用第一相机的姿态信息来进行运动补偿，有助于提高第一相机的拍摄画质；又一方面，对于机械结构的增稳云台来说，现有技术中是利用下视定位相机采集的图像及第一惯性测量单元采集的图像帧优化出可移动平台的姿态；然后再结合可移动平台姿态及机械结构中各个机械关节角来确定第一相机姿态；由于第一相机姿态是间接得到的，可能会因为云台的机械结构安装精度低、发生的未知形变等等，使得这样得到的第一相机姿态准确度低，进而会出现反馈的第一相机姿态错误导致第一相机采集的图像歪斜等现象；现有技术，要想提高精度一种方式是提高云台机械结构的安装精度、控制形变等；而本实施例提供的技术方案，因为是利用第一相机采集的图像帧及第一惯性测量单元测得的惯性数据，直接、准确地得到第一相机姿态，对于云台的机械结构安装精度、变形的要求也就可降低。
在第一相机拍摄出的图像是彩色图像时，彩色图像中每个像素的三个RGB红绿蓝通道输出通常是采用拜尔滤镜实现的。彩色图像各像素的像素值中，只有相应通道的像素值是其真实值，而其他通道的值是又其相邻的相应像素值进行插值得到。对于人眼来说，插值与真实值得差异无法区分，但对于就要亚像素精度的视觉定位系统而言，直接使用彩色图像进行视觉定位时，会降低精度。因此，上述实施例提供的所述方法中，在构建优化方程前，还包括如下步骤：
104、对所述第一相机采集到的当前图像帧进行降采样，以得到灰度图像。
通过对第一相机各通道进行分别降采样滤波后相加的方式，将彩色图片转换为灰度图，可以消除拜尔滤镜对于特征点追踪精度带来的影响。例如，图3示的将4x4即16个像素降采样为1个像素，即可消除拜尔滤镜带来的影响。
在一种可实现的技术方案中，上述步骤102“根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程”，包括：
S11、提取所述灰度图像的特征点信息。
S12、根据所述惯性测量单元测量得到的惯性数据以及所述特征点信息，构建所述优化方程。
上述步骤S11中，可利用特征点算法从灰度图像中提取一个或多个特征点信息，特征点信息可以是灰度图像中的一部分，例如：边缘、角点、兴趣点、斑点、褶皱等；这些特征点可与所述灰度图像的其他点区别开来。特征点算法可包括但不限于：边缘检测算法、角点检测算法、斑点检测算法或褶皱检测算法等等。在具体实施，本实施例提供的所述方法可利用角点检测算法从灰度图像中提取一个或多个特征点信息。
在一种可实现的技术方案中，上述步骤S12可基于紧耦合的视觉惯性里程计系统理论，使用特征点信息及惯性测量单元测量得到的惯性数据构建优化方程。
在另一种可实现的技术方案中，上述实施例提供的所述方法步骤102“根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建所述优化方程”：可具体包括：
S21、当所述当前图像帧符合设定要求时，确定所述当前图像帧为关键帧；
S22、当确定所述当前图像帧为关键帧时，根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的当前图像帧和历史关键帧，构建所述优化方程。
其中，所述设定要求包括但不限于如下中的至少一种：
所述当前图像帧与前一关键帧之间的旋转角变化大于第一阈值；
所述当前图像帧与前一关键帧之间的位移变化大于第二阈值；
所述当前图像帧与前一关键帧的匹配特征点数量小于第三阈值；
所述当前图像帧与前一关键帧的匹配特征点分布在不同图像区域的数量小于第四阈值。
采用卷帘门相机采集的图像帧还存在时间对齐的问题。由于第一相机是卷帘快门曝光相机，第一相机的曝光并非由IMU硬件触发。由于曝光时刻不一致，第一相机会有一个延迟，参见图4所示。因为图像曝光延迟会影响到惯性数据的时间对准，进而影响了定位精度。因此，需要估计出曝光的时间差td。其中，时间差td可采用如下方法实现：
首先，获取经验值及工程测量值；
然后，将经验值与工程测量值作为滤波器的输入，经过滤波器的处理得到时间差td。
视觉惯性里程计系统工作时，相机和IMU获取数据速率如图4所示。由图4可知，IMU工作速率远远大于相机图像获取频率，因此在两帧视觉图像之间，存在许多IMU数据。为此，需要利用前述时间差td来获取两帧图像之间的所有惯性数据，以利用获取到的所有惯性数据及两帧图像来构建优化方程。即本实施例提供的所述方法中，步骤102“所述根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程”，包括：
S31、获取所述当前图像帧对应的第一时间戳和一历史图像帧对应的第二时间戳；
S32、通过预设的曝光延迟对所述第一时间戳和所述第二时间戳进行修正；
S33、获取修正后的所述第一时间戳和第二时间戳之间的惯性数据；
S34、根据所述修正后的所述第一时间戳和第二时间戳之间的惯性数据，以及所述第一相机在所述第一时间戳和所述第二时间戳间采集到的图像帧，构建优化方程。
进一步的，所述可移动平台上还设有第二惯性测量单元，所述第二惯性测量单元用于测量所述第一相机的惯性数据。相应的，本实施例提供的所述方法还可包括如下步骤：
105、获取所述第一相机采集当前图像帧过程中所述第二惯性测量单元测量得到的惯性数据，得到所述第一相机的惯性数据；
106、基于所述第一相机的惯性数据，确定所述第一相机的工作状态是否满足第一要求；
107、在所述第一相机的工作状态符合第一要求的情况下，将所述优化位姿反馈至所述可移动平台，以便所述可移动平台基于所述优化位姿做出相应的控制响应。
具体的，所述第一要求可包括但不限于：
所述第一相机惯性数据中含有的绕一预设的坐标轴旋转的角速度均小于第五阈值；其中，所述坐标轴可以第一相机坐标系中的轴；
所述第一相机惯性数据中含有的沿所述坐标轴方向上的位移速度均小于第六阈值。
上述步骤106～107可理解为：当第一相机视觉惯性里程计工作稳定时，即可将最新帧IMU惯性测量单元与第一相机的相对旋转RiC用于云台的参考姿态反馈。判断第一相机工作稳定的策略如下：
卷帘快门效应较小时，可以输出主相机参考姿态。判断方法如下：
本帧图像采集时，记录第二惯性测量单元中陀螺仪的输出，绕第一相机坐标系y轴旋转的最大角速度小于设定的第五阈值ωthd；
ωy<ωthd
本帧图像采集时，第二惯性测量单元测量得到的沿第一相机坐标系的y轴的平移速度小于设定的第六阈值；
vy<vthd
上述步骤105～107可在上述实施例提供的所述方法执行前执行，即通过上述105～107判断第一相机工作稳定时，再执行上述实施例方法提供的各步骤，如步骤101～103。
进一步的，除判定第一相机工作稳定，来确定是否可将最新帧IMU惯性测量单元与主相机的相对旋转RiC用于云台的参考姿态反馈之外，还可通过判定可靠特征点较多时，也可输出采用上述实施例提供的方法得到的第一相机的优化姿态。这里在确定可靠特征点时，需利用历史关键帧，从中筛选出可靠的特征点。即本实施例提供的所述方法还可包括如下步骤：
108、获取所述当前图像帧和历史关键帧的所有特征点中符合第二要求的特征点数量；
109、当所述特征点数量大于第七阈值时，将所述优化位姿反馈至所述可移动平台，以使得所述可移动平台能够基于所述优化位姿做出相应的控制响应。
具体实施时，满足所述第二要求的特征点包括如下中的至少一项：
最大重投影误差小于第八阈值的特征点；
在所述当前图像帧和历史关键帧中出现次数大于第九阈值的特征点；
当前优化得到的三维坐标与前次优化中的三维坐标差异小于第十阈值的特征点。
在一具体实现方案中，上述步骤108～109可理解为如下过程：
(1)遍历所有当前图像帧和历史关键帧中匹配的特征点，判断其中最大的重投影误差是否足够小(小于第八阈值)：
其中，重投影误差指利用旋转矩阵R和平移矩阵t将一帧图像3D点投影到另一帧图像中，投影点和实际2D对应点之间的误差。由于相机位姿未知以及观测点的噪声，重投影误差是必然存在的。
(2)判断在关键帧keyframe中出现的次数足够多(大于第九阈值，比如在80％的关键帧中都跟踪匹配成功)
(2)遍历所有特征点的三维坐标Pi，判断其中每个点的三维位置在前次优化中的变化足够小(小于第十阈值)
error＝max‖Pi-Pi_last‖
由上述内容可知，上述步骤108～109可在上述实施例提供的所述方法得到第一相机的优化姿态后，再判断该优化位姿是否要反馈给云台，以便云台做出相应的增稳动作响应。
进一步的，所述可移动平台上还设有第二相机，所述第二相机用于以全局快门的方式采集图像帧；所述第二相机与所述第一惯性测量单元固联；相应的，本实施例提供的所述方法还可包括如下步骤：
110、在所述第二相机采集的图像帧不可用的情况下，触发所述根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建优化方程的步骤。
具体的，第二相机采集的图像帧不清楚、或从中无法提取出特征点(如刚起飞时拍摄到的地面图像，该图像中具有区别于其他点的特征点太少，此时会认为第二相机无有效观测)等，均认为不可用。具体实施时，可通过图像识别方法或其他设定的图像判定规则，来判断所述第二相机采集的图像帧是否可用。
进一步的，本实施例提供的所述方法还可包括如下步骤：
111、在所述第二相机采集的图像帧不可用的情况下，根据所述第二相机的优化位姿，确定所述可移动平台机身的位姿信息。
进一步的，本实施例提供的所述方法还可包括如下步骤：
112、在所述第二相机采集的图像帧可用的情况下，对所述第一惯性测量单元测量得到的惯性数据以及所述第二相机采集到的图像帧进行联合优化，得到所述可移动平台机身的位姿信息。
为了便于理解，下面结合一具体可移动平台，对本申请实施例提供的技术方案进行说明。
如图5所示，所述可移动平台800包括：机身、设置在机身上的第二相机840、设置在机身上的云台810，第一相机820设置在所述云台810；第一相机820通过所述云台810可相对机身移动。所述机身上还设有第一惯性测量单元860及第二惯性测量单元821。所述第一相机820用于以卷帘快门的方式采集图像帧；所述第二相机840用于以全局快门的方式采集图像帧；所述第一惯性测量单元860用于测量所述可移动平台的惯性数据；第二惯性测量单元821用于测量所述第一相机820的惯性数据。进一步的，如图5所示，该可移动平台还可包括：动力系统830。该动力系统可以包括电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机。
本申请提供的技术方案为利用第一相机采集的图像帧及第一惯性测量单元测量的惯性数据完成第一相机位姿优化的方法。具体的，本方案可包括如下几个大部分。分别为：数据准备阶段、数据处理阶段及输出阶段；参见图6所示。
第一部分，数据准备阶段
数据准备阶段包括：图像处理，时间对齐。
1.1、图像处理
将第一相机采集到的图像帧中4x4即16个像素降采样为1个像素，即对图像帧进行降采样处理可消除拜尔滤镜带来的影响。
1.2、时间差估计及时间戳修正
1.2.1估计曝光的时间差，具体可参见上文中的相应内容，此处不作赘述
1.2.2时间戳修正
具体实现方案为：
首先、获取所述当前图像帧对应的第一时间戳和一历史图像帧对应的第二时间戳；
然后、通过预设的曝光延迟对所述第一时间戳和所述第二时间戳进行修正；
随后、获取修正后的所述第一时间戳和第二时间戳之间的惯性数据。
第二部分，数据处理阶段
数据处理阶段包括：估计第一相机预估姿态；特征点提取；紧耦合位姿优化。
2.1第一相机预估姿态
第一相机的预估姿态包括：Rex与tex。其中，Rex可采用如下公式得到：
Rex＝RORMRIRiC0
其中：
RiC0为关节角为0时，主相机相对于IMU的相对旋转，由设计决定；
RO为机体相对于云台外框架的旋转；
RM为云台外框架相对于中框架的旋转；
RI为云台中框架相对于内框架的旋转；
其中，各框架的旋转，即RO、RM、RI可通过读取对应电机编码器即可确定得到。
另外，tex通常在机械设计时确定，之后不会发生改变，因此该值是一个可获得的已知量。
2.2特征点提取
判断第一相机当前采集的图像帧是否为关键帧；
针对当前图像帧及第一相机采集到的历史关键帧，先从中提取特征点(比如采用Harris Corner detection algorithms，角点检测算法)，并做多帧图像之间特征点的跟踪匹配(Kanade–Lucas–Tomasi feature tracker)。
2.3、紧耦合位姿优化
基于紧耦合的视觉惯性里程计系统理论，紧耦合的使用所述特征点信息及修正时间戳后的惯性数据，构建类似如下的优化方程：
其中，投影变换过程简写为p’＝π(RPi+t),π代表投影函数；注意，此处的第一相机投影过程使用的第一相机内参为默认值，并非实际值，实际值要在后面的优化步骤优化得到。
Pi为某个特征点的三维坐标，pi是此特征点在第i帧图像上的像素坐标，
表示当前帧相对于前一帧的旋转平移变换；
Rex,tex表示第一相机与第一惯性测量单元之间的外参，Riex即表示在第i帧图像时，第一相机与第一惯性测量单元之间的相对旋转。由于第一相机与第一惯性测量单元由云台连接，并非固联，故对于滑动窗口中的每一帧，都需要估计相对旋转；这里需要补充的是：紧耦合的视觉惯性里程计系统理论中，存在一个滑动窗口机制，滑动窗口中有固定数量的图像帧，当有新采集到的图像帧时，滑动窗口就会移动以添加新采集的图像帧，并剔除滑动窗口中的一个历史图像帧。滑动窗口内的图像帧数量可以是5个、10个或者其他数量。有关滑动窗口的内容，可参见现有技术中的相关内容，本文不作赘述。
Rex2,tex2表示第二相机与第一惯性测量单元之间的外参。由于第二相机与第二惯性测量单元固联，故仅需要估计一个相对旋转；
td表示第一相机的曝光延迟，即时间差；
rb(·)表示第一惯性测量单元的残差函数；
arg代表本次优化的参数(目标)是
Pi,Riex,tex,Rex2,tex2,td.
这里需要说明的是：rb(·)表示第一惯性测量单元的残差函数是在惯性测量单元预积分过程中得到的，其中，IMU预积分的作用是计算IMU数据的观测值(即IMU预积分值)以及残差的协方差矩阵和雅各比矩阵。残差可以表示为：
其中，X可包含上述的
Riex,tex,Rex2,tex2,td。具体的，上述残差
的具体数学表达可参见现有技术中的视觉惯性里程计理论的内容，如VINS-MONO中描述的内容，此处不作赘述。
第三部分、输出阶段
当第一相机工作稳定时，即可将最新帧第一惯性测量单元与第一相机的相对旋转RiC用于云台的反馈。第一相机工作稳定的策略如下：
1、卷帘快门效应较小时，可以输出第一相机的优化姿态。判断方法如下：
本帧图像采集时，记录第二惯性测量单元中陀螺仪的输出，绕第一相机坐标系的y轴旋转的最大角速度小于设定的ωthd；
ωy<ωthd
本帧图像采集时，沿第一相机坐标系y轴的平移速度较小；
vy<vthd
2、可靠地特征点较多时，可以输出第一相机的优化姿态。利用关键帧，去除不可靠的feature特征点，筛选出可靠的feature特征点。策略如下：
a)遍历所有特征点，判断其中最大的重投影误差是否足够小(小于某个阈值)：
b)判断在keyframe中出现的次数足够多(大于某个阈值，比如在80％的关键帧中都跟踪匹配成功)
c)遍历所有特征点的三维坐标Pi，判断其中每个点的三维位置在前次优化中的变化足够小(小于某个阈值)
error＝max‖Pi-Pi_last‖
本申请实施例提供的技术方案，使用第二相机、第一相机和第一惯性测量单元组成视觉惯性里程计，在第二相机无法工作的时候，也能够持续输出位置、姿态、速度等位姿信息；同时，进行第一相机与机体IMU惯性测量单元的外参(相对姿态)的自动估计，直接用于云台的姿态反馈，使得云台的相对姿态准确，不出现歪斜等现象，对于云台的机械结构安装精度、变形的要求也可以降低。
图7示出了本申请另一实施例提供的数据处理方法的流程示意图。本实施例提供的所述方法应用于一可移动平台，所述可移动平台上设有第一相机、第二相机和第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。具体的，参见图所示，所述方法包括：
301、获取所述第一相机的预估位姿；
302、基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
303、根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
在一种可实现的技术方案中，上述步骤302:“基于所述第一相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机”可包括：
3021、判定所述第二相机采集的图像帧是否符合图像要求；
3022、符合的情况下，确定所述第二相机为可用相机。
承接上述技术方案，上述步骤302“基于所述第一相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机”，还可包括如下步骤：
3023、不符合的情况下，确定所述第一相机为可用相机。
假设所述可用相机为第一相机；相应的，上述步骤303“根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿”，具体为：
3031、根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
3032、通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
这里需要补充的是：有关上述步骤3031～3032更详尽的内容，可参见上文中相应的描述，此次不再赘述。
假设所述可用相机为第二相机；相应的，上述步骤303“根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿”，具体为：
3031’、对所述第一惯性测量单元测量得到的惯性数据以及所述第二相机采集到的图像帧进行联合优化，得到所述可移动平台机身的位姿信息；
3032’、根据所述可移动平台机身的位姿信息，对所述预估位姿进行优化得到所述优化位姿。
上述步骤3031’的具体实现过程，可参见现有技术中融合全局快门曝光的相机采集的图像帧及惯性测量单元测量得到的惯性数据实现的视觉惯性里程计技术，本文对此不作赘述。
上述步骤3032’的具体实现过程，可具体为：将可移动平台机身的位姿信息与所述预估位姿进行结合，得到优化后的所述优化位姿。
图8示出了本申请一实施例提供的数据处理装置的结构示意图。如图所示，本实施例提供的方案应用于一可移动平台，所述可移动平台上设有第一相机和第一惯性测量单元，所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。相应的，所述数据处理装置包括：
获取模块11，用于获取所述第一相机的预估姿态；
构建模块12，用于根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
优化模块13，用于通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
进一步的，本实施例提供的所述数据处理装置还可包括：降采样模块。所述降采样模块，用于对所述第一相机采集到的当前图像帧进行降采样，以得到灰度图像。
进一步的，所述构建模块12还用于：
提取所述灰度图像的特征点信息；
根据所述惯性测量单元测量得到的惯性数据以及所述特征点信息，构建所述优化方程。
进一步的，所述构建模块12还用于：
当所述当前图像帧图像符合设定要求时，确定所述当前图像帧为关键帧；
当确定所述当前图像帧为关键帧时，根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的当前图像帧和历史关键帧，构建所述优化方程。
进一步的，所述设定要求包括如下中的至少一种：
所述当前图像帧与前一关键帧之间的旋转角变化大于第一阈值；
所述当前图像帧与前一关键帧之间的位移变化大于第二阈值；
所述当前图像帧与前一关键帧的匹配特征点数量小于第三阈值；
所述当前图像帧与前一关键帧的匹配特征点分布在不同图像区域的数量小于第四阈值。
进一步的，所述构建模块12还用于：
获取所述当前图像帧对应的第一时间戳和一历史图像帧对应的第二时间戳；
通过预设的曝光延迟对所述第一时间戳和所述第二时间戳进行修正；
获取修正后的所述第一时间戳和第二时间戳之间的惯性数据；
根据所述修正后的所述第一时间戳和第二时间戳之间的惯性数据，以及所述第一相机在所述第一时间戳和所述第二时间戳间采集到的图像帧，构建优化方程。
进一步的，所述可移动平台上还设有第二惯性测量单元，所述第二惯性测量单元用于测量所述第一相机的惯性数据；相应的，所述数据处理装置还包括：
所述获取模块11，还用于获取所述第一相机采集当前图像帧过程中所述第二惯性测量单元测量得到的惯性数据，得到所述第一相机的惯性数据；
第一确定模块，用于基于所述第一相机的惯性数据，确定所述第一相机的工作状态是否满足第一要求；
反馈模块，用于在所述第一相机的工作状态符合第一要求的情况下，将所述优化位姿反馈至所述可移动平台，以便所述可移动平台基于所述优化位姿做出相应的控制响应。
进一步的，所述第一要求包括：
所述第一相机惯性数据中含有的绕一预设的坐标轴旋转的角速度均小于第五阈值；
所述第一相机惯性数据中含有的沿所述坐标轴方向上的位移速度均小于第六阈值。
进一步的，所述获取模块11，还用于获取所述当前图像帧和历史关键帧的所有特征点中符合第二要求的特征点数量；
所述反馈模块，还用于当所述特征点数量大于第七阈值时，将所述优化位姿反馈至所述可移动平台，以使得所述可移动平台能够基于所述优化位姿做出相应的控制响应。
进一步的，满足所述第二要求的特征点包括如下中的至少一项：
最大重投影误差小于第八阈值的特征点；
在所述当前图像帧和历史关键帧中出现次数大于第九阈值的特征点；
当前优化得到的三维坐标与前次优化中的三维坐标差异小于第十阈值的特征点。
进一步的，所述可移动平台上还设有云台，所述第一相机设置在所述云台上；所述获取模块11，还用于通过云台的动作参数，确定所述预估姿态。
进一步的，所述云台为三轴云台；所述三轴云台包括：外框架、中框架及内框架；以及所述云台的动作参数包括：
可移动平台机身相对于所述外框架的第一旋转参数；
所述外框架相对于所述中框架的第二旋转参数；
所述中框架相对于所述内框架的第三旋转参数；
所述获取模块11，还用于获取所述第一相机相对于所述可移动平台机身的零点位姿；其中，所述零点位姿为所述云台的动作参数均为零时所述第一相机相对于所述可移动平台机身的位姿；根据所述零点位姿、所述第一旋转参数、所述第二旋转参数及所述第三旋转参数，确定所述预估位姿。
进一步的，所述可移动平台上还设有第二相机，所述第二相机用于以全局快门的方式采集图像帧；所述第二相机与所述第一惯性测量单元固联；
所述数据处理装置还包括：
触发模块，用于在所述第二相机采集的图像帧不可用的情况下，触发所述构建模块执行所述根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建优化方程的步骤。
进一步的，所述的数据处理装置还可包括：
第二确定模块，用于在所述第二相机采集的图像帧不可用的情况下，根据所述第二相机的优化位姿，确定所述可移动平台机身的位姿信息。
进一步的，所述的数据处理装置还包括：
第二确定模块，还用于在所述第二相机采集的图像帧可用的情况下，对所述第一惯性测量单元测量得到的惯性数据以及所述第二相机采集到的图像帧进行联合优化，得到所述可移动平台机身的位姿信息。
这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图9示出了本申请另一实施例提供的数据处理装置的结构示意图。本实施例提供的技术方案应用于一可移动平台，所述可移动平台上设有第一相机、第二相机、第一惯性测量单元及第二惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。具体的，所述数据处理装置，包括：
获取模块21，用于获取所述第一相机的预估位姿；
确定模块22，用于基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
优化模块23，用于根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
进一步的，所述确定模块22还用于：
判定所述第二相机采集的图像帧是否符合图像要求；
符合的情况下，确定所述第二相机为可用相机。
进一步的，所述确定模块22还用于：
不符合的情况下，确定所述第一相机为可用相机。
进一步的，所述可用相机为第一相机时，所述优化模块23用于：
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
进一步的，所述可用相机为第二相机时，所述优化模块23用于：
对所述第一惯性测量单元测量得到的惯性数据以及所述第二相机采集到的图像帧进行联合优化，得到所述可移动平台机身的位姿信息；
根据所述可移动平台机身的位姿信息，对所述预估位姿进行优化得到所述优化位姿。
这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
本申请一实施例还提供一种数据处理装置，应用于一可移动平台，所述可移动平台上设有第一相机和第一惯性测量单元，所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。具体的，所述数据处理装置包括处理器及存储器；其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
获取所述第一相机的预估姿态；
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
进一步的，所述处理器在执行构建优化方程动作之前，还用于：
对所述第一相机采集到的当前图像帧进行降采样，以得到灰度图像。
进一步的，所述处理器在根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建优化方程时，具体用于：
提取所述灰度图像的特征点信息；
根据所述惯性测量单元测量得到的惯性数据以及所述特征点信息，构建所述优化方程。
进一步的，所述处理器在根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建所述优化方程时，具体用于：
当所述当前图像帧符合设定要求时，确定所述当前图像帧为关键帧；
当确定所述当前图像帧为关键帧时，根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的当前图像帧和历史关键帧，构建所述优化方程。
进一步的，所述处理器在所述根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建优化方程时，具体用于：
获取所述当前图像帧对应的第一时间戳和一历史图像帧对应的第二时间戳；
通过预设的曝光延迟对所述第一时间戳和所述第二时间戳进行修正；
获取修正后的所述第一时间戳和第二时间戳之间的惯性数据；
根据所述修正后的所述第一时间戳和第二时间戳之间的惯性数据，以及所述第一相机在所述第一时间戳和所述第二时间戳间采集到的图像帧，构建优化方程。
进一步的，所述可移动平台上还设有第二惯性测量单元，所述第二惯性测量单元用于测量所述第一相机的惯性数据；以及
所述处理器还用于：
获取所述第一相机采集当前图像帧过程中所述第二惯性测量单元测量得到的惯性数据，得到所述第一相机的惯性数据；
基于所述第一相机的惯性数据，确定所述第一相机的工作状态是否满足第一要求；
在所述第一相机的工作状态符合第一要求的情况下，将所述优化位姿反馈至所述可移动平台，以便所述可移动平台基于所述优化位姿做出相应的控制响应。
进一步的，所述处理器还用于：
获取所述当前图像帧和历史关键帧的所有特征点中符合第二要求的特征点数量；
当所述特征点数量大于第七阈值时，将所述优化位姿反馈至所述可移动平台，以使得所述可移动平台能够基于所述优化位姿做出相应的控制响应。
本申请又一实施例还提供一种数据处理装置，应用于一可移动平台，所述可移动平台上设有第一相机、第二相机及第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。具体的，所述数据处理装置包括处理器及存储器；其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
获取所述第一相机的预估位姿；
基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
进一步的，所述处理器基于所述第一相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机时具体用于：
判定所述第二相机采集的图像帧是否符合图像要求；
符合的情况下，确定所述第二相机为可用相机。
进一步的，所述处理器还用于：
不符合的情况下，确定所述第一相机为可用相机。
进一步的，所述处理器在所述可用相机为第一相机的情况下，根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿时，具体用于：
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
可选地，上述实施例中提供的数据处理装置可以包括多个不同的部件这些部件可以作为集成电路(integrated circui ts,ICs)，或集成电路的部分，离散的电子设备，或其它适用于电路板(诸如主板，或附加板)的模块，也可以作为并入计算机系统的部件。
可选地，处理器可以包括一个或多个通用处理器，诸如中央处理单元(centralprocessing unit，CPU)或处理设备等。具体地，该处理器可以微处理器，也可以是一个或多个专用处理器，诸如应用专用集成电路(application specific integrated circuit,ASIC)，现场可编程门阵列(field programmable gate array，FPGA)，数字信号处理器(digital signal processor，DSP)。
处理器可以与存储器通信。该存储器可以为磁盘、光盘、只读存储器(read onlymemory，ROM)，闪存等。该存储器可以存储有处理器存储的指令，和/或，可以缓存一些从外部存储设备存储的信息。
图5示出了本申请一实施例提供的可移动平台的结构示意图。如图5所示，所述可移动平台包括：
第一相机820，用于以卷帘快门的方式采集图像帧；
第一惯性测量单元860，用于测量所述可移动平台的惯性数据；
以及
一个或多个处理器(图中未示出)，其单独地或共同地被配置成用于：
获取所述第一相机的预估姿态；
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
具体的，所述可移动平台为无人飞行器、无人驾驶车辆等。
这里需要说明的是：上述实施例中处理器还可上述各方法实施例中描述的技术方案，具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
进一步的，本申请实施例还提供一个或多个非暂时性计算机可读存储介质，其具有储存于其上的可执行指令，所述可执行指令在一个或多个处理器执行时，使所述计算机系统至少：
获取第一相机的预估姿态；
根据第一惯性测量单元测量得到的惯性数据以及第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
其中，可移动平台上设有所述第一相机及所述第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。
图5示出了本申请另一实施例提供的可移动平台的结构示意图。具体的，如图5所示，所述可移动平台包括：
第一相机820，用于以卷帘快门的方式采集图像帧；
第二相机840，用于以全局快门的方式采集图像帧；
第一惯性测量单元860，用于测量所述可移动平台的惯性数据；
以及
一个或多个处理器(图中未示出)，其单独地或共同地被配置成用于：
获取所述第一相机的预估位姿；
基于所述第一相机采集到的图像帧、所述第二相机采集到的图像帧及所述第二惯性测量单元测量得到的惯性数据，从所述第一相机与所述第二相机中确定一可用相机；
根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
这里需要说明的是：上述实施例中处理器还可上述各方法实施例中描述的技术方案，具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
可选地，除了处理器，本申请各实施例提供的可移动平台还可包括显示控制器和/或显示设备单元，收发器，音频输入输出单元，其他输入输出单元等。可移动平台包括的这些部件可以通过总线或内部连接互联。
可选地，收发器可以是有线收发器或无线收发器，诸如，WIFI收发器，卫星收发器，蓝牙收发器，3G/4G/5G无线通信信号收发器或其组合等。
可选地，该音频输入输出单元可以包括扬声器，话筒，听筒等。
可选地，其他输入输出设备770可以包括USB端口，串行端口，并行端口，打印机，网络接口等。
进一步的，本申请一实施例还提供了一个或多个非暂时性计算机可读存储介质，其具有储存于其上的可执行指令，所述可执行指令在一个或多个处理器执行时，使所述计算机系统至少：
获取第一相机的预估位姿；
基于第一相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
根据第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿；
其中，可移动平台上设有所述第一相机、所述第二相机及所述第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (37)
1.一种数据处理方法，其特征在于，应用于一可移动平台，所述可移动平台上设有第一相机和第一惯性测量单元，所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据，所述方法包括步骤：
获取所述第一相机的预估姿态；
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
2.根据权利要求1所述的方法，其特征在于，在构建优化方程前，还包括：
对所述第一相机采集到的当前图像帧进行降采样，以得到灰度图像。
3.根据权利要求2所述的方法，其特征在于，根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程，包括：
提取所述灰度图像的特征点信息；
根据所述惯性测量单元测量得到的惯性数据以及所述特征点信息，构建所述优化方程。
4.根据权利要求1所述的方法，其特征在于，根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建所述优化方程具体包括：
当所述当前图像帧符合设定要求时，确定所述当前图像帧为关键帧；
当确定所述当前图像帧为关键帧时，根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的当前图像帧和历史关键帧，构建所述优化方程。
5.根据权利要求4所述的方法，其特征在于，所述设定要求包括如下中的至少一种：
所述当前图像帧与前一关键帧之间的旋转角变化大于第一阈值；
所述当前图像帧与前一关键帧之间的位移变化大于第二阈值；
所述当前图像帧与前一关键帧的匹配特征点数量小于第三阈值；
所述当前图像帧与前一关键帧的匹配特征点分布在不同图像区域的数量小于第四阈值。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程具体为：
获取所述当前图像帧对应的第一时间戳和一历史图像帧对应的第二时间戳；
通过预设的曝光延迟对所述第一时间戳和所述第二时间戳进行修正；
获取修正后的所述第一时间戳和第二时间戳之间的惯性数据；
根据所述修正后的所述第一时间戳和第二时间戳之间的惯性数据，以及所述第一相机在所述第一时间戳和所述第二时间戳间采集到的图像帧，构建优化方程。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述可移动平台上还设有第二惯性测量单元，所述第二惯性测量单元用于测量所述第一相机的惯性数据；
所述方法还包括步骤：
获取所述第一相机采集当前图像帧过程中所述第二惯性测量单元测量得到的惯性数据，得到所述第一相机的惯性数据；
基于所述第一相机的惯性数据，确定所述第一相机的工作状态是否满足第一要求；
在所述第一相机的工作状态符合第一要求的情况下，将所述优化位姿反馈至所述可移动平台，以便所述可移动平台基于所述优化位姿做出相应的控制响应。
8.根据权利要求7所述的方法，其特征在于，所述第一要求包括：
所述第一相机惯性数据中含有的绕一预设的坐标轴旋转的角速度均小于第五阈值；
所述第一相机惯性数据中含有的沿所述坐标轴方向上的位移速度均小于第六阈值。
9.根据权利要求7所述的方法，其特征在于，还包括：
获取所述当前图像帧和历史关键帧的所有特征点中符合第二要求的特征点数量；
当所述特征点数量大于第七阈值时，将所述优化位姿反馈至所述可移动平台，以使得所述可移动平台能够基于所述优化位姿做出相应的控制响应。
10.根据权利要求9所述的方法，其特征在于，满足所述第二要求的特征点包括如下中的至少一项：
最大重投影误差小于第八阈值的特征点；
在所述当前图像帧和历史关键帧中出现次数大于第九阈值的特征点；
当前优化得到的三维坐标与前次优化中的三维坐标差异小于第十阈值的特征点。
11.根据权利要求1至5中任一所述的方法，其特征在于，所述可移动平台上还设有云台，所述第一相机设置在所述云台上，获取所述第一相机的预估姿态，包括：
通过云台的动作参数，确定所述预估姿态。
12.根据权利要求11所述的方法，其特征在于，所述云台为三轴云台；所述三轴云台包括：外框架、中框架及内框架；以及
所述云台的动作参数包括：
可移动平台机身相对于所述外框架的第一旋转参数；
所述外框架相对于所述中框架的第二旋转参数；
所述中框架相对于所述内框架的第三旋转参数。
13.根据权利要求12所述的方法，其特征在于，通过云台的动作参数，确定所述预估姿态，包括：
获取所述第一相机相对于所述可移动平台机身的零点位姿；其中，所述零点位姿为所述云台的动作参数均为零时所述第一相机相对于所述可移动平台机身的位姿；
根据所述零点位姿、所述第一旋转参数、所述第二旋转参数及所述第三旋转参数，确定所述预估位姿。
14.根据权利要求1至5中任一所述的方法，其特征在于，所述可移动平台上还设有第二相机，所述第二相机用于以全局快门的方式采集图像帧；所述第二相机与所述第一惯性测量单元固联；
所述方法还包括步骤：
在所述第二相机采集的图像帧不可用的情况下，触发所述根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建优化方程的步骤。
15.根据权利要求14所述的方法，其特征在于，还包括：
在所述第二相机采集的图像帧不可用的情况下，根据所述第二相机的优化位姿，确定所述可移动平台机身的位姿信息。
16.根据权利要求14所述的方法，其特征在于，还包括：
在所述第二相机采集的图像帧可用的情况下，对所述第一惯性测量单元测量得到的惯性数据以及所述第二相机采集到的图像帧进行联合优化，得到所述可移动平台机身的位姿信息。
17.一种数据处理方法，其特征在于在，应用于一可移动平台，所述可移动平台上设有第一相机、第二相机及第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据；
所述方法包括步骤：
获取所述第一相机的预估位姿；
基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
18.根据权利要求17所述的方法，其特征在于，基于所述第一相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机，包括：
判定所述第二相机采集的图像帧是否符合图像要求；
符合的情况下，确定所述第二相机为可用相机。
19.根据权利要求18所述的方法，其特征在于，基于所述第一相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机，还包括：
不符合的情况下，确定所述第一相机为可用相机。
20.根据权利要求17至19中任一项所述的方法，其特征在于，所述可用相机为第一相机时，根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿，具体为：
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
21.根据权利要求17至19中任一项所述的方法，其特征在于，所述可用相机为第二相机时，根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿，具体为：
对所述第一惯性测量单元测量得到的惯性数据以及所述第二相机采集到的图像帧进行联合优化，得到所述可移动平台的机身的位姿信息；
根据所述可移动平台的机身的位姿信息，对所述预估位姿进行优化得到所述优化位姿。
22.一种数据处理装置，其特征在于，应用于一可移动平台，所述可移动平台上设有第一相机和第一惯性测量单元，所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据；
所述数据处理装置包括处理器及存储器；其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
获取所述第一相机的预估姿态；
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
23.根据权利要求22所述的数据处理装置，其特征在于，所述处理器在执行构建优化方程动作之前，还用于：
对所述第一相机采集到的当前图像帧进行降采样，以得到灰度图像。
24.根据权利要求23所述的数据处理装置，其特征在于，所述处理器在根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建优化方程时，具体用于：
提取所述灰度图像的特征点信息；
根据所述惯性测量单元测量得到的惯性数据以及所述特征点信息，构建所述优化方程。
25.根据权利要求22所述的数据处理装置，其特征在于，所述处理器在根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建所述优化方程时，具体用于：
当所述当前图像帧符合设定要求时，确定所述当前图像帧为关键帧；
当确定所述当前图像帧为关键帧时，根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的当前图像帧和历史关键帧，构建所述优化方程。
26.根据权利要求22至25中任一项所述的数据处理装置，其特征在于，所述处理器在所述根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧构建优化方程时，具体用于：
获取所述当前图像帧对应的第一时间戳和一历史图像帧对应的第二时间戳；
通过预设的曝光延迟对所述第一时间戳和所述第二时间戳进行修正；
获取修正后的所述第一时间戳和第二时间戳之间的惯性数据；
根据所述修正后的所述第一时间戳和第二时间戳之间的惯性数据，以及所述第一相机在所述第一时间戳和所述第二时间戳间采集到的图像帧，构建优化方程。
27.根据权利要求22至25中任一项所述的数据处理装置，其特征在于，所述可移动平台上还设有第二惯性测量单元，所述第二惯性测量单元用于测量所述第一相机的惯性数据；以及
所述处理器还用于：
获取所述第一相机采集当前图像帧过程中所述第二惯性测量单元测量得到的惯性数据，得到所述第一相机的惯性数据；
基于所述第一相机的惯性数据，确定所述第一相机的工作状态是否满足第一要求；
在所述第一相机的工作状态符合第一要求的情况下，将所述优化位姿反馈至所述可移动平台，以便所述可移动平台基于所述优化位姿做出相应的控制响应。
28.根据权利要求27所述的数据处理装置，其特征在于，所述处理器还用于：
获取所述当前图像帧和历史关键帧的所有特征点中符合第二要求的特征点数量；
当所述特征点数量大于第七阈值时，将所述优化位姿反馈至所述可移动平台，以使得所述可移动平台能够基于所述优化位姿做出相应的控制响应。
29.一种数据处理装置，其特征在于，应用于一可移动平台，所述可移动平台上设有第一相机、第二相机及第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据；
所述数据处理装置包括处理器及存储器；其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
获取所述第一相机的预估位姿；
基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
30.根据权利要求29所述的数据处理装置，其特征在于，所述处理器基于所述第一相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机时具体用于：
判定所述第二相机采集的图像帧是否符合图像要求；
符合的情况下，确定所述第二相机为可用相机。
31.根据权利要求30所述的数据处理装置，其特征在于，所述处理器还用于：
不符合的情况下，确定所述第一相机为可用相机。
32.根据权利要求29至31中任一项所述的数据处理装置，其特征在于，所述处理器在所述可用相机为第一相机的情况下，根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿时，具体用于：
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
33.一种可移动平台，其特征在于，包括：
第一相机，用于以卷帘快门的方式采集图像帧；
第一惯性测量单元，用于测量所述可移动平台的惯性数据；
以及
一个或多个处理器，其单独地或共同地被配置成用于：
获取所述第一相机的预估姿态；
根据所述第一惯性测量单元测量得到的惯性数据以及所述第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态。
34.根据权利要求33所述的可移动平台，其特征在于，所述可移动平台为无人飞行器。
35.一个或多个非暂时性计算机可读存储介质，其具有储存于其上的可执行指令，所述可执行指令在一个或多个处理器执行时，使所述计算机系统至少：
获取第一相机的预估姿态；
根据第一惯性测量单元测量得到的惯性数据以及第一相机采集到的图像帧，构建优化方程；
通过所述优化方程对所述预估姿态进行优化，生成所述第一相机的优化姿态；
其中，可移动平台上设有所述第一相机及所述第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。
36.一种可移动平台，其特征在于，包括：
第一相机，用于以卷帘快门的方式采集图像帧；
第二相机，用于以全局快门的方式采集图像帧；
第一惯性测量单元，用于测量所述可移动平台的惯性数据；
以及
一个或多个处理器，其单独地或共同地被配置成用于：
获取所述第一相机的预估位姿；
基于所述第二相机采集到的图像帧，在所述第一相机与所述第二相机中确定一可用相机；
根据所述第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿。
37.一个或多个非暂时性计算机可读存储介质，其具有储存于其上的可执行指令，所述可执行指令在一个或多个处理器执行时，使所述计算机系统至少：
获取第一相机的预估位姿；
基于第一相机采集到的图像帧，在所述第一相机与第二相机中确定一可用相机；
根据第一惯性测量单元测量得到的惯性数据及所述可用相机采集到的图像帧，对所述预估位姿进行优化计算得到优化位姿；
其中，可移动平台上设有所述第一相机、所述第二相机及所述第一惯性测量单元；所述第一相机用于以卷帘快门的方式采集图像帧；所述第二相机用于以全局快门的方式采集图像帧；所述第一惯性测量单元用于测量所述可移动平台的惯性数据。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/113687 WO2021081707A1 (zh) | 2019-10-28 | 2019-10-28 | 数据处理方法、装置、可移动平台及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112204946A true CN112204946A (zh) | 2021-01-08 |
Family
ID=74004607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980034224.5A Pending CN112204946A (zh) | 2019-10-28 | 2019-10-28 | 数据处理方法、装置、可移动平台及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112204946A (zh) |
| WO (1) | WO2021081707A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950715A (zh) * | 2021-03-04 | 2021-06-11 | 杭州迅蚁网络科技有限公司 | 无人机的视觉定位方法、装置、计算机设备和存储介质 |
| CN114500842A (zh) * | 2022-01-25 | 2022-05-13 | 维沃移动通信有限公司 | 视觉惯性标定方法及其装置 |
| WO2022193508A1 (zh) * | 2021-03-16 | 2022-09-22 | 浙江商汤科技开发有限公司 | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113739819B (zh) * | 2021-08-05 | 2024-04-16 | 上海高仙自动化科技发展有限公司 | 校验方法、装置、电子设备、存储介质及芯片 |
| CN117714867A (zh) * | 2023-05-16 | 2024-03-15 | 荣耀终端有限公司 | 图像防抖方法与电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160165140A1 (en) * | 2013-07-24 | 2016-06-09 | The Regents Of The University Of California | Method for camera motion estimation and correction |
| CN106385538A (zh) * | 2015-06-30 | 2017-02-08 | 鹦鹉无人机股份有限公司 | 用于无人机的具有校正抖动型失真的高分辨率相机单元 |
| CN107888828A (zh) * | 2017-11-22 | 2018-04-06 | 网易（杭州）网络有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN108605098A (zh) * | 2016-05-20 | 2018-09-28 | 深圳市大疆创新科技有限公司 | 用于卷帘快门校正的系统和方法 |
| CN109186592A (zh) * | 2018-08-31 | 2019-01-11 | 腾讯科技（深圳）有限公司 | 用于视觉惯导信息融合的方法和装置以及存储介质 |
| CN110375738A (zh) * | 2019-06-21 | 2019-10-25 | 西安电子科技大学 | 一种融合惯性测量单元的单目同步定位与建图位姿解算方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9607401B2 (en) * | 2013-05-08 | 2017-03-28 | Regents Of The University Of Minnesota | Constrained key frame localization and mapping for vision-aided inertial navigation |
| SG10202110833PA (en) * | 2017-03-29 | 2021-11-29 | Agency Science Tech & Res | Real time robust localization via visual inertial odometry |
| CN109074664A (zh) * | 2017-10-26 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 姿态标定方法、设备及无人飞行器 |
| WO2019104571A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
| CN110246147B (zh) * | 2019-05-14 | 2023-04-07 | 中国科学院深圳先进技术研究院 | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 |
| CN110378968B (zh) * | 2019-06-24 | 2022-01-14 | 奥比中光科技集团股份有限公司 | 相机和惯性测量单元相对姿态的标定方法及装置 |
-
2019
- 2019-10-28 WO PCT/CN2019/113687 patent/WO2021081707A1/zh active Application Filing
- 2019-10-28 CN CN201980034224.5A patent/CN112204946A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160165140A1 (en) * | 2013-07-24 | 2016-06-09 | The Regents Of The University Of California | Method for camera motion estimation and correction |
| CN106385538A (zh) * | 2015-06-30 | 2017-02-08 | 鹦鹉无人机股份有限公司 | 用于无人机的具有校正抖动型失真的高分辨率相机单元 |
| CN108605098A (zh) * | 2016-05-20 | 2018-09-28 | 深圳市大疆创新科技有限公司 | 用于卷帘快门校正的系统和方法 |
| CN107888828A (zh) * | 2017-11-22 | 2018-04-06 | 网易（杭州）网络有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN109186592A (zh) * | 2018-08-31 | 2019-01-11 | 腾讯科技（深圳）有限公司 | 用于视觉惯导信息融合的方法和装置以及存储介质 |
| CN110375738A (zh) * | 2019-06-21 | 2019-10-25 | 西安电子科技大学 | 一种融合惯性测量单元的单目同步定位与建图位姿解算方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950715A (zh) * | 2021-03-04 | 2021-06-11 | 杭州迅蚁网络科技有限公司 | 无人机的视觉定位方法、装置、计算机设备和存储介质 |
| CN112950715B (zh) * | 2021-03-04 | 2024-04-30 | 杭州迅蚁网络科技有限公司 | 无人机的视觉定位方法、装置、计算机设备和存储介质 |
| WO2022193508A1 (zh) * | 2021-03-16 | 2022-09-22 | 浙江商汤科技开发有限公司 | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 |
| CN114500842A (zh) * | 2022-01-25 | 2022-05-13 | 维沃移动通信有限公司 | 视觉惯性标定方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021081707A1 (zh) | 2021-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10871258B2 (en) | Method and system for controlling gimbal | |
| US11107275B2 (en) | System and methods for improved aerial mapping with aerial vehicles | |
| CN112204946A (zh) | 数据处理方法、装置、可移动平台及计算机可读存储介质 | |
| WO2020014909A1 (zh) | 拍摄方法、装置和无人机 | |
| US8264553B2 (en) | Hardware assisted image deblurring | |
| US10511774B2 (en) | Image pick-up apparatus and control method | |
| EP3296952B1 (en) | Method and device for blurring a virtual object in a video | |
| WO2017020150A1 (zh) | 一种图像处理方法、装置及摄像机 | |
| CN108363946B (zh) | 基于无人机的人脸跟踪系统及方法 | |
| WO2019104571A1 (zh) | 图像处理方法和设备 | |
| CN111800589B (zh) | 图像处理方法、装置和系统，以及机器人 | |
| CN110337668B (zh) | 图像增稳方法和装置 | |
| CN106873619A (zh) | 一种无人机飞行路径的处理方法 | |
| US11042984B2 (en) | Systems and methods for providing image depth information | |
| CN108496201A (zh) | 图像处理方法和设备 | |
| WO2020227998A1 (zh) | 图像增稳控制方法、拍摄设备和可移动平台 | |
| WO2019183789A1 (zh) | 无人机的控制方法、装置和无人机 | |
| US20220174217A1 (en) | Image processing method and device, electronic device, and computer-readable storage medium | |
| CN108900775A (zh) | 一种水下机器人实时电子稳像方法 | |
| WO2019205103A1 (zh) | 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 | |
| CN110800023A (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
| US20220286611A1 (en) | Electrical image stabilization (eis)-assisted digital image stabilization (dis) | |
| WO2020107487A1 (zh) | 图像处理方法和无人机 | |
| Dohr et al. | Image motion compensation–the vexcel approach | |
| WO2021179217A1 (zh) | 图像处理系统、可移动平台及其图像处理方法、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20230106 |
|
| AD01 | Patent right deemed abandoned |