CN111784784B

CN111784784B - Imu内参的标定方法、装置、电子设备仪及存储介质

Info

Publication number: CN111784784B
Application number: CN202010925822.6A
Authority: CN
Inventors: 费再慧; 朱磊; 贾双成; 李成军
Original assignee: Mushroom Car Union Information Technology Co Ltd
Current assignee: Mushroom Car Union Information Technology Co Ltd
Priority date: 2020-09-07
Filing date: 2020-09-07
Publication date: 2021-01-05
Anticipated expiration: 2040-09-07
Also published as: CN111784784A

Abstract

本申请是关于一种IMU内参的标定方法、标定装置、电子设备和存储介质。该标定方法，包括：获得车辆的行车记录仪采集的视频数据；通过所述视频数据确定所述车辆的位姿；所述位姿表征所述车辆的运动状态和行驶轨迹；获取所述视频数据每一帧图像所对应的IMU信息以及视频信息；根据所述IMU信息和所述视频信息标定IMU内参。由于本申请技术方案中，IMU内参的标定是与行车记录仪进行的联动，且是根据每一帧图像的IMU信息和视频信息进所标定的IMU内参，因此，提高了IMU内参的标定精度,提高定位系统的定位精度。

Description

IMU内参的标定方法、装置、电子设备仪及存储介质

技术领域

本申请涉及电数字数据处理技术领域，尤其涉及IMU内参的标定方法、装置、电子设备及存储介质。

背景技术

在定位系统的程序实现中，IMU内外参精确与否对整个定位精度起着重要的作用。所以良好的标定结果是定位系统程序实现的前提工作。

相关技术中，对IMU内参标定的方式多以离线标定为主，且需要定期标定，无法保证实时的IMU内参的精度。

因此，相关技术中，定位系统对IMU内参的标定方式不准确,降低了定位系统的输出精度。

发明内容

为克服相关技术中存在的问题，本申请提供一种IMU内参的标定方法、装置、电子设备仪及存储介质，该方法，能够利用车辆的行车记录仪来实现IMU内参的标定，提高标定IMU内参的精度，提高定位系统的定位精度。

本申请第一方面提供一种IMU内参的标定方法，包括：

获得所述行车记录仪采集的视频数据；

通过所述视频数据确定所述车辆的位姿；所述位姿表征所述车辆的运动状态和行驶轨迹；

获取所述视频数据每一帧图像所对应的IMU信息以及视频信息；

根据所述IMU信息和所述视频信息标定IMU内参。

在一些实施例中，所述视频数据包括第一时刻的第一视频数据以及第二时刻的第二视频数据。

在一些实施例中，所述通过所述视频数据确定所述车辆的位姿包括：

对所述第一视频数据和所述第二视频数据进行畸变处理，得到第一畸变图像和第二畸变图像；

计算所述第一畸变图像的第一本质矩阵和所述第二畸变图像的第二本质矩阵；

对所述第一本质矩阵和所述第二本质矩阵进行尺度估计，确定所述车辆的运动状态和行驶轨迹作为位姿。

在一些实施例中，所述得到第一畸变图像和第二畸变图像之后，所述标定方法还包括：

提取所述第一畸变图像的特征信息；

将所述特征信息在所述第二畸变图像中进行匹配，得到匹配参数；

判断所述匹配参数是否处于预设阈值范围内；

若否，则执行提取所述第一畸变图像的特征信息的步骤；

若是，则执行计算所述第一畸变图像的第一本质矩阵和所述第二畸变图像的第二本质矩阵的步骤。

在一些实施例中，所述根据所述IMU信息和所述视频信息标定IMU内参包括：

根据所述IMU信息和所述视频信息标定并优化每一帧图像对应的外参；所述外参用于表征IMU和行车记录仪的延迟和、旋转矩阵以及平移向量中的一种或多种；

根据所述外参和所述视频信息计算所述第一时刻与第二时刻之间所述车辆的第一位姿变化；

根据获得的待标定IMU内参计算所述第一时刻与所述第二时刻之间所述车辆的第二位姿变化；

根据所述第一位姿变化和所述第二位姿变化优化所述待标定IMU内参，得到标定IMU内参；其中，所述标定IMU内参包括刻度因素、零偏和/或安装误差中的一种或多种。

本申请第二方面提供一种IMU内参的标定装置，包括：

采集装置，用于获得所述行车记录仪采集的视频数据；

位姿计算装置，用于通过所述视频数据确定所述车辆的位姿；所述位姿表征所述车辆的运动状态和行驶轨迹；

获取装置，用于获取所述视频数据每一帧图像所对应的IMU信息以及视频信息；

标定装置，用于根据所述IMU信息和所述视频信息标定IMU内参。

在一些实施例中，所述根据所述标定装置包括：

外参标定单元，用于根据所述IMU信息和所述视频信息标定并优化每一帧图像对应的外参；所述外参用于表征IMU和行车记录仪的延迟和、旋转矩阵以及平移向量中的一种或多种；

第一位姿计算单元，用于根据所述外参和所述视频信息计算所述第一时刻与第二时刻之间所述车辆的第一位姿变化；

第二位姿计算单元，用于根据获得的待标定IMU内参计算所述第一时刻与所述第二时刻之间所述车辆的第二位姿变化；

内参标定单元，用于根据所述第一位姿变化和所述第二位姿变化优化所述待标定IMU内参，得到标定IMU内参；其中，所述标定IMU内参包括刻度因素、零偏和/或安装误差中的一种或多种。

本申请第三方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

本申请提供的一种IMU内参的标定方法，所述方法包括：获得所述行车记录仪采集的视频数据；通过所述视频数据确定所述车辆的位姿；所述位姿表征所述车辆的运动状态和行驶轨迹；获取所述视频数据每一帧图像所对应的IMU信息以及视频信息；根据所述IMU信息和所述视频信息标定IMU内参。由于本申请技术方案中，IMU内参的标定是与行车记录仪进行的联动，且是根据每一帧图像的IMU信息和视频信息进所标定的IMU内参，因此，提高了IMU内参的标定精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的一种IMU内参的标定方法的流程示意图。

图2是本申请实施例示出的一种IMU内参的标定的结构示意图。

图3是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本申请实施例属于定位系统的程序控制，在相关技术中，IMU是测量三轴角速度和加速度的装置，行车记录仪视频和IMU的内参会影响他们的原始输出，即影响他们计算位姿的精度。对整个定位精度起到了重要作用。而相关技术中，对IMU内参采用的是估计的方式，没有考虑到误差等因素，从而导致了IMU内参标定不准确而使得定位精度无法达到某些场景的要求。例如，地图测绘等。

有鉴于此，本申请实施例中，提供了一种IMU内参的标定方法，其可以与行车记录仪进行联动，从而先对行车记录仪的视频数据进行标定，之后还原行车记录仪的所记录的客观世界，之后利用还原之后的数据对IMU内参进行标定，提高IMU内参的标定精度，从而提高定位系统的精度。提高定位系统的程序运行效率。

本申请实施例的核心思想为通过获取行车记录仪的视频数据建立相机坐标系，通过标定外参后将相机坐标系转换到IMU坐标系，计算这段时间的位姿变化来标定IMU内参，如刻度因素，零偏等。

以下结合附图详细描述本申请实施例的技术方案。

参见图1，本申请实施例提供了一种IMU内参的标定方法，可以应用于车辆的行车记录仪，标定方法包括：

S100、获得车辆的行车记录仪采集的视频数据；

S200、通过视频数据确定车辆的位姿；位姿表征车辆的运动状态和行驶轨迹；

S300、获取视频数据所对应的IMU信息以及视频信息；

S400、根据IMU信息和视频信息标定IMU内参。

本申请实施例中，是与行车记录仪可以进行联动的，当需要对IMU内参进行标定时，获得视频数据。该视频数据是通过行车记录仪所采集的真实世界的图像。其中，视频数据可以为视频图像。

本申请实施例中，视频数据包括第一时刻的第一视频数据以及第二时刻的第二视频数据。其中，第一时刻与第二时刻可以根据实际需要进行设定，例如1s。通过获得的视频数据可以建立行车记录仪即相机坐标系。

然后通过视频数据确定车辆的位姿。位姿即车辆的位置姿态，表征车辆的运动状态和行驶轨迹。

其中，通过视频数据确定车辆的位姿包括：

对第一视频数据和第二视频数据进行畸变处理，得到第一畸变图像和第二畸变图像；

计算第一畸变图像的第一本质矩阵和第二畸变图像的第二本质矩阵；

对第一本质矩阵和第二本质矩阵进行尺度估计，确定车辆的运动状态和行驶轨迹作为位姿。

得到第一畸变图像和第二畸变图像之后，标定方法还包括：

提取第一畸变图像的特征信息；

将特征信息在第二畸变图像中进行匹配，得到匹配参数；

判断匹配参数是否处于预设阈值范围内；

若否，则执行提取第一畸变图像的特征信息的步骤；

若是，则执行计算第一畸变图像的第一本质矩阵和第二畸变图像的第二本质矩阵的步骤。

本申请实施例中，需要确定位姿，即可以反映车辆的运动状态和轨迹。因此，通过所获得的第一视频数据和第二视频数据，来计算出这段时间内车辆的位姿。

其中，对图像进行畸变处理后，还可以通过对第一畸变图像进行特征信息的提取。例如，采用FAST算法进行特征提取。然后通过例如KLT算法对所提取的特征在第二畸变图像后进行跟踪匹配，如果匹配参数不处于预设阈值范围，例如，特征数少于某个阈值，即表明特征有丢失，则应当重新进行特征检测，然后才执行后续步骤。可以理解的是，FAST算法以及KLT算法都可以替换成其它算法，只需要可以提取特征并进行跟踪即可，在此不进行具体限定。

之后可以通过例如RANSCA的5点算法来估计两幅图像的本质矩阵。该过程可以参见相关技术，本申请实施例不进行赘述。

对本质矩阵进行估计尺度信息，从而确定出旋转矩阵以及平移向量，即车辆的位姿。

本申请实施例中，根据IMU信息和视频信息标定IMU内参包括：

根据IMU信息和视频信息标定并优化每一帧图像对应的外参；外参用于表征IMU和行车记录仪的延迟和、旋转矩阵以及平移向量中的一种或多种；

根据外参和视频信息计算第一时刻与第二时刻之间车辆的第一位姿变化；

根据获得的待标定IMU内参计算第一时刻与第二时刻之间车辆的第二位姿变化；

根据第一位姿变化和第二位姿变化优化待标定IMU内参，得到标定IMU内参；其中，标定IMU内参包括刻度因素、零偏和/或安装误差中的一种或多种。

本申请实施例中，图像每一帧计算一次IMU信息和视频信息。其中，视频信息具体可以包括图像信息，即图像中的各种参数信息。可以理解的是，每一帧计算一次IMU和行车记录仪的延迟和、旋转矩阵和平移向量。之后利用一段时间内的视频信息和IMU信息进行优化操作，得到最优的IMU和行车记录仪的延迟和、延迟和、旋转矩阵和平移向量，即对外参进行了标定。即将相机坐标系转换到IMU坐标系。

最后，对第一时刻与第二时刻之间的外参进行标定并优化，求得符合最优条件的优化外参。即完成IMU的外参标定，已知IMU和行车记录仪的延迟和、旋转矩阵和平移向量。即根据外参和视频信息计算第一时刻与第二时刻之间车辆的第一位姿变化。

为了实现标定IMU内参，可以先获得待标定IMU内参，然后根据其提供的相关参数计算第一时刻与第二时刻之间车辆的第二位姿变化。其中，通过IMU内参获得车辆的第二位姿变化可以参考相关技术。

本申请实施例中，待标定IMU内参具体包括陀螺仪和加速度计各自的零偏b，标度因素k，安装误差T。

对于陀螺仪，完整的传感器误差模型包括：

对于加速度计：

其中

和

分别是加速度计测量噪声和陀螺仪测量噪声,标定时不考虑，

为陀螺仪原始输出，

为标定后的值，

加速度计原始输出，

为标定后的值。

需要说明的是，在实际使用中，根据第一位姿变化和第二位姿变化优化待标定IMU内参，得到标定IMU内参的过程可以包括：

根据第一位姿变化和第二位姿变化计算IMU的这段时间内的位姿ΔPI=f(

)和旋转变化ΔRI=f(

)，该过程还可以采用相关技术，本申请实施例不进行赘述;

根据优化外参和视频信息计算第一时刻与第二时刻之间车辆的位姿ΔPc和旋转变化ΔRc;

构造优化函数L(P)=∑(ΔPc-ΔPI)和L(R)=∑(ΔRc-ΔRI),使用优化算法如LM算法进行优化，该过程也可以参见相关技术，本申请实施例不进行赘述，继而得到最优的IMU零偏b，标度因素k，安装误差T。

由此，利用行车记录仪完成了对待标定IMU内参的标定。提高了IMU内参的标定精度。

与前述应用功能实现方法实施例相对应，本申请还提供了一种IMU内参的标定装置、电子设备及相应的实施例。

图2是本申请实施例示出的一种IMU内参的标定装置的结构示意图。

参见图2，本申请实施例示出的一种IMU内参的标定装置，可以应用于行车记录仪，标定装置包括：

采集装置1，用于获得行车记录仪采集的视频数据；

位姿计算装置2，用于通过视频数据确定车辆的位姿；位姿表征车辆的运动状态和行驶轨迹；

获取装置3，用于获取视频数据每一帧图像所对应的IMU信息以及视频信息；

标定装置4，用于根据IMU信息和视频信息标定IMU内参。

视频数据包括第一时刻的第一视频数据以及第二时刻的第二视频数据。

根据标定装置包括：

外参标定单元，用于根据IMU信息和视频信息标定并优化每一帧图像对应的外参；外参用于表征IMU和行车记录仪的延迟和、旋转矩阵以及平移向量中的一种或多种；

第一位姿计算单元，用于根据外参和视频信息计算第一时刻与第二时刻之间车辆的第一位姿变化；

第二位姿计算单元，用于根据获得的待标定IMU内参计算第一时刻与第二时刻之间车辆的第二位姿变化；

内参标定单元，用于根据第一位姿变化和第二位姿变化优化待标定IMU内参，得到标定IMU内参；其中，标定IMU内参包括刻度因素、零偏和/或安装误差中的一种或多种。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图3是本申请实施例示出的电子设备的结构示意图。

参见图3，电子设备1000包括存储器1010和处理器1020。

处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种IMU内参的标定方法，其特征在于，所述方法包括：

获得车辆的行车记录仪采集的视频数据，所述视频数据包括第一时刻的第一视频数据以及第二时刻的第二视频数据；

获取所述视频数据所对应的IMU信息以及视频信息；

根据所述第一位姿变化和所述第二位姿变化优化所述待标定IMU内参，得到标定IMU内参；其中，所述标定IMU内参包括刻度因素、零偏、安装误差中的一种或多种。

2.根据权利要求1所述的标定方法，其特征在于，所述通过所述视频数据确定所述车辆的位姿包括：

3.根据权利要求2所述的标定方法，其特征在于，所述得到第一畸变图像和第二畸变图像之后，所述标定方法还包括：

提取所述第一畸变图像的特征信息；

判断所述匹配参数是否处于预设阈值范围内；

若否，则执行提取所述第一畸变图像的特征信息的步骤；

4.一种IMU内参的标定装置，其特征在于，所述标定装置包括：

采集装置，用于获得车辆的行车记录仪采集的视频数据，所述视频数据包括第一时刻的第一视频数据以及第二时刻的第二视频数据；

获取装置，用于获取所述视频数据所对应的IMU信息以及视频信息；

标定装置，用于根据所述IMU信息和所述视频信息标定IMU内参；

其中所述标定装置包括：

内参标定单元，用于根据所述第一位姿变化和所述第二位姿变化优化所述待标定IMU内参，得到标定IMU内参；其中，所述标定IMU内参包括刻度因素、零偏、安装误差中的一种或多种。

5.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-3中任一项所述的方法。

6.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-3中任一项所述的方法。