CN108322698A - 基于多摄像机和惯性测量单元融合的系统和方法 - Google Patents

Abstract

本发明实施例提供了一种基于多摄像机和惯性测量单元融合的系统和方法，该系统包括：置于运动载体上的摄像机、惯性测量单元、信息处理单元和支架；信息处理单元分别与多个摄像机和惯性测量单元连接，接收摄像机采集的全景图像和惯性测量单元获取的IMU数据后进行融合，得到运动载体对应角度下的3D建模、360°全景3D模型、运动参数和运动估计参数，将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，并通过优化环境背景3D点和对运动目标3D点的计算，实现静态背景的全景建模和运动目标的检测与跟踪。本发明能极大提高对静态环境的建模精度，实现对运动目标的检测与跟踪，提高了运动载体对环境感知能力和感知水平。

Description

基于多摄像机和惯性测量单元融合的系统和方法

技术领域

本发明涉及移动机器人定位与导航技术领域，尤其涉及一种基于多摄像机和惯性测量单元融合的系统和方法。

背景技术

随着移动机器人、汽车技术等的发展，ADAS(Advanced Driver AssistantSystem，先进驾驶辅助系统)的应用越来越多。这些ADAS系统包括360°环视系统，能够提供车辆周围的360°范围的环境图像，让驾驶员能够对车身周围的状况有一个很清晰的了解，提高了行车的安全性。这种360°环视可以通过大视角相机获取，如鱼眼镜头相机；也可以是多个相机按照一定的分布排列方式，先从不同视角获取图像，然后利用软件算法将多个角度下的图像拼接为一幅完整的全景图像。用单摄像机或多摄像机拼接方式获取的全景图像实现机器人导航的研究在机器人领域、汽车辅助驾驶领域也有很多；这些研究或系统通过对获取的全景图像进行各种图像处理，获取所需要的环境信息，实现对车辆或机器人的控制。这类系统或方法存在的问题是：获取的图像纹理弱，运动造成图像模糊，导致结果不稳定、不可靠等。

为了提高摄像机在获取环境信息时存在的不稳定，动态特性差等问题，在该技术领域中，出现了大量的基于视觉和IMU(Inertial measurement unit，惯性测量单元)融合的理论研究和空间定位方法。IMU在很短时间范围内，具有较好的动态响应，但随时间的延长，由于各种误差的存在，导致累计误差大，容易发生漂移。基于视觉的方法则没有误差漂移问题，但在获取图像的纹理信息弱，运动造成的模糊等情形下，得到的数据不稳定，导致解算结果的精度差。基于二者的融合，可以相互弥补，极大提高了获取环境信息的稳定性和精度。但在这类方法中，视觉系统获取的视角范围有限，一次只能获取某个角度下的环境信息，无法得到周围环境的360°范围内的信息。

为了进一步提高环境建模结果的精度和可靠性，在机器人研究领域，也有将IMU、摄像机与激光雷达多个传感器进行融合的专利或文献。如在专利CN201710009753.2中，就申请了一种全景相机融合IMU、激光扫描仪定位与导航系统及方法。在该专利中，发明人利用按一定方式分布的6个模拟相机来获取360°的全景图像，并记录图像采集时刻机器人的位置与姿态数据，生成带定位信息的全景图像序列与激光扫描仪构建的地图进行融合，生成带视觉标记的融合地图；采用带视觉标记的融合地图对机器人进行定位与导航。这种方式的优点是融合了多种传感器的数据，可以得到更为可靠地图。但由于激光雷达的价格比较昂贵，系统复杂，体积大不方便安装；要获取融合图，需要将激光雷达和图像信息之间进行对齐，是一个比较麻烦的过程；在应用的过程中，如何两种传感器的相对位置发生变化，则需要重新标定，使用麻烦，过程繁杂；另外，采用模拟相机，需要使用图像采集卡等设备。在《一种基于多传感器的车载环境识别系统及全方位视觉模块》专利中，发明人采用多个双目视觉系统、GPS、雷达等多种传感器进行融合实现对环境的感知，但雷达成本高，系统计算量大，无法在室内环境下使用。

在现有技术中，各种已有的方法对环境的建模均假设环境是静态的，没有运动目标。这一假设和实际机器人或其他移动平台在工作时的情况不符，因为通常在机器人工作的环境中，往往存在其他一些运动目标，这些运动目标的存在，用传统的方法进行环境建模时，建模结果的精度会受到很大影响。

针对上述各种方法的不足，有必要设计一种可以获取360°全景图像并和IMU融合的视觉系统，通过相关算法实现对环境中的运动目标和静态背景的区分，进而实现可靠的环境建模结果。

发明内容

本发明的实施例提供了一种基于多摄像机和惯性测量单元融合的系统和方法，以解决背景技术中的问题。

为了实现上述目的，本发明采取了如下技术方案：

本发明的一方面，提供了一种基于多摄像机和惯性测量单元融合的系统。

本发明的实施例提供的一种基于多摄像机和惯性测量单元融合的系统，其特征在于，该系统包括：惯性测量单元、信息处理单元、摄像机和支架，所述惯性测量单元和摄像机置于所述支架上，所述支架和信息处理单元固定于运动载体上，所述信息处理单元分别与所述摄像机和所述惯性测量单元进行连接；

所述的摄像机为多个，分别以一定角度水平放置于运动载体上，用于获取所述运动载体周围360°的全景图像，并将所获取的全景图像发送到所述信息处理单元进行处理；

所述的惯性测量单元，用于获取运动载体的IMU数据，并将所获取的IMU数据发送到所述信息处理单元进行处理；

所述的信息处理单元，用于接收到全景图像和IMU数据后，将每个摄像机的图像数据和IMU数据按照不同的方式进行融合，分别得到运动载体对应角度下的3D建模、360°全景3D模型、运动参数和运动估计参数，根据运动估计参数将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，并通过优化环境背景3D点和对运动目标3D点的计算，实现静态背景的全景建模和运动目标的检测与跟踪。

优选地，

所述的支架，用于固定多个摄像机和惯性测量单元，将多个摄像机与惯性测量单元之间的几何关系保持固定，根据运动载体的具体结构，采用一个机械支架进行固定；或者不采用支架，而直接将多个摄像机和惯性测量单元固定在运动载体上。

优选地，

所述的摄像机，还用于根据所述摄像机物理参数所确定的不同视角，采用不同的数量，将所述多个摄像机按一定角度水平分布于支架上，获取运动载体水平方向360°的图像，各个摄像机所获取的图像，相互之间存在重叠。

优选地，

所述的惯性测量单元，获取到的IMU数据包括：运动载体的加速度和角速度信息；

所述的惯性测量单元，在系统运行之前利用工具软件和各个摄像机之间进行位姿标定。

优选地，

所述的信息处理单元，用于将每个摄像机的图像和IMU数据分别进行融合，得到运动载体对应角度范围内的3D建模；

所述的信息处理单元，还用于将各个摄像机的图像分别和IMU数据进行融合得到的各个视角范围内的3D建模，根据重叠区域的数据进行融合，得到运动载体的360°全景3D模型；

所述的信息处理单元，还用于将每个摄像机的图像和IMU数据分别进行融合，得到运动载体的运动参数；

所述的信息处理单元，还用于将各个摄像机的图像分别和IMU数据进行融合得到的各个运动参数进行融合，得到运动载体的运动估计参数。

优选地，

所述的信息处理单元，还用于通过利用运算处理器来完成融合处理，所述运算处理器包括：服务器、分布式的嵌入式处理器、通用的微处理器、GPU、基于FPGA的计算平台。

本发明的另一方面，提供了一种基于多摄像机和惯性测量单元融合的方法。

本发明的实施例提供的一种基于多摄像机和惯性测量单元融合的方法，应用于上述任意一项的系统，其特征在于，该方法包括：

对所述惯性测量单元、信息处理单元和摄像机进行初始化配置；

利用所述信息处理单元，接收所述各个摄像机采集的运动载体周围360°的全景图像，以及所述惯性测量单元获取的运动载体的IMU数据；

在所述信息处理单元将每个摄像机的图像数据和IMU数据按照不同的方式进行融合，分别得到运动载体对应角度下的3D建模、360°全景3D模型、运动参数和运动估计参数，根据运动估计参数将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，并通过优化环境背景3D点和对运动目标3D点的计算，实现静态背景的全景建模和运动目标的检测与跟踪。

优选地，所述的对所述惯性测量单元、信息处理单元和摄像机进行初始化配置，包括：

利用工具软件将惯性测量单元和各个摄像机之间进行位姿标定，以及将系统进行上电后的初始化。

优选地，所述的根据运动估计参数将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，包括：

根据运动载体的运动估计参数，对所述360°全景3D模型进行优化重建得到3D重建结果，得到运动载体的运动优化估计结果；

将3D重建结果中前后两帧中误差大于预设阈值的点，作为运动目标3D点，而其他点为环境背景3D点。

优选地，所述的通过优化环境背景3D点和对运动目标3D点的计算，实现静态背景的全景建模和运动目标的检测与跟踪，包括：

根据运动载体的运动估计参数，对所述环境背景3D点进行优化估计，得到环境背景3D优化结果，区分出运动载体所处环境中的静态背景，对静态背景进行全景建模；

将运动载体的运动估计参数与所述运动目标3D点之间通过运动解耦运算，计算出运动目标的运动参数，区分出运动载体所处环境中的运动目标，对运动目标的运动进行检测和跟踪。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例将惯性测量单元、多个摄像机和信息处理单元置于一个运动载体上，通过IMU和多个摄像机分别获取运动载体的运动加速度、角速度信息和周围360°的全景图像数据，并将这些信息和数据传送给信息处理单元，通过运行于信息处理单元上的信息融合算法，对运动载体周围环境进行3D建图，并同时计算出运动载体的运动轨迹以及实现对环境中运动目标的检测与跟踪。本发明对于在动态环境中工作的运动载体，能够极大的提高其所处静态环境的建模精度，还可实现对运动目标的检测与跟踪，提高运动载体对环境的感知能力和感知水平。本发明还可应用于虚拟现实技术中的环境建模、无人驾驶车辆的环境建图与感知、机器人的环境感知等技术领域，有广泛的应用。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于多摄像机和惯性测量单元融合的系统的结构示意图；

图2为本发明实施例提供的一种基于多摄像机和惯性测量单元融合的系统的安装于车辆上的示意图；

图3为本发明实施例提供的一种基于多摄像机和惯性测量单元融合的系统的数据处理流程示意图；

图4为本发明实施例提供的一种基于多摄像机和惯性测量单元融合的系统的安装于头盔上的示意图；

图5为本发明实施例提供的一种基于多摄像机和惯性测量单元融合的方法的处理流程图；

其中，1-摄像机，2-信息处理单元，3-惯性测量单元，4-安装支架。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例一

本发明实施例提供了一种基于多摄像机和惯性测量单元融合的系统和方法，利用多个摄像机获取运动载体周围的全景图像，通过惯性测量单元获取运动载体的加速度和角速度信息，将全景图像和加速度、角速度信息进行融合，实现对环境中的运动目标和静态背景的区分，进而获取到可靠的环境建模结果，从而实现对运动目标的检测与跟踪。

本发明的一方面，提供了一种基于多摄像机和惯性测量单元融合的系统。

本发明实施例提供的一种基于多摄像机和惯性测量单元融合的系统的结构示意图如图1所示，该系统包括：惯性测量单元3、信息处理单元2、摄像机1和支架4，所述惯性测量单元3和各个摄像机1置于所述支架4上，所述支架4和信息处理单元2固定于运动载体上，所述信息处理单元2分别与所述摄像机1和所述惯性测量单元3进行连接。

该系统内的各个组成部件具体内容如下：

(1)摄像机

摄像机的数量为多个，分别以一定角度水平放置于运动载体上，用于获取所述运动载体周围360°的全景图像，并将所获取的全景图像发送到所述信息处理单元进行处理。

多个摄像机按一定的角度水平分布，可获取运动载体水平方向360度的图像，不同摄像机所获取的图像，相互之间存在一定的重叠。根据摄像机的镜头焦距等参数所确定的视角不同，可以采用不同数量的摄像机。

(2)惯性测量单元

惯性测量单元，固定于支架上或所述运动载体上，用于获取运动载体的IMU数据，并将所获取的IMU数据发送到所述信息处理单元进行处理。

惯性测量单元获取IMU数据包括：运动载体的加速度和角速度信息。

在本系统运行之前，需要通过工具软件对惯性测量单元和各个摄像机之间进行位姿标定。

(3)信息处理单元

信息处理单元，用于接收到全景图像和IMU数据后，将每个摄像机的图像数据和IMU数据按照不同的方式进行融合，分别得到运动载体对应角度下的3D建模、360°全景3D模型、运动参数和运动估计参数，根据运动估计参数将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，并通过优化环境背景3D点以及将运动估计参数与运动目标3D点之间进行解耦运算，实现静态背景的全景建模和运动目标的检测与跟踪。

信息处理单元中包括多种信息融合算法，包括：将每个摄像机的图像和IMU数据分别进行融合，得到运动载体对应角度范围内的3D建模；将各个摄像机的图像分别和IMU数据进行融合得到的各个视角范围内的3D建模，根据重叠区域的数据进行融合，得到运动载体的360°全景3D模型；将每个摄像机的图像和IMU数据分别进行融合，得到运动载体的运动参数；将各个摄像机的图像分别和IMU数据进行融合得到的各个运动参数进行融合，得到运动载体的运动估计参数。

信息处理单元可以用高性能的服务器完成融合处理，也可以是分布式的嵌入式处理器、通用的微处理器、GPU、基于FPGA的计算平台实现。

(4)支架

支架，用于固定多个摄像机和惯性测量单元，用于固定多个摄像机和IMU的支架，可以用一个专门的机械支架，也可以将多个摄像机和IMU直接固定在运动载体上；多个摄像机与IMU之间的几何关系保持固定即可。

本领域技术人员应能理解上述多个摄像机的具体应用方式仅为举例，其他现有的或今后可能出现的多个摄像机的具体应用方式如可适用于本发明实施例，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

本领域技术人员应能理解上述信息处理单元的放置方式仅为举例，其他现有的或今后可能出现的信息处理单元的放置方式如可适用于本发明实施例，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

本发明的另一方面，提供了一种基于多摄像机和惯性测量单元融合的方法。

本发明提供的一种基于多摄像机和惯性测量单元融合的方法的处理流程图如图5所示，包括如下步骤：

S510：对惯性测量单元、信息处理单元和摄像机进行初始化配置。

利用工具软件实现IMU和各个摄像机之间的位姿标定；并在系统上电后进行初始化。

S520：利用信息处理单元，接收各个摄像机采集的运动载体周围360°的全景图像，以及惯性测量单元获取的运动载体的IMU数据。

各个摄像机分别与信息处理单元进行连接，将所采集的运动载体周围360°的图像传送给信息处理单元。

惯性测量单元与信息处理单元进行连接，将获取的运动载体的加速度和角速度信息传送给信息处理单元。

S530：在信息处理单元将每个摄像机的图像数据和IMU数据按照不同的方式进行融合，分别得到运动载体对应角度下的3D建模、360°全景3D模型、运动参数和运动估计参数，根据运动估计参数将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，并通过优化环境背景3D点以及将运动估计参数与运动目标3D点之间进行解耦运算，实现静态背景的全景建模和运动目标的检测与跟踪。

每个摄像机采集的图像和IMU数据构成一组最基本的融合单元，可以实现对摄像机对应视角范围内的环境进行3D建模，同时也可以估计出运动载体的运动参数。

信息处理单元中包括多种图像数据和IMU数据进行融合方式，包括：

将每个摄像机的图像和IMU数据分别进行融合，得到运动载体对应角度范围内的3D建模；将各个摄像机的图像分别和IMU数据进行融合得到的各个视角范围内的3D建模，根据重叠区域的数据进行融合，得到运动载体的360°全景3D模型；将每个摄像机的图像和IMU数据分别进行融合，得到运动载体的运动参数；将各个摄像机的图像分别和IMU数据进行融合得到的各个运动参数进行融合，得到运动载体的运动估计参数。

根据运动载体的运动估计参数，对所述360°全景3D模型进行优化重建得到3D重建结果，得到运动载体的运动优化估计结果。将3D重建结果中前后两帧中误差较大的点，作为运动目标分割出来得到运动目标3D点，而其他点为环境背景3D点。根据运动载体的运动估计参数，对所述环境背景3D点进行优化估计，得到环境背景3D优化结果，区分出运动载体所处环境中的静态背景，对静态背景进行全景建模。将运动载体的运动估计参数与所述运动目标3D点之间通过运动解耦，计算出运动目标的运动参数，区分出运动载体所处环境中的运动目标，对运动目标的运动进行检测和跟踪。

实施例二

该实施例提供了一种基于多摄像机和惯性测量单元融合的系统和方法，图2为该系统的结构示意图。如图2所示，该系统包括：四个水平放置的摄像机1，每个摄像机通过镜头焦距的配置，实现视场角为100°的图像获取，信息处理单元2由一台高性能的计算机负责信息融合处理，惯性测量单元3能够测量运动载体的运动加速度和角速度信息，安装支架4将多个摄像机和IMU固定在车辆的顶端，信息处理单元放置在车辆内部合适的空间，利用线缆将摄像机和IMU连接到信息单元相应的接口上。

基于上述系统的融合处理方法的数据处理流程如图3所示，其具体步骤可以如下：

S1：利用IMU和摄像机之间的位姿标定软件对四个摄像机和IMU组合进行标定。

S2：系统上电后初始化，然后信息处理单元4接收来自各个摄像机1采集的载体周围环境的图像，接受IMU3获取的载体加速度和角速度信息。

S3：基于Kalman滤波(卡尔曼滤波)对每个摄像头和IMU组成的融合单元进行融合，得到该视角范围内环境的3D信息，以及运动载体的运动参数(位移和角度变化)。

S4：信息处理单元将多个视角下获取的环境3D数据，根据重叠区域的数据进行融合，得到360°全景3D模型。

S5：将单个摄像机和IMU融合单元得到的运动载体的运动估计结果(一共四组)进行加权融合，得到可靠的、高精度的载体运动参数估计。

S6：根据运动载体运动参数的优化估计结果，对各个摄像机和IMU基本融合单元得到的环境3D结果进行优化，将前后两帧中误差大于某个阈值的点，作为运动目标分割出来。即将最初融合得到的3D点分为两类，静态环境3D数据点(背景点)和运动目标3D点。

S7：根据运动载体的优化运动估计参数，对环境背景3D点进一步优化估计，得到更为精确的3D结果。

S8：根据运动载体的优化运动估计参数，以分割出的运动目标3D点作为输入，由于这些点的运动是由载体运动和目标本身运动共同构成的，已知载体运动参数后，可以消去由运动载体运动造成的影响，从而计算得到目标自身的运动参数，实现对运动目标的运动估计和跟踪。

实施例三

该实施例提供了一种基于多摄像机和IMU融合的系统如图4所示，三个水平放置的摄像机1和惯性测量单元3被固定在一个头盔4上，信息处理单元2由一台便携式的移动设备负责进行信息融合处理。

如图4所示的系统随着行人的移动，利用运行在移动设备上的融合算法，所述的融合方法和实施例二基本相同，可以实现行人周围环境的3D建模和运动目标检测。

综上所述，本发明实施例通过将惯性测量单元、多个摄像机和信息处理单元置于一个运动载体上，利用惯性测量单元和多个摄像机分别获取运动载体周围360°的全景图像和IMU数据，并将这些图像和数据传送给信息处理单元，通过运行于信息处理单元上的信息融合算法，对运动载体周围环境进行3D建模，同时计算出运动载体的运动轨迹以及实现对环境中运动目标的检测与跟踪。本发明对于在动态环境中工作的运动载体，极大的提高了其所处静态环境的建模精度，还实现了对运动目标的检测与跟踪，提高了运动载体对环境的感知能力和感知水平。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于多摄像机和惯性测量单元融合的系统，其特征在于，该系统包括：惯性测量单元、信息处理单元、摄像机和支架，所述惯性测量单元和摄像机置于所述支架上，所述支架和信息处理单元固定于运动载体上，所述信息处理单元分别与所述摄像机和所述惯性测量单元进行连接；

所述的摄像机为多个，分别以一定角度水平放置于运动载体上，用于获取所述运动载体周围360°的全景图像，并将所获取的全景图像发送到所述信息处理单元进行处理；

所述的惯性测量单元，用于获取运动载体的IMU数据，并将所获取的IMU数据发送到所述信息处理单元进行处理；

所述的信息处理单元，用于接收到全景图像和IMU数据后，将每个摄像机的图像数据和IMU数据按照不同的方式进行融合，分别得到运动载体对应角度下的3D建模、360°全景3D模型、运动参数和运动估计参数，根据运动估计参数将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，并通过优化环境背景3D点和对运动目标3D点的计算，实现静态背景的全景建模和运动目标的检测与跟踪。

2.根据权利要求1所述的基于多摄像机和惯性测量单元融合的系统，其特征在于，

所述的支架，用于固定多个摄像机和惯性测量单元，将多个摄像机与惯性测量单元之间的几何关系保持固定，根据运动载体的具体结构，采用一个机械支架进行固定；或者不采用支架，而直接将多个摄像机和惯性测量单元固定在运动载体上。

3.根据权利要求1所述的基于多摄像机和惯性测量单元融合的系统，其特征在于，

所述的摄像机，还用于根据所述摄像机物理参数所确定的不同视角，采用不同的数量，将所述多个摄像机按一定角度水平分布于支架上，获取运动载体水平方向360°的图像，各个摄像机所获取的图像，相互之间存在重叠。

4.根据权利要求1所述的基于多摄像机和惯性测量单元融合的系统，其特征在于，

所述的惯性测量单元，获取到的IMU数据包括：运动载体的加速度和角速度信息；

所述的惯性测量单元，在系统运行之前利用工具软件和各个摄像机之间进行位姿标定。

5.根据权利要求1所述的基于多摄像机和惯性测量单元融合的系统，其特征在于，

所述的信息处理单元，用于将每个摄像机的图像和IMU数据分别进行融合，得到运动载体对应角度范围内的3D建模；

所述的信息处理单元，还用于将各个摄像机的图像分别和IMU数据进行融合得到的各个视角范围内的3D建模，根据重叠区域的数据进行融合，得到运动载体的360°全景3D模型；

所述的信息处理单元，还用于将每个摄像机的图像和IMU数据分别进行融合，得到运动载体的运动参数；

所述的信息处理单元，还用于将各个摄像机的图像分别和IMU数据进行融合得到的各个运动参数进行融合，得到运动载体的运动估计参数。

6.根据权利要求1所述的基于多摄像机和惯性测量单元融合的系统，其特征在于，

所述的信息处理单元，还用于通过利用运算处理器来完成融合处理，所述运算处理器包括：服务器、分布式的嵌入式处理器、通用的微处理器、GPU、基于FPGA的计算平台。

7.一种基于多摄像机和惯性测量单元融合的方法，应用于权利要求1-6任意一项所述的系统，其特征在于，该方法包括：

对所述惯性测量单元、信息处理单元和摄像机进行初始化配置；

利用所述信息处理单元，接收所述各个摄像机采集的运动载体周围360°的全景图像，以及所述惯性测量单元获取的运动载体的IMU数据；

在所述信息处理单元将每个摄像机的图像数据和IMU数据按照不同的方式进行融合，分别得到运动载体对应角度下的3D建模、360°全景3D模型、运动参数和运动估计参数，根据运动估计参数将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，并通过优化环境背景3D点和对运动目标3D点的计算，实现静态背景的全景建模和运动目标的检测与跟踪。

8.根据权利要求7所述的基于多摄像机和惯性测量单元融合的方法，其特征在于，所述的对所述惯性测量单元、信息处理单元和摄像机进行初始化配置，包括：

利用工具软件将惯性测量单元和各个摄像机之间进行位姿标定，以及将系统进行上电后的初始化。

9.根据权利要求7所述的基于多摄像机和惯性测量单元融合的方法，其特征在于，所述的根据运动估计参数将360°全景3D模型进行重建得到3D重建结果，对3D重建结果分割得到环境背景3D点和运动目标3D点，包括：

根据运动载体的运动估计参数，对所述360°全景3D模型进行优化重建得到3D重建结果，得到运动载体的运动优化估计结果；

将3D重建结果中前后两帧中误差大于预设阈值的点，作为运动目标3D点，而其他点为环境背景3D点。

10.根据权利要求7所述的基于多摄像机和惯性测量单元融合的方法，其特征在于，所述的通过优化环境背景3D点和对运动目标3D点的计算，实现静态背景的全景建模和运动目标的检测与跟踪，包括：

根据运动载体的运动估计参数，对所述环境背景3D点进行优化估计，得到环境背景3D优化结果，区分出运动载体所处环境中的静态背景，对静态背景进行全景建模；

将运动载体的运动估计参数与所述运动目标3D点之间通过运动解耦运算，计算出运动目标的运动参数，区分出运动载体所处环境中的运动目标，对运动目标的运动进行检测和跟踪。