CN111811502B - 一种运动载体多源信息融合导航方法及系统 - Google Patents

一种运动载体多源信息融合导航方法及系统 Download PDF

Info

Publication number
CN111811502B
CN111811502B CN202010663066.4A CN202010663066A CN111811502B CN 111811502 B CN111811502 B CN 111811502B CN 202010663066 A CN202010663066 A CN 202010663066A CN 111811502 B CN111811502 B CN 111811502B
Authority
CN
China
Prior art keywords
environment
information
data
carrier
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010663066.4A
Other languages
English (en)
Other versions
CN111811502A (zh
Inventor
赵龙
穆梦雪
多靖赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010663066.4A priority Critical patent/CN111811502B/zh
Publication of CN111811502A publication Critical patent/CN111811502A/zh
Application granted granted Critical
Publication of CN111811502B publication Critical patent/CN111811502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本发明公开了一种运动载体多源信息融合导航方法及系统，包括采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；利用载体搭载的IMU、摄像机和雷达传感器实时感知载体的运动环境，并形成环境感知信息；利用环境地图、环境三维模型、典型环境特征库和环境感知信息计算得到多源信息自适应融合目标函数；通过目标函数实时计算载体动态定位导航信息，并动态更新环境地图、环境三维模型，实现了环境感知信息辅助的多源信息融合导航，有效解决了运动载体在复杂环境下的长航自主环境适应和连续动态定位导航问题。

Description

一种运动载体多源信息融合导航方法及系统
技术领域
本发明涉及信息技术领域，更具体的说是涉及一种运动载体多源信息融合导航方法及系统。
背景技术
目前，随着新信息技术的发展，特别是中国制造2025和人工智能国家战略计划的推进，无人智能自主系统及应用已经成为我国社会发展中的重大科学技术问题。无人系统智能化需经历单机智能、多机协同智能和任务自主智能三个发展阶段，而且单机智能是基础。在复杂应用环境下，无人系统自主探测并感知，连续可靠获得定位、导航和授时(Positioning，Navigation and Timing，PNT)信息是实现无人系统智能航行的关键。目前，无人系统主要通过惯性导航(Inertial Navigation System，INS)和全球导航卫星系统(Global Navigation Satellite System，GNSS)等传感器组合来获取其导航定位信息并实现自主航行，在军用和民用领域中取得了巨大的经济和社会效益。但在卫星信号拒止、电磁干扰和物理空间变化等复杂应用环境下如何解决无人系统或载体长期环境适应并实现其动态定位导航依然是具有挑战性的难题。
因此，如何提供一种运动载体多源信息融合导航方法及系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种运动载体多源信息融合导航方法及系统，实现环境感知信息辅助的多源信息融合导航，有效解决运动载体在复杂环境下的长航自主环境适应和连续动态定位导航问题。
为了实现上述目的，本发明采用如下技术方案：
一种运动载体多源信息融合导航方法，包括以下步骤：
S1、采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
S2、利用载体搭载的IMU、摄像机和雷达传感器实时感知载体的运动环境，并形成环境感知信息；
S3、利用所述环境地图、所述环境三维模型、所述典型环境特征库和所述环境感知信息计算得到多源信息自适应融合目标函数；
S4、通过所述目标函数实时计算载体动态定位导航信息，并动态更新所述环境地图、所述环境三维模型。
优选的，所述空间环境数据包括数字正射影像DOM、数字高程模型DEM和数字地表模型DSM。
优选的，所述步骤S1包括：采集应用区域的空间环境数据的方式是通过专业测绘部门或通过外部设备或运动载体搭载IMU、摄像机、雷达传感器得到。
优选的，所述步骤S2包括：
S21、将所述载体的运动环境分为室内环境和室外环境两大类，所述室内环境再根据光照、功能和用途进行细致分类；所述室外环境再根据天气条件、开阔程度和植被覆盖进行细致分类；
S22、利用所述不同运动环境数据构建特征数据集并通过环境特征识别深度学习网络进行学习和训练，对所述不同运动环境和场景进行分类，形成环境分类信息；
S23、通过移动机器人采集环境中典型特征数据并形成环境先验特征数据集，对所述环境先验特征通过识别深度学习网络进行学习和训练，进而对所述典型特征进行检测、识别和跟踪，并通过所述移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境感知信息，建立环境先验模型。
优选的，所述步骤S3包括：
S31、根据摄像机、激光雷达和毫米波雷达间的标定参数，实现雷达点云数据和图像点云数据融合，形成点云数据融合信息；
S32、利用IMU数据、云数据融合信息和环境先验模型及特征数据计算得到多源信息自适应融合目标函数，构建多源信息自适应融合模型。
优选的，所述步骤S4包括：
S41、利用非线性优化方法或最优滤波对多源信息自适应融合目标函数进行求解，获得载体动态定位导航信息；
S42、实时建立局部环境地图和环境三维模型并对已有环境地图、环境三维模型和所述典型环境特征库进行更新。
优选的，所述步骤S32中多源信息自适应融合目标函数为
Figure BDA0002579332400000031
其中，eI为IMU的测量误差；ec为图像特征点的重投影误差；er为雷达点云的重投影误差；es为环境特征的重投影误差；k为各传感器数据帧数的标号；KI、Kc、Kr和Ks分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；F(k)、Ω(k)和M(k)分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure BDA0002579332400000032
为第k帧时IMU误差的信息矩阵；
Figure BDA0002579332400000033
表示相关地标点测量的信息矩阵；
Figure BDA0002579332400000034
表示雷达扫描点测量的信息矩阵；
Figure BDA0002579332400000035
表示环境特征测量的信息矩阵；α、β、γ和λ分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数。
一种运动载体多源信息融合导航系统，包括，采集单元、感知单元、与所述采集单元和所述感知单元分别连接的建模单元、与所述建模单元连接的载体定位导航及动态更新单元；
所述采集单元，用于采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
所述感知单元，用于感知载体的运动环境，并形成环境感知信息；
所述建模单元，用于构建多源信息自适应融合模型；
所述载体定位导航及动态更新单元，用于实时计算载体动态定位导航信息，并动态更新所述环境地图、所述环境三维模型。
优选的，所述采集单元、所述感知单元、所述建模单元和所述载体定位导航及动态更新单元通过终端处理器实现空间环境数据的采集、环境感知信息的获取、多源信息自适应融合模型的建立和载体定位导航和动态实时更新。
优选的，所述终端处理器为普通计算机、工控计算机、移动设备终端或嵌入式系统部分。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种运动载体多源信息融合导航方法及系统，该方法利用多传感器原始观测数据形成环境感知信息，实现环境感知信息辅助的多源信息融合导航，有效解决运动载体在复杂环境下的长航自主环境适应和连续动态定位导航问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的结构示意图。
图2附图为本发明提供的环境感知分类示意图。
图3附图为本发明提供的激光雷达、毫米波雷达和图像点云融合过程示意图。
图4附图为本发明提供的环境先验特征识别及定位辅助信息计算流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种运动载体多源信息融合导航方法，包括以下步骤：
S1、采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
S2、利用载体搭载的IMU、摄像机和雷达传感器实时感知载体的运动环境，并形成环境感知信息；
S3、利用环境地图、环境三维模型、典型环境特征库和环境感知信息计算得到多源信息自适应融合目标函数，构建多源信息自适应融合模型；
S4、通过目标函数实时计算载体动态定位导航信息，并动态更新环境地图、环境三维模型。
为了进一步优化上述技术方案，空间环境数据包括数字正射影像DOM、数字高程模型DEM和数字地表模型DSM。
为了进一步优化上述技术方案，步骤S1包括：采集应用区域的空间环境数据的方式是通过专业测绘部门或通过外部设备或运动载体搭载IMU、摄像机、雷达传感器得到。
为了进一步优化上述技术方案，步骤S2包括：
S21、将载体的运动环境分为室内环境和室外环境两大类，室内环境再根据光照、功能和用途进行细致分类；室外环境再根据天气条件、开阔程度和植被覆盖进行细致分类；
S22、利用不同运动环境数据构建特征数据集并通过环境特征识别深度学习网络进行学习和训练，对不同运动环境和场景进行分类，形成环境分类信息，并给出视觉传感器适用因子；
S23、通过移动机器人采集环境中典型特征数据并形成环境先验特征数据集，对环境先验特征通过识别深度学习网络进行学习和训练，进而对典型特征进行检测、识别和跟踪，并通过移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境感知信息，建立环境先验模型。
为了进一步优化上述技术方案，步骤S3包括：
S31、根据摄像机、激光雷达和毫米波雷达间的标定参数，实现雷达点云数据和图像点云数据融合，形成点云数据融合信息；
S32、利用IMU数据、云数据融合信息和环境先验模型及特征数据计算得到多源信息自适应融合目标函数，构建多源信息自适应融合模型。
为了进一步优化上述技术方案，步骤S4包括：
S41、利用非线性优化方法或最优滤波对多源信息自适应融合目标函数进行求解，获得载体动态定位导航信息；
S42、实时建立局部环境地图和环境三维模型并对已有环境地图、环境三维模型和典型环境特征库进行更新。
为了进一步优化上述技术方案，步骤S32中多源信息自适应融合目标函数为
Figure BDA0002579332400000061
其中，eI为IMU的测量误差；ec为图像特征点的重投影误差；er为雷达点云的重投影误差；es为环境特征的重投影误差；k为各传感器数据帧数的标号；KI、Kc、Kr和Ks分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；F(k)、Ω(k)和M(k)分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure BDA0002579332400000062
为第k帧时IMU误差的信息矩阵；
Figure BDA0002579332400000063
表示相关地标点测量的信息矩阵；
Figure BDA0002579332400000064
表示雷达扫描点测量的信息矩阵；
Figure BDA0002579332400000065
表示环境特征测量的信息矩阵；α、β、γ和λ分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数，权系数可以根据环境分类感知信息确定。
一种运动载体多源信息融合导航系统，包括，采集单元、感知单元、与采集单元和感知单元分别连接的建模单元、与建模单元连接的载体定位导航及动态更新单元；
采集单元，用于采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
感知单元，用于感知载体的运动环境，并形成环境感知信息；
建模单元，用于构建多源信息自适应融合模型；
载体定位导航及动态更新单元，用于实时计算载体动态定位导航信息，并动态更新环境地图、环境三维模型。
为了进一步优化上述技术方案，采集单元、感知单元、建模单元和载体定位导航及动态更新单元通过终端处理器实现空间环境数据的采集、环境感知信息的获取、多源信息自适应融合模型的建立和载体定位导航和动态实时更新。
为了进一步优化上述技术方案，终端处理器为普通计算机、工控计算机、移动设备终端或嵌入式系统部分。
本发明公开了一种环境信息辅助的运动载体多源信息融合导航方法，通过编程实现，利用终端处理器实现环境分类信息、环境感知信息、多源信息自适应融合目标函数求解、载体动态导航定位和环境模型与特征更新，形成一种环境信息辅助的运动载体多源信息融合导航系统，计算处理器可以是普通计算机、工控计算机，也可以是移动设备终端，还可以将其移植到嵌入式系统中形成环境信息辅助的运动载体多源信息融合导航系统。
本发明实施例公开了一种环境信息辅助的运动载体多源信息融合导航方法，如图1所示，具体实现步骤为：
步骤一：预先建立无人车航行环境的环境地图和典型环境特征库，其具体实现过程为：
从专业测绘部门获得应用区域的环境数据，包括数字正射影像DOM、数字高程模型DEM和数字地表模型DSM，进而完成环境建模和环境先验特征库构建；也可以利用移动测图设备或运动载体搭载IMU、摄像机和雷达传感器采集应用区域的空间环境数据，建立应用区域环境地图、环境三维模型和环境特征库。
步骤二：利用无人车搭载的IMU、摄像机和雷达传感器实时感知无人车的运动环境，并形成无人车环境感知信息，如图2和图3所示，其具体实现过程为：
步骤①：将载体的运动环境分为室内和室外两大类，其中室内环境又根据光照、功能和用途进行更细致分类；室外环境根据天气条件、开阔程度和植被覆盖等因素进行更细致分类；
步骤②：利用实际采集的不同运动环境数据构建特征数据集并对深度学习网络进行学习和训练，对不同运动环境和场景进行分类，形成环境分类信息，并给出视觉传感器适用因子；
步骤③：采集环境中典型特征数据并形成环境先验特征数据集，对环境特征识别深度学习网络进行学习和训练，进而对实际采集的环境特征进行检测、识别和跟踪，并根据移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境先验特征辅助信息。
步骤3：利用IMU、摄像机和雷达的原始观测数据和环境感知信息构建无人车多源信息自适应融合模型，其具体实现过程为：
步骤①：如图4所示，根据摄像机、激光雷达和毫米波雷达间的标定参数，实现雷达点云数据和图像点云数据融合；
步骤②：利用IMU数据、图像数据、雷达点云数据和环境先验模型及特征数据构建多源信息自适应融合目标函数为
Figure BDA0002579332400000081
式中，eI为IMU的测量误差；ec为图像特征点的重投影误差；er为雷达点云的重投影误差；es为环境特征的重投影误差；k为各传感器数据帧数的标号；KI、Kc、Kr和Ks分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；F(k)、Ω(k)和M(k)分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure BDA0002579332400000082
为第k帧时IMU误差的信息矩阵；
Figure BDA0002579332400000083
表示相关地标点测量的信息矩阵；
Figure BDA0002579332400000084
表示雷达扫描点测量的信息矩阵；
Figure BDA0002579332400000085
表示环境特征测量的信息矩阵；α、β、γ和λ分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数，该权系数可以根据环境分类感知信息确定。
步骤4：实时计算无人车定位导航信息，并动态更新环境模型和环境特征库。
进一步，将步骤1-步骤4的一种环境信息辅助的运动载体多源信息融合导航方法编程实现，利用终端处理器实现环境分类信息、环境感知信息、多源信息自适应融合目标函数求解、载体动态导航定位和环境模型与特征更新，形成一种环境信息辅助的运动载体多源信息融合导航系统，计算处理器可以是普通计算机、工控计算机，也可以是移动设备终端，还可以将其移植到嵌入式系统中形成环境信息辅助的运动载体多源信息融合导航系统。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种运动载体多源信息融合导航方法，其特征在于，包括以下步骤：
S1、采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
S2、利用载体搭载的IMU、摄像机和雷达传感器实时感知载体的运动环境，并形成环境感知信息；所述环境感知信息为实际采集的环境特征及载体的位置信息；所述步骤S2包括：
S21、将所述载体的运动环境分为室内环境和室外环境两大类，所述室内环境再根据光照、功能和用途进行细致分类；所述室外环境再根据天气条件、开阔程度和植被覆盖进行细致分类；
S22、利用不同种类的运动环境数据构建特征数据集并通过环境特征识别深度学习网络进行学习和训练，对不同运动环境和场景进行分类，形成环境分类信息；
S23、通过移动机器人采集环境分类信息中典型特征数据并形成环境先验特征数据集，对所述环境先验特征通过识别深度学习网络进行学习和训练，进而对所述典型特征进行检测、识别和跟踪，并通过所述移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境感知信息；
S3、利用所述环境地图、所述环境三维模型、所述典型环境特征库和所述环境感知信息计算得到多源信息自适应融合目标函数；多源信息自适应融合目标函数为
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
为IMU的测量误差；
Figure DEST_PATH_IMAGE008
为图像特征点的重投影误差；
Figure DEST_PATH_IMAGE010
为雷达点云的重投影误差；
Figure DEST_PATH_IMAGE012
为环境特征的重投影误差；k为各传感器数据帧数的标号；
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE020
分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；
Figure DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE024
和
Figure DEST_PATH_IMAGE026
分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure DEST_PATH_IMAGE028
为第k帧时IMU误差的信息矩阵；
Figure DEST_PATH_IMAGE030
表示相关地标点测量的信息矩阵；
Figure DEST_PATH_IMAGE032
表示雷达扫描点测量的信息矩阵；
Figure DEST_PATH_IMAGE034
表示环境特征测量的信息矩阵；
Figure DEST_PATH_IMAGE036
、
Figure DEST_PATH_IMAGE038
、
Figure DEST_PATH_IMAGE040
和
Figure DEST_PATH_IMAGE042
分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数；
S4、通过所述目标函数实时计算载体动态定位导航信息，并动态更新所述环境地图、所述环境三维模型。
2.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述空间环境数据包括数字正射影像DOM、数字高程模型DEM和数字地表模型DSM。
3.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述步骤S1包括：采集应用区域的空间环境数据的方式是通过专业测绘部门或通过外部设备或运动载体搭载IMU、摄像机、雷达传感器得到。
4.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述步骤S3包括：
S31、根据摄像机、激光雷达和毫米波雷达间的标定参数，实现雷达点云数据和图像点云数据融合，形成点云数据融合信息；
S32、利用IMU数据、云数据融合信息和环境先验模型及特征数据计算得到多源信息自适应融合目标函数，构建多源信息自适应融合模型。
5.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述步骤S4包括：
S41、利用非线性优化方法或最优滤波对多源信息自适应融合目标函数进行求解，获得载体动态定位导航信息;
S42、实时建立局部环境地图和环境三维模型并对已有环境地图、环境三维模型和所述典型环境特征库进行更新。
6.一种运动载体多源信息融合导航系统，其特征在于，包括，采集单元、感知单元、与所述采集单元和所述感知单元分别连接的建模单元、与所述建模单元连接的载体定位导航及动态更新单元；
所述采集单元，用于采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
所述感知单元，用于感知载体的运动环境，并形成环境感知信息；所述环境感知信息为实际采集的环境特征及载体的位置信息；具体内容包括：
将所述载体的运动环境分为室内环境和室外环境两大类，所述室内环境再根据光照、功能和用途进行细致分类；所述室外环境再根据天气条件、开阔程度和植被覆盖进行细致分类；
利用不同种类的运动环境数据构建特征数据集并通过环境特征识别深度学习网络进行学习和训练，对不同运动环境和场景进行分类，形成环境分类信息；
通过移动机器人采集环境分类信息中典型特征数据并形成环境先验特征数据集，对所述环境先验特征通过识别深度学习网络进行学习和训练，进而对所述典型特征进行检测、识别和跟踪，并通过所述移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境感知信息；
所述建模单元，用于构建多源信息自适应融合模型；具体内容包括：利用所述环境地图、所述环境三维模型、所述典型环境特征库和所述环境感知信息计算得到多源信息自适应融合目标函数，其中：多源信息自适应融合目标函数为：
Figure DEST_PATH_IMAGE002A
Figure DEST_PATH_IMAGE004A
其中，
Figure DEST_PATH_IMAGE006A
为IMU的测量误差；
Figure DEST_PATH_IMAGE008A
为图像特征点的重投影误差；
Figure DEST_PATH_IMAGE010A
为雷达点云的重投影误差；
Figure DEST_PATH_IMAGE012A
为环境特征的重投影误差；k为各传感器数据帧数的标号；
Figure DEST_PATH_IMAGE014A
、
Figure DEST_PATH_IMAGE016A
、
Figure DEST_PATH_IMAGE018A
和
Figure DEST_PATH_IMAGE020A
分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；
Figure DEST_PATH_IMAGE022A
、
Figure DEST_PATH_IMAGE024A
和
Figure DEST_PATH_IMAGE026A
分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure DEST_PATH_IMAGE028A
为第k帧时IMU误差的信息矩阵；
Figure DEST_PATH_IMAGE030A
表示相关地标点测量的信息矩阵；
Figure DEST_PATH_IMAGE032A
表示雷达扫描点测量的信息矩阵；
Figure DEST_PATH_IMAGE034A
表示环境特征测量的信息矩阵；
Figure DEST_PATH_IMAGE036A
、
Figure DEST_PATH_IMAGE038A
、
Figure DEST_PATH_IMAGE040A
和
Figure DEST_PATH_IMAGE042A
分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数；
所述载体定位导航及动态更新单元，用于实时计算载体动态定位导航信息，并动态更新所述环境地图、所述环境三维模型。
7.根据权利要求6所述的一种运动载体多源信息融合导航系统，其特征在于，所述采集单元、所述感知单元、所述建模单元和所述载体定位导航及动态更新单元通过终端处理器实现空间环境数据的采集、环境感知信息的获取、多源信息自适应融合模型的建立和载体定位导航和动态实时更新。
8.根据权利要求7所述的一种运动载体多源信息融合导航系统，其特征在于，所述终端处理器为普通计算机、工控计算机、移动设备终端或嵌入式系统部分。
CN202010663066.4A 2020-07-10 2020-07-10 一种运动载体多源信息融合导航方法及系统 Active CN111811502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010663066.4A CN111811502B (zh) 2020-07-10 2020-07-10 一种运动载体多源信息融合导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010663066.4A CN111811502B (zh) 2020-07-10 2020-07-10 一种运动载体多源信息融合导航方法及系统

Publications (2)

Publication Number Publication Date
CN111811502A CN111811502A (zh) 2020-10-23
CN111811502B true CN111811502B (zh) 2022-07-22

Family

ID=72842669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010663066.4A Active CN111811502B (zh) 2020-07-10 2020-07-10 一种运动载体多源信息融合导航方法及系统

Country Status (1)

Country Link
CN (1) CN111811502B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465987A (zh) * 2020-12-17 2021-03-09 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) 一种视觉融合信息三维重建的导航地图构建方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101454824B1 (ko) * 2013-04-03 2014-11-03 국방과학연구소 자율 이동 차량의 위치 추정 시스템 및 방법
CN103697889B (zh) * 2013-12-29 2016-05-25 北京航空航天大学 一种基于多模型分布式滤波的无人机自主导航与定位方法
CN105606096B (zh) * 2016-01-28 2018-03-30 北京航空航天大学 一种载体运动状态信息辅助的姿态和航向计算方法和系统
CN106017454B (zh) * 2016-06-16 2018-12-14 东南大学 一种基于多传感器融合技术的行人导航装置和方法
CN106679648B (zh) * 2016-12-08 2019-12-10 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN106709462A (zh) * 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种室内定位方法及其装置
US10107627B2 (en) * 2017-03-08 2018-10-23 Northrop Grumman Systems Corporation Adaptive navigation for airborne, ground and dismount applications (ANAGDA)
CN109425348B (zh) * 2017-08-23 2023-04-07 北京图森未来科技有限公司 一种同时定位与建图的方法和装置
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
US10907971B2 (en) * 2017-12-08 2021-02-02 Regents Of The University Of Minnesota Square root inverse Schmidt-Kalman filters for vision-aided inertial navigation and mapping
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统
CN109977813B (zh) * 2019-03-13 2022-09-13 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN110160522A (zh) * 2019-04-16 2019-08-23 浙江大学 一种基于稀疏特征法的视觉惯导里程计的位姿估计方法
CN110243358B (zh) * 2019-04-29 2023-01-03 武汉理工大学 多源融合的无人车室内外定位方法及系统
CN111210477A (zh) * 2019-12-26 2020-05-29 深圳大学 一种运动目标的定位方法及系统
CN111089585A (zh) * 2019-12-30 2020-05-01 哈尔滨理工大学 一种基于传感器信息融合的建图及定位方法
CN111340851A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 基于双目视觉与imu融合的slam方法

Also Published As

Publication number Publication date
CN111811502A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN105241445B (zh) 一种基于智能移动终端的室内导航数据获取方法及系统
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
WO2017028653A1 (zh) 一种移动机器人室内自建地图的方法和系统
CN109100730B (zh) 一种多车协同快速建图方法
CN105930819A (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN109446973B (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN107036594A (zh) 智能电站巡检智能体的定位与多粒度环境感知技术
CN110298914B (zh) 一种建立果园中果树冠层特征地图的方法
CN107103056B (zh) 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法
CN109815300A (zh) 一种车辆定位方法
CN112325883B (zh) 一种WiFi和视觉多源融合的移动机器人室内定位方法
CN108549376A (zh) 一种基于信标的导航定位方法及系统
CN111811502B (zh) 一种运动载体多源信息融合导航方法及系统
CN112446905B (zh) 基于多自由度传感关联的三维实时全景监控方法
CN107607091A (zh) 一种测量无人机飞行航迹的方法
CN111536970B (zh) 一种用于低能见度大尺度场景的红外惯性组合导航方法
CN115421158B (zh) 自监督学习的固态激光雷达三维语义建图方法与装置
CN111352404A (zh) 无人机与地面移动机器人协同的农情获取方法、系统、介质和设备
Chen et al. Trajectory optimization of LiDAR SLAM based on local pose graph
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN115307646A (zh) 一种多传感器融合的机器人定位方法、系统及装置
CN111121818A (zh) 一种无人车中相机与二维码的标定方法
CN115183762A (zh) 一种机场仓库内外建图方法、系统、电子设备及介质
Sujiwo et al. Robust and accurate monocular vision-based localization in outdoor environments of real-world robot challenge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant