CN108196285A - 一种基于多传感器融合的精确定位系统 - Google Patents

一种基于多传感器融合的精确定位系统 Download PDF

Info

Publication number
CN108196285A
CN108196285A CN201711242930.8A CN201711242930A CN108196285A CN 108196285 A CN108196285 A CN 108196285A CN 201711242930 A CN201711242930 A CN 201711242930A CN 108196285 A CN108196285 A CN 108196285A
Authority
CN
China
Prior art keywords
image
vehicle
information
obtains
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711242930.8A
Other languages
English (en)
Other versions
CN108196285B (zh
Inventor
曾丝雨
谢粤超
洪佳欣
胡琪滢
杜盈仪
陈湘萍
林淑金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201711242930.8A priority Critical patent/CN108196285B/zh
Publication of CN108196285A publication Critical patent/CN108196285A/zh
Application granted granted Critical
Publication of CN108196285B publication Critical patent/CN108196285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明实施例公开了一种基于多传感器融合的精确定位系统，其中，该系统包括：GPS传感器，用于收集GPS信息；惯性测量单元，用于收集IMU信号；摄像传感器，用于收集图像视频流；判别单元，用于对获取的图像视频流中图像质量进行判断分类；中央处理器，用于收集定位信息，根据定位信息从云端获取相应范围的电子地图及街景图像序列，并根据判断单元的结果将所有收集的数据信息进行相应处理，获得精确的定位结果。实施本发明实施例，通过每一次的精准定位，能反过来对惯性测量单元所得数据的累计误差进行消除，以保证了系统的鲁棒性。两种传感器所获得的数据之间的相互作用，有利于克服单一传感器实现精准定位带来的局限性，使得整个系统更加的稳定。

Description

一种基于多传感器融合的精确定位系统
技术领域
本发明涉及计算机科学、无人驾驶技术领域，尤其涉及一种基于多传感 融合的精确定位系统。
背景技术
在高楼密集的城市区域，完成精确的车辆定位是一个重要的且具有挑 战性的问题。利用GPS系统完成定位是一种最常见的方法，商业化运行的 GPS信号可以提供10米精度的定位信息，而对电离层误差等进行精确的改 正后，可以将定位精度提高到厘米级。然而，由于高楼遮挡GPS信号造成 接收卫星数量不足，或由于GPS信号多路径效应等问题，在实际生活中常 常无法得出准确定位信息。为了解决这一问题，目前有多种定位方法被提出， 包括建立基站，差分修正等，然而这些方法多数都存在设备依赖度高且外界 环境对设备正常工作干扰大等问题，使得其很难在实际生活中得到快速推 广。
另外，基于车载全景影像与街景地图匹配的视觉定位方法也已经形成， 但这种方法也存在一些实际的缺陷，如城市道路改建而街景图像没有实时 更新，或是在下雨黑夜等场景中全景相机工作性能的下降使得图像质量不 高等。
目前，随着车辆的更新换代，越来越多的车辆上开始安装摄像头以及惯 性测量单元，这也为更精准的定位系统，提供了广泛的数据来源和技术基础。 考虑到目前精确定位技术的缺陷，本发明将结合全景相机与惯性测量单元、 数字电子地图匹配，克服全景相机捕捉特征时易受外界光线环境影响，同时 街景更新频繁造成匹配效果不佳等缺陷，不依赖于基站的同时灵活地实现 精确定位。
现有技术中存在一种基于车载全景影像与街景地图匹配的视觉定位方 法。该匹配方法主要是通过匹配车载全景影像与街景地图的视线遮挡特征 来完成定位功能。首先利用街景影像的建筑物立面及立面特征线建立视线 遮挡特征，构成视线遮挡特征库，并对特征进行聚类，获取聚类结果；其次 获取车载全景图像中的相应视线遮挡特征，并得到车载街景图像的摄影点 范围和该范围内的视线遮挡特征，从而可以确定各视线遮挡特征对应的聚 类类别；通过车载全景图像中特征的类别及匹配结果，就可以确定车辆位 置。；但其存在的缺陷如下：
(1)视线遮挡特征库实时维护：决定匹配技术的关键要素，就是已有 的利用街景地图形成的视线遮挡特征库。但是，随着城市建设规模的不断扩 大，城市建设速度过快，街景地图的场景也在不断变化，已有的视线遮挡特 征并不能与实地场景做到实时相符，这就为车载全景影像的特征与已有的 特征库进行匹配完成定位时，带来干扰，这也说明利用街景地图形成的特征 库需要定期更新以实现对现实场景的充分模拟考虑。
(2)外界环境对摄像效果影响：利用全景相机成像完成相应视线遮挡 特征建模时需要充分依赖于相机对于外界环境的捕捉能力。但是，现有的全 景相机对于工作环境光线的要求，使得其性能在光线不足时大打折扣，例如 在雨天，夜晚等相机成像能力差的场景中，车载摄影点范围内的遮挡特征并 不能被很好的建立，这样就很难利用车载周围遮挡特征完成特征库的匹配， 实现相应定位。这就说明精准定位技术的走向，有以下两种选择，一是实现 全景相机的工作性能的优化，二是使用其他技术弥补上述特殊场景带来的 影响。
现有的精确定位的技术还包括：一种使用差分基站、路侧设备、车载定 位设备以及差分定位方法。该技术提供一种差分基站、路侧设备、车载定位 设备、差分定位系统和差分定位方法。该差分定位系统包括：差分基站、路 侧设备和车载定位设备，其中，差分基站用于生成定位修正数据并通过互联 网发送给远程服务器，路侧设备用于从远程服务器接收定位修正数据，并将 定位修正数据通过V2X通信发送给车载定位设备，车载定位设备用于获取 初始定位数据，并根据从路侧设备接收到的定位修正数据对初始定位数据 进行修正。本发明的差分定位系统和差分定位方法，通过将差分定位技术与 V2X通信技术相结合，可以使车载单元快捷、稳定地获取定位精度较高的 定位数据。该技术是通过差分基站和路侧设备对初始定位数据进行修正，得 到更加精确的定位数据，这就对基站和路侧设备的分布密度有一定的要求， 且搭建基站和路侧设备本身所需成本较高，需要投入大量人力物力，不具备 灵活性。在上述两种设备分布稀疏的区域，这种方式对定位数据的修正效果 并不明显。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于多传 感器融合的精确定位系统及其方法，能够通过融合目前普遍使用的车载传 感器与日益完善的数字电子地图，从而实现一种更为灵活，易于推广的精确 定位系统，并克服了基于单个摄像头实现的精准定位系统的不足，如雷雨天 气、黑夜等情况下摄像头获取的图像数据无效，又或者街景地图无法实时更 新导致无法匹配等情况。
为了解决上述问题，本发明提出了一种基于多传感器融合的精确定位 系统，所述系统包括：
GPS传感器，用于收集GPS信息；
惯性测量单元，用于收集IMU信号；
摄像传感器，用于收集图像视频流；
中央处理器，用于对获取的图像视频流中图像质量进行判断分类，根据 判断结果将所有收集的数据信息进行相应处理，获得精确的定位结果。
优选地，所述中央处理器判别图像视频流主要是通过图像直方图的方 式对当前获取的图像视频流中的图像质量进行评定，包括：
图像视频流的图像是肉眼可看清且噪点少，即图像直方图分布均匀且 噪声干扰小的，则判断为图像质量好；
图像视频流的图像是处于高动态或黑夜场景下导致的噪点过多或曝光 异常的，则判断为图像质量差。
优选地，所述中央处理器还基于获取的GPS信号收集定位信息，根据 定位信息从云端获取相应范围的电子地图及街景图像序列。
优选地，所述中央处理器包括：
跟据图像质量好的判断结果，则获取图像视频流，对图像视频流中每帧 图像信息提取特征点进行计算处理，获得视觉里程计信息；
对图像视频流中每帧图像进行提取，获得图像特征向量；
根据图像质量差的判断结果，则只获取IMU信号信息以及GPS信号不 断进行修正车辆的运动轨迹，并与电子地图进行融合，通过概率匹配方式不 断进行修正偏转角的偏差，最终获得定位结果；
根据视觉里程计信息及IMU信号信息、GPS信号通过融合信号信息进 行修正车辆的运动轨迹；
根据修正后的车辆运动轨迹与电子地图进行融合，通过概率匹配方式 进行修正偏转角的偏差，获得定位区域；
获取若干个定位区域进行提取，获得所述定位区域的街景图像序列；
对所述定位区域的街景图像序列进行检测，截取街景图像序列中显著 度高的部分，获取432*432的分辨率图像；
对当前时刻获得的图像也进行同样操作，获得两组分辨率一致的图像 序列进行降采样及计算处理，获得特征维度数目为216的特征向量；
获取两组图像序列的特征向量进行计算、配对处理，获得图像序列配对 结果；
基于图像序列配对结果，获取该街景图像序列所处的定位坐标，获得定 位结果。
优选地，所述获取视觉里程计信息的步骤包括：
对于视频流中的图像进行FAST角点提取；
基于所提取的FAST角点进行计算所述FAST角点的BRIEF描述子；
基于BRIEF描述子进行特征点的匹配；
将得到的特征点通过进行去除局外点以及最小化重投影误差的方式， 得到两帧图像之间的旋转平移矩阵，即视觉里程计信息。
优选地，所述根据IMU信号信息、GPS信号及视觉里程计信息进行修 正车辆的运动轨迹的步骤进一步包括：
对获取的IMU信号信息进行积分处理，计算出车辆当前运动位姿；
获取车辆当前运动位姿，结合GPS信号和视觉里程计信息，进行融合 与轨迹修正；
优选地，所述的概率匹配方式包括：
获取电子地图中的一个节点表示一段路，当前时刻(t)车辆所处的路 段定义为ut，则车辆所在位置可以通过一个向量(dt,θt)来表示。其中d 表示在这段路上行驶的距离，θ表示路段对应的直线与车辆的运动方位所 形成的夹角。
设t时刻下的惯性测量单元得到的观测值为yt，而st为当前时刻以 及上一时刻的车辆位置的元组：st＝(dt,θt,dt-1,θt-1)，则融合定位问题 可以规约成后验概率的推断。
通过计算各个节点的概率，锁定的当前车辆疑似所在位置。p(u,s)表示 (u,s)的联合概率分布，p(u|s)表示条件概率分布，1:t-1表示从1时刻到t-1时 刻，以此类推。随着车辆行驶轨迹信息的增加，所能定位的区域会逐渐收敛 到一个更加精确的位置。
优选地，所述获得两组分辨率一致的图像序列进行降采样及计算处理 步骤包括：
将图像分为4个，在每个层次中根据上步计算所得的积分图像，计算 出哈尔小波(Haar)的前3阶响应值；
对前三阶响应值进行归一化处理；
将降采样后的图像分割为4*4的小块，每个块按照特定的下标汇总， 对每一个层次的哈尔小波(Haar)在特定的下标值响应上进行求和以及L1 范数的计算，得到特征维度数目为216的特征向量。
优选地，当定位坐标回馈到根据修正后的车辆运动轨迹与电子地图进 行融合并通过匹配得到的定位结果，以更新每个匹配点的权重，加速收敛结 果，获取所需的位置信息。
优选地，当图像质量高却无法匹配成功时，中央处理器依旧可以通过传 感器传入的信息的累加进行收敛，最终获得定位结果。
在本发明实施例中，通过每一次的精确定位，能够反过来对惯性测量单 元所得数据的累计误差进行消除，以保证了系统的鲁棒性。两种传感器所获 得的数据之间的相互作用，有利于克服单一性传感器实现精准定位带来的 局限性，使得整个系统更加的稳定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对 实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下 面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例的一种基于多传感器融合的精确定位系统的结构 组成示意图；
图2是本发明实施例的中央处理器运行具体步骤的示意图；
图3是本发明实施例的车辆的运动轨迹与电子地图匹配定位的示例图；
图4是本发明实施例的图像特征向量匹配的示意图；
图5是本发明实施例的视频流数据单帧图像以及街景图像的全局特征 向量示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进 行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。
图1是本发明实施例的一种基于多传感器融合的精确定位系统的结构 组成示意图，如图1所示，该系统包括：
GPS传感器，用于收集GPS信息；
惯性测量单元，用于收集IMU信号；
摄像传感器，用于收集图像视频流；
中央处理器，用于对获取的图像视频流中图像质量进行判断分类，根据 判断结果将所有收集的数据信息进行相应处理，获得精确的定位结果。
其中，中央处理器判别图像视频流主要是通过图像直方图的方式对当 前获取的图像视频流中的图像质量进行评定，包括：
图像视频流的图像是肉眼可看清且噪点少，即图像直方图分布均匀且 噪声干扰小的，则判断为图像质量好；
图像视频流的图像是处于高动态或黑夜场景下导致的噪点过多或曝光 异常的，则判断为图像质量差。
如图2所示，中央处理器还基于获取的GPS信号收集定位信息，根据 定位信息从云端获取相应范围的电子地图及街景图像序列。
中央处理器进一步包括：
S1，跟据图像质量好的判断结果，则获取图像视频流，进行对应的处理：
对图像视频流中每帧图像信息提取特征点进行计算处理，获得视觉里 程计信息；
对图像视频流中每帧图像进行提取，获得图像特征向量；
S2，根据图像质量差的判断结果，根据图像质量差的判断结果，则只获 取IMU信号信息以及GPS信号不断进行修正车辆的运动轨迹，并与电子地 图进行融合，通过概率匹配方式不断进行修正偏转角的偏差，最终获得定位 结果；
S3，根据视觉里程计信息及IMU信号信息、GPS信号通过融合信号信 息进行修正车辆的运动轨迹；
S4，根据修正后的车辆运动轨迹与电子地图进行融合，通过概率匹配方 式进行修正偏转角的偏差，获得定位区域。
S5，获取若干个定位区域进行提取，获得所述定位区域的街景图像序 列；
S6，对所述定位区域的街景图像序列进行检测，截取街景图像序列中显 著度高的部分，获取432*432的分辨率图像；
S7，对当前时刻获得的图像也进行同样操作，获得两组分辨率一致的图 像序列进行降采样及计算处理，获得特征维度数目为216的特征向量。
S8，获取两组图像序列的特征向量进行计算、配对处理，获得图像序列 配对结果。
S9，基于图像序列配对结果，获取该街景图像序列所处的定位坐标，获 得定位结果。
具体地，S1中所述获取视觉里程计信息的步骤包括：
S11，对于视频流中的图像进行FAST角点提取；
S12，基于所提取的FAST角点进行计算所述FAST角点的BRIEF描述 子；
S13，基于BRIEF描述子进行特征点的匹配；
S14，将得到的特征点通过进行去除局外点以及最小化重投影误差的方 式，得到两帧图像之间的旋转平移矩阵，即视觉里程计信息；其中，该旋转 平移矩阵中将包含平移量与旋转角。
所述FAST角点的BRIEF描述子具有旋转尺度不变性的性质；
S13中具体的匹配准则为对应描述子的汉明距离；如图3所示，将当前 帧与上一帧间的运动趋势通过这些匹配后的特征点来计算车辆的运动姿态；
本方案使用了基于摄像获取的图像数据做视觉里程计，其目的是希望 能够在一定程度上消除使用单一的里程计数据所带来的累计误差。
S3中，所述根据IMU信号信息、GPS信号及视觉里程计信息进行修正 车辆的运动轨迹的步骤进一步包括：
S31，对获取的IMU信号信息进行积分处理，计算出车辆当前运动位 姿；
S32，获取车辆当前运动位姿，结合GPS信号和视觉里程计信息，进行 融合与轨迹修正；
具体地，S4中所述的概率匹配方式包括：
如图3所示，获得的地图可以看成是一个图，图中的一个节点表示一 段路，图中的边表征路段之间的可达性。在这样的前提下，当前时刻(t)车 辆所处的路段定义为ut，则车辆所在位置可以通过一个向量(dt,θt)来表 示。其中d表示在这段路上行驶的距离，θ表示路段对应的直线与车辆的 运动方位所形成的夹角。设t时刻下的惯性测量单元得到的观测值为yt， 而st为当前时刻以及上一时刻的车辆位置的元组：st＝(dt,θt,dt-1,θt-1)， 则融合定位问题可以规约成后验概率的推断。通过计算各个节点的概率，将 当前时刻车辆极有可能所在的节点标注出来，如图3所示，电子地图上方 块标记出来的节点，是通过概率匹配锁定的当前车辆疑似所在位置。p(u,s) 表示(u,s)的联合概率分布，p(u|s)表示条件概率分布，1:t-1表示从1时刻到 t-1时刻，以此类推。随着车辆行驶轨迹信息的增加，所能定位的区域会逐 渐收敛到一个更加精确的位置，最终得到图3所示的结果，能判断出当前 车辆所在电子地图的节点位置。
如图4所示，S5中电子地图经过匹配后得到4个疑似定位区域，目的 是目的是在获取更为精确的轨迹的前提下，在电子地图中先锁定大致的区 域，以缩小全局图像特征匹配的范围，减小需要提取图像特征的数量。这一 步骤有利于加快定位的速度。
具体地，S7中获得两组分辨率一致的图像序列进行降采样及计算处理 步骤包括：
S71，将图像分为4个，在每个层次中根据上步计算所得的积分图像， 计算出哈尔小波(Haar)的前3阶响应值；
S72，对前三阶响应值进行归一化处理；
S73，将降采样后的图像分割为4*4的小块，每个块按照特定的下标汇 总，对每一个层次的哈尔小波(Haar)在特定的下标值响应上进行求和以及 L1范数的计算，得到特征维度数目为216的特征向量。
其中，这里得到的特征向量为获取的视频流数据单帧图像以及街景图 像的全局特征向量，如图5中的星号代表特征向量，每个星号有一个相应 的特征向量，而一串街景序列中有许多特征向量，同样中视频流中我们也能 对每帧提取图像特征向量，对这些特征向量进行匹配。
S8中，图像序列的特征向量的配对以绝对差值和作为配对准则。计算 两个特征向量之间的距离，并以所得距离值作为评判相似度的标准。对评分 高的图像对进行扩展配对，即将该图像所在序列中往前选取连续5张图像， 与街景图像序列进行配对，得到图像序列配对的结果，以避免出现误匹配现 象，以邻近的图像序列作为约束特征匹配结果。如图5所示，①为行驶中经 过S3融合所得的轨迹，而轨迹上的特征(星号)为经过S8所得。②中则是经过S4得到的疑似定位区域，共计四个，则提取这四个区域中的街景序 列的图像特征向量与①中的图像特征向量进行匹配。
S9进一步包括：当定位坐标回馈到S4中通过匹配得到的定位结果，以 更新每个匹配点的权重，加速收敛结果，获取所需的位置信息。
其中，对于惯性测量单元和摄像传感器的使用并非一种独立的方案，针 对可能遇到的图像特征匹配失效的情况，本方案采用了惯性测量单元所得 数据进行补充，从而达到精准定位。值得注意的是，这里惯性测量单元获得 数据进行定位的方案并非为一种替补方案，即并非是只有在图像特征匹配 失效的时候才会启动的机制，而是在系统一开始就使用的机制，与摄像传感 器所采用的图像特征匹配方案形成互补。由于街景地图中包含的图像数量 非常大，且定位范围越大，图像基数越大。在这种情况下对一个区域中的所 有街景图像都提取其特征数据进行匹配，计算量非常大，不利于实时进行。 而惯性测量单元通过对其所获得的数据进行解析，得到轨迹信息，可以以概 率匹配的方式初步在一定区域内锁定几个最有可能的定位范围，随着惯性 测量单元所获得的数据量增大，解析所得轨迹信息更加的丰富，以概率匹配 的方式锁定的区域则更加精准，而这些锁定的区域反馈到街景地图中，则可 以大大缩小整个图像库中需要提取图像特征的数量，从而降低计算量。与此 同时，使用惯性测量单元获得的数据来解析轨迹信息，随着时间的推移会有 累计误差，导致轨迹信息不准确。本方案获取到精准定位的位置信息的同时， 有利于矫正使用惯性测量单元获得的数据所带来的累计误差。
在具体实施例中，当图像质量高却无法匹配成功时(这种情况多发生但 不局限于街景地图无法实时更新，导致同一地点中实时拍摄的图像内容与 街景地图中图像内容不一致)，则对S4中没有进行反馈的信息，进而无法 加速S4的收敛。但S4依旧可以通过传感器传入的信息的累加进行收敛， 只是收敛的速度相对较慢而已。
上述提及的匹配失效的情况，主要但不局限于以下情况引起：①图像质 量本身低下，如遇到雷雨天气、黑夜、大雾天等情况，导致成像效果本身不 佳；②街景地图更新不及时，城市规划可能会使得城市部分地区面貌发生变 化，如一栋新的高楼大厦，修路等等，使得同一地点当前拍摄所得的图像画 面与街景地图中的图像画面不一致，也会导致图像匹配失败。
在本发明实施例中，通过每一次的精确定位，能够反过来对惯性测量单 元所得数据的累计误差进行消除，以保证了系统的鲁棒性。两种传感器所获 得的数据之间的相互作用，有利于克服单一性传感器实现精准定位带来的 局限性，使得整个系统更加的稳定。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分 步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算 机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘 等。
另外，以上对本发明实施例所提供的一种基于多传感器融合的精确定 位系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方 式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核 心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实 施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为 对本发明的限制。

Claims (7)

1.一种基于多传感器融合的精确定位系统，其特征在于，所述系统包括：
GPS传感器，用于收集GPS信息；
惯性测量单元，用于收集IMU信号；
摄像传感器，用于收集图像视频流；
中央处理器，用于对获取的图像视频流中图像质量进行判断分类；
跟据图像质量好的判断结果，则获取图像视频流，对图像视频流中每帧图像信息提取特征点进行计算处理，获得视觉里程计信息；
对图像视频流中每帧图像进行提取，获得图像特征向量；
根据图像质量差的判断结果，则只获取IMU信号信息以及GPS信号不断进行修正车辆的运动轨迹，并与电子地图进行融合，通过概率匹配方式不断进行修正偏转角的偏差，最终获得定位结果；
根据视觉里程计信息及IMU信号信息、GPS信号通过融合信号信息进行修正车辆的运动轨迹；
根据修正后的车辆运动轨迹与电子地图进行融合，通过概率匹配方式进行修正偏转角的偏差，获得定位区域；
获取若干个定位区域进行提取，获得所述定位区域的街景图像序列；
对所述定位区域的街景图像序列进行检测，截取街景图像序列中显著度高的部分，获取432*432的分辨率图像；
对当前时刻获得的图像也进行同样操作，获得两组分辨率一致的图像序列进行降采样及计算处理，获得特征维度数目为216的特征向量；
获取两组图像序列的特征向量进行计算、配对处理，获得图像序列配对结果；
基于图像序列配对结果，获取该街景图像序列所处的定位坐标，获得定位结果。
2.如权利要求1所述的一种基于多传感器融合的精确定位系统，其特征在于，所述获取视觉里程计信息的步骤包括：
对于视频流中的图像进行FAST角点提取；
基于所提取的FAST角点进行计算所述FAST角点的BRIEF描述子；
基于BRIEF描述子进行特征点的匹配；
将得到的特征点通过进行去除局外点以及最小化重投影误差的方式，得到两帧图像之间的旋转平移矩阵，即视觉里程计信息。
3.如权利要求1所述的一种基于多传感器融合的精确定位系统，其特征在于，所述获取视觉里程计信息的步骤包括：
对于视频流中的图像进行FAST角点提取；
基于所提取的FAST角点进行计算所述FAST角点的BRIEF描述子；
基于BRIEF描述子进行特征点的匹配；
将得到的特征点通过进行去除局外点以及最小化重投影误差的方式，得到两帧图像之间的旋转平移矩阵，即视觉里程计信息。
4.如权利要求1所述的一种基于多传感器融合的精确定位系统，其特征在于，所述根据IMU信号信息、GPS信号及视觉里程计信息进行修正车辆的运动轨迹的步骤进一步包括：
对获取的IMU信号信息进行积分处理，计算出车辆当前运动位姿；
获取车辆当前运动位姿，结合GPS信号和视觉里程计信息，进行融合与轨迹修正。
5.如权利要求1所述的一种基于多传感器融合的精确定位系统，其特征在于，所述的概率匹配方式包括：
获取电子地图中的一个节点表示一段路，当前时刻(t)车辆所处的路段定义为ut，则车辆所在位置可以通过一个向量(dt,θt)来表示。其中d表示在这段路上行驶的距离，θ表示路段对应的直线与车辆的运动方位所形成的夹角。
设t时刻下的惯性测量单元得到的观测值为yt，而st为当前时刻以及上一时刻的车辆位置的元组：st＝(dt,θt,dt-1,θt-1)，则融合定位问题可以规约成后验概率的推断。
通过计算各个节点的概率，锁定的当前车辆疑似所在位置。p(u,s)表示(u,s)的联合概率分布，p(u|s)表示条件概率分布，1:t-1表示从1时刻到t-1时刻，以此类推。随着车辆行驶轨迹信息的增加，所能定位的区域会逐渐收敛到一个更加精确的位置。
6.如权利要求1所述的一种基于多传感器融合的精确定位系统，其特征在于，当定位坐标回馈到根据修正后的车辆运动轨迹与电子地图进行融合并通过匹配得到的定位结果，以更新每个匹配点的权重，加速收敛结果，获取所需的位置信息。
7.如权利要求1所述的一种基于多传感器融合的精确定位系统，其特征在于，当图像质量高却无法匹配成功时，中央处理器依旧可以通过传感器传入的信息的累加进行收敛，最终获得定位结果。
CN201711242930.8A 2017-11-30 2017-11-30 一种基于多传感器融合的精确定位系统 Active CN108196285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711242930.8A CN108196285B (zh) 2017-11-30 2017-11-30 一种基于多传感器融合的精确定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711242930.8A CN108196285B (zh) 2017-11-30 2017-11-30 一种基于多传感器融合的精确定位系统

Publications (2)

Publication Number Publication Date
CN108196285A true CN108196285A (zh) 2018-06-22
CN108196285B CN108196285B (zh) 2021-12-17

Family

ID=62573255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711242930.8A Active CN108196285B (zh) 2017-11-30 2017-11-30 一种基于多传感器融合的精确定位系统

Country Status (1)

Country Link
CN (1) CN108196285B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108802786A (zh) * 2018-07-20 2018-11-13 北斗星通（重庆）汽车电子有限公司 一种车载定位方法
CN109143305A (zh) * 2018-09-30 2019-01-04 百度在线网络技术（北京）有限公司 车辆导航方法和装置
CN109815300A (zh) * 2018-12-13 2019-05-28 北京邮电大学 一种车辆定位方法
CN110632626A (zh) * 2019-10-28 2019-12-31 启迪云控(北京)科技有限公司 一种基于车联网的定位方法及系统
CN111077556A (zh) * 2020-01-02 2020-04-28 东南大学 融合北斗与多传感器的机场行李牵引车定位装置与方法
CN111141273A (zh) * 2019-12-18 2020-05-12 无锡北微传感科技有限公司 基于多传感器融合的组合导航方法及系统
CN111210651A (zh) * 2018-11-21 2020-05-29 北京嘀嘀无限科技发展有限公司 一种确定停车位置的方法、系统、装置及存储介质
CN111551976A (zh) * 2020-05-20 2020-08-18 四川万网鑫成信息科技有限公司 一种结合多种数据对异常定位进行自动补全的方法
WO2020224117A1 (zh) * 2019-05-06 2020-11-12 平安科技（深圳）有限公司 基于历史视频的导航方法、装置、计算机设备及存储介质
CN113311905A (zh) * 2020-02-26 2021-08-27 初速度（苏州）科技有限公司 一种数据处理系统
CN113436261A (zh) * 2021-06-24 2021-09-24 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法
US11789455B2 (en) 2020-06-02 2023-10-17 Beijing Baidu Netcom Science Technology Co., Ltd. Control of autonomous vehicle based on fusion of pose information and visual data

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043504A1 (en) * 2007-05-31 2009-02-12 Amrit Bandyopadhyay System and method for locating, tracking, and/or monitoring the status of personnel and/or assets both indoors and outdoors
CN103207634A (zh) * 2013-03-20 2013-07-17 北京工业大学 一种智能车辆中差分gps与惯性导航数据融合的系统和方法
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN103325112A (zh) * 2013-06-07 2013-09-25 中国民航大学 动态场景中运动目标快速检测方法
CN103954283A (zh) * 2014-04-01 2014-07-30 西北工业大学 基于景象匹配/视觉里程的惯性组合导航方法
CN104777499A (zh) * 2015-04-13 2015-07-15 河南理工大学 一种基于ins/gps/sar的联合导航方法
US20160080897A1 (en) * 2014-09-17 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
CN105741240A (zh) * 2016-01-18 2016-07-06 中国科学院遥感与数字地球研究所 基于参考影像纹理约束和非凸低秩约束的遥感图像重建方法
CN205484831U (zh) * 2016-01-05 2016-08-17 天津普正动力科技有限公司 一种车载导航信息系统
CN106412826A (zh) * 2016-09-07 2017-02-15 清华大学 基于多源信息融合的室内定位方法及定位装置
CN106840148A (zh) * 2017-01-24 2017-06-13 东南大学 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN107025657A (zh) * 2016-01-31 2017-08-08 天津新天星熠测控技术有限公司 一种基于视频图像的车辆行为轨迹检测方法
CN107167826A (zh) * 2017-03-31 2017-09-15 武汉光庭科技有限公司 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN107229063A (zh) * 2017-06-26 2017-10-03 奇瑞汽车股份有限公司 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法
CN107246868A (zh) * 2017-07-26 2017-10-13 上海舵敏智能科技有限公司 一种协同导航定位系统及导航定位方法
CN107402012A (zh) * 2016-05-20 2017-11-28 北京自动化控制设备研究所 一种车辆的组合导航方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043504A1 (en) * 2007-05-31 2009-02-12 Amrit Bandyopadhyay System and method for locating, tracking, and/or monitoring the status of personnel and/or assets both indoors and outdoors
CN103207634A (zh) * 2013-03-20 2013-07-17 北京工业大学 一种智能车辆中差分gps与惯性导航数据融合的系统和方法
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN103325112A (zh) * 2013-06-07 2013-09-25 中国民航大学 动态场景中运动目标快速检测方法
CN103954283A (zh) * 2014-04-01 2014-07-30 西北工业大学 基于景象匹配/视觉里程的惯性组合导航方法
US20160080897A1 (en) * 2014-09-17 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
CN104777499A (zh) * 2015-04-13 2015-07-15 河南理工大学 一种基于ins/gps/sar的联合导航方法
CN205484831U (zh) * 2016-01-05 2016-08-17 天津普正动力科技有限公司 一种车载导航信息系统
CN105741240A (zh) * 2016-01-18 2016-07-06 中国科学院遥感与数字地球研究所 基于参考影像纹理约束和非凸低秩约束的遥感图像重建方法
CN107025657A (zh) * 2016-01-31 2017-08-08 天津新天星熠测控技术有限公司 一种基于视频图像的车辆行为轨迹检测方法
CN107402012A (zh) * 2016-05-20 2017-11-28 北京自动化控制设备研究所 一种车辆的组合导航方法
CN106412826A (zh) * 2016-09-07 2017-02-15 清华大学 基于多源信息融合的室内定位方法及定位装置
CN106840148A (zh) * 2017-01-24 2017-06-13 东南大学 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN107167826A (zh) * 2017-03-31 2017-09-15 武汉光庭科技有限公司 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN107229063A (zh) * 2017-06-26 2017-10-03 奇瑞汽车股份有限公司 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法
CN107246868A (zh) * 2017-07-26 2017-10-13 上海舵敏智能科技有限公司 一种协同导航定位系统及导航定位方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108802786A (zh) * 2018-07-20 2018-11-13 北斗星通（重庆）汽车电子有限公司 一种车载定位方法
CN109143305A (zh) * 2018-09-30 2019-01-04 百度在线网络技术（北京）有限公司 车辆导航方法和装置
CN111210651A (zh) * 2018-11-21 2020-05-29 北京嘀嘀无限科技发展有限公司 一种确定停车位置的方法、系统、装置及存储介质
CN109815300B (zh) * 2018-12-13 2021-06-29 北京邮电大学 一种车辆定位方法
CN109815300A (zh) * 2018-12-13 2019-05-28 北京邮电大学 一种车辆定位方法
WO2020224117A1 (zh) * 2019-05-06 2020-11-12 平安科技（深圳）有限公司 基于历史视频的导航方法、装置、计算机设备及存储介质
CN110632626A (zh) * 2019-10-28 2019-12-31 启迪云控(北京)科技有限公司 一种基于车联网的定位方法及系统
CN111141273A (zh) * 2019-12-18 2020-05-12 无锡北微传感科技有限公司 基于多传感器融合的组合导航方法及系统
CN111077556A (zh) * 2020-01-02 2020-04-28 东南大学 融合北斗与多传感器的机场行李牵引车定位装置与方法
CN113311905A (zh) * 2020-02-26 2021-08-27 初速度（苏州）科技有限公司 一种数据处理系统
CN113311905B (zh) * 2020-02-26 2022-06-24 魔门塔(苏州)科技有限公司 一种数据处理系统
CN111551976A (zh) * 2020-05-20 2020-08-18 四川万网鑫成信息科技有限公司 一种结合多种数据对异常定位进行自动补全的方法
US11789455B2 (en) 2020-06-02 2023-10-17 Beijing Baidu Netcom Science Technology Co., Ltd. Control of autonomous vehicle based on fusion of pose information and visual data
CN113436261A (zh) * 2021-06-24 2021-09-24 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法
CN113436261B (zh) * 2021-06-24 2022-04-29 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法

Also Published As

Publication number Publication date
CN108196285B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN108196285A (zh) 一种基于多传感器融合的精确定位系统
US11428537B2 (en) Localization and mapping methods using vast imagery and sensory data collected from land and air vehicles
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
US20090237510A1 (en) Visualizing camera feeds on a map
CN106878687A (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
US20110145256A1 (en) Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US8717436B2 (en) Video processing system providing correlation between objects in different georeferenced video feeds and related methods
US8363109B2 (en) Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
WO2020083103A1 (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN115439424A (zh) 一种无人机航拍视频图像智能检测方法
CN111830953A (zh) 车辆自定位方法、装置及系统
CN109520500A (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN103411587B (zh) 定位定姿方法及系统
US8933961B2 (en) Video processing system generating corrected geospatial metadata for a plurality of georeferenced video feeds and related methods
CN110232683A (zh) 一种基于无人机点云的滑坡检测方法
CN105335977A (zh) 摄像系统及目标对象的定位方法
CN112446915B (zh) 一种基于图像组的建图方法及装置
CN112461228A (zh) 一种相似环境下基于imu和视觉的二次回环检测定位方法
CN115984417A (zh) 一种语义建图方法、装置及存储介质
CN115690610A (zh) 一种基于图像匹配的无人机导航方法
CN111477013B (zh) 一种基于地图影像的车辆测量方法
CN114111817A (zh) 基于slam地图与高精度地图匹配的车辆定位方法及系统
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN112001970A (zh) 一种基于点线特征的单目视觉里程计方法
CN113781444B (zh) 基于多层感知机校正的快速拼接航拍图像的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant