CN109115232B - 导航的方法和装置 - Google Patents

导航的方法和装置 Download PDF

Info

Publication number
CN109115232B
CN109115232B CN201710479972.7A CN201710479972A CN109115232B CN 109115232 B CN109115232 B CN 109115232B CN 201710479972 A CN201710479972 A CN 201710479972A CN 109115232 B CN109115232 B CN 109115232B
Authority
CN
China
Prior art keywords
point
image
characteristic information
line
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710479972.7A
Other languages
English (en)
Other versions
CN109115232A (zh
Inventor
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710479972.7A priority Critical patent/CN109115232B/zh
Publication of CN109115232A publication Critical patent/CN109115232A/zh
Application granted granted Critical
Publication of CN109115232B publication Critical patent/CN109115232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本申请提供了一种导航的方法和装置，该方法包括：在确定车辆驶入非结构化道路时，获取该非结构化道路的实景图像；获取该实景图像的点特征信息和线特征信息，该点特征信息包括该实景图像中的至少一个像素点的特征信息，该线特征信息包括该实景图像中的至少一条线段的特征信息，该点特征信息中像素点的数量根据该线特征信息中线段的数量确定；根据该点特征信息和该线特征信息，优化该车辆的运动参数。本发明实施例中提供的导航的方法，通过结合点特征信息和线特征信息，能够有效提高运动参数的优化效果，此外，通过线特征信息中线段的数量限定点特征信息中像素点的数量，能够有效降低运算复杂度。

Description

导航的方法和装置
技术领域
本发明实施例涉及导航技术领域，并且更具体地，涉及导航的方法和装置。
背景技术
在导航领域中，道路场景分为结构化道路与非结构化道路，结构化道路包括高速公路、城市干道；而非结构化城区岔路、城郊道路、越野道路。结构化道路可利用人工标记的高精度地图进行导航，而非结构化道路则常需通过车辆传感器感知环境信息实现组合导航。
现有技术中，将利用图像算法实现里程计功能的方法称之为“视觉里程计”，将结合惯性测量单元(Inertial measurement unit，IMU)的视觉里程计称为“惯性-视觉里程计”。具体地，视觉里程计是对相机拍摄的图像进行处理并计算拍摄图像过程中的摄像机运动状态实现里程计功能。惯性-视觉里程计组合导航的核心原理是由惯性测量器连续估计车体局部运动，由视觉里程计得出一定时间的路程，修正IMU引入的系统累积误差，得到正确的车辆行驶轨迹。
例如，如图1所示，Mobileye公司在CVPR2016上做的专题报告(DisruptingTransportation Is Just Around the Corner:Autonomous Driving,Computer Visionand Machine Learning)中提出了一种利用道路标记导航定位的方法。具体地，在结构化路段上，通过提取道路结构化特征或道标，构建带有全球定位系统(Global PositioningSystem，GPS)坐标的路标数据库进行高精度结构化路段定位；而非结构化路段上依靠惯性测量。这种方法虽然在规范的结构化道路下性能良好。但是，由于该方法对IMU累积误差精度较为敏感，导致无法长时间工作在非结构化道路下。
为了实现在非结构化道路下的导航车辆，谷歌与加州大学洛杉矶分校的合作项目以及本田专利US 9342888 B2中提出了一种利用非结构化特征导航定位的方法。具体地，如图2所示，通过提取出非结构化道路场景下的自然特征点，利用点特征估计车辆运动参数并修正IMU读数，实现非结构化道路定位。但是，通过该方法进行导航定位时，非结构化的点特征提取不稳定，且数量较多，难以削减；而非结构化线特征的参数关联方法较为复杂，提取不稳定。
因此，在导航领域中的非结构化道路下，亟需一种能够有效修正导航系统的IMU测量的车辆运动参数累积误差的技术方案。
发明内容
本申请提供一种导航的方法和装置，能够有效提高运动参数的优化效果。
第一方面，提供了一种用于导航的方法，所述方法包括：
在确定车辆驶入非结构化道路时，获取所述非结构化道路实景图像；
获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；
根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。
本发明实施例中提供的导航的方法，通过结合点特征信息和线特征信息，能够有效提高运动参数的优化效果。
此外，通过线特征信息中线段的数量限定点特征信息中像素点的数量，能够有效降低运算复杂度。
在一些可能的实现方式中，所述获取实景图像，包括：
所述获取所述实景图像的点特征信息和线特征信息，包括：对所述实景图像进行图像分割，形成第一图像，所述第一图像包括路面区域和非路面区域；在所述路面区域的边界处，获取所述线特征信息；在所述非路面区域中，获取所述点特征信息。
在一些可能的实现方式中，所述在所述路面区域的边界处，获取所述线特征信息，包括：
在所述路面区域的边界处，通过霍夫变换对所述第一图像进行线段检测，获取第二图像；处理所述第二图像并获取用于表示所述线特征信息的至少一个特征向量。
在一些可能的实现方式中，所述在所述非路面区域中，确定所述点特征信息，包括：
在所述非路面区域，将所述第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据所述线特征信息的数量在所述第一顺序中确定用于表示所述点特征信息的至少一个特征向量。
在一些可能的实现方式中，所述点特征信息的数量与所述线特征信息的数量之间的关系满足以下公式：
Figure GDA0002806613480000021
其中，所述kl为所述线特征信息的数量，所述kp为所述点特征信息的数量，所述mod()为取整函数，所述c为常量补偿值。
在一些可能的实现方式中，所述根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数，包括：
根据所述点特征信息和所述线特征信息确定误差函数，根据所述误差函数优化所述运动参数。
在一些可能的实现方式中，所述误差函数如下公式所示：
Figure GDA0002806613480000022
其中，所述E(P)为所述误差函数，所述P为所述运动参数，所述P为3x4投影矩阵[R，t]，所述R是3阶旋转矩阵，所述t是3维平移向量，所述m表示图像帧的索引号，所述M表示图像帧的帧数，所述ω为所述点特征信息和所述线特征信息的加权系数，所述n表示3D地图点的索引号，所述NP表示由所述点特征信息构造的空间点的总数，所述np表示点特征对应的空间点的索引号，所述NL表示由所述线特征信息构造的空间点的总数，所述nl表示线特征对应的空间点的索引号，所述
Figure GDA0002806613480000023
表示第np个空间点对应的点特征的三维坐标，所述
Figure GDA0002806613480000024
表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，所述
Figure GDA0002806613480000025
表示第nl个空间点对应的线特征端点的三维坐标，所述lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，所述||lmn||为所述lmn的刚量，所述Pm表示第m个图像帧对应的所述运动参数。
在一些可能的实现方式中，所述对所述实景图像进行图像分割，形成第一图像，包括：
通过索贝尔算子对所述实景图像进行边缘检测，形成所述第一图像。
在一些可能的实现方式中，所述方法还包括：
根据构图原点和优化后的所述车辆的运动参数构建所述非结构化道路的地图，其中，所述构图原点为所述车辆在驶入非结构化道路之前确定的第一地理坐标，所述第一地理坐标位于结构化道路的边缘处。
本发明实施例中，能够有效构建出非结构化道路的地图。
在一些可能的实现方式中，所述方法还包括：
通过点云或栅格的形式保存所述非结构化道路的地图，并根据所述车辆的历史路线将所述非结构化道路的地图拼接到所述结构化道路的地图上，构建目标地图。
在一些可能的实现方式中，在确定车辆驶入非结构化道路时，所述方法还包括：
确定第二地理坐标为标定原点，所述第二地理坐标位于结构化道路的边缘处，所述车辆行驶在所述非结构化道路的过程中，记录以下标定信息：多个时间点、所述多个时间点中的每个时间点下的视觉里程计的数据、所述多个时间点中的每个时间点下的惯性测量单元IMU的数据；根据所述标定信息，修正所述车辆的视觉里程计和所述车辆的IMU。
本发明实施例中，能够实现视觉里程计和IMU的互相标定。
第二方面，提供了一种用于导航的装置，所述装置包括：
获取单元，用于在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；
获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；
处理单元，用于根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。
第三方面，提供了一种用于导航的装置，所述装置包括：
收发器，用于在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；
获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；
处理器，用于根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。
可以理解，第三方面的用于导航的装置能够执行在第一方面中所述的任一种可能的实现方式，为避免重复，在此不做赘述。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序使得主机执行上述第一方面或第一方面中的任一种可能的实现方式中的方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
附图说明
图1是现有技术的用于导航的方法的示意性流程图。
图2是现有技术的用于导航的方法的另一示意性流程图。
图3是根据本发明实施例的用于导航的方法的示意性流程图。
图4是根据本发明实施例的用于导航的方法的另一示意性流程图。
图5是根据本发明实施例的构建地图的方法的示意图。
图6是根据本发明实施例的构建地图的方法的示性流程意图。
图7是根据本发明实施例的IMU-双目视觉里程计在线互标定过程的示意图。
图8是根据本发明实施例的用于导航的装置的示意框图。
图9是根据本发明实施例的用于导航的装置的另一示意框图。
图10是根据本发明实施例的用于导航的装置的另一示意框图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行描述。
本发明提出了一种惯性-双目视觉里程计方法，可用于非结构化路段下的导航系统中。该方法在分割后的图像区域上提取结构化线段特征和非结构化点特征，并通过线段特征数量限制点特征数量以合并两类特征，利用这种合并特征估计车辆运动的最优参数，用于修正IMU的累积误差。
图3是本发明实施例的用于导航的方法100的示意性流程图，该方法100可以由导航系统或者具备导航功能的装置、设备执行，本发明实施例不做具体限定。
110，在确定车辆驶入非结构化道路时，获取该非结构化道路的实景图像。
120，获取该实景图像的点特征信息和线特征信息。
130，根据该点特征信息和该线特征信息，优化该车辆的运动参数。
具体而言，在确定车辆驶入非结构化道路时，获取该非结构化道路的实景图像；获取该实景图像的点特征信息和线特征信息，该点特征信息包括该实景图像中的至少一个像素点的特征信息，该线特征信息包括该实景图像中的至少一条线段的特征信息；根据该点特征信息和该线特征信息，优化该车辆的运动参数。
例如，使用计算机提取该实景图像的特征信息时，提取的是该实景图像中属于一个图像特征的像素点，提取的结果是把该实景图像中的像素点划分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域，这些点、线、面通常表示某种特征变换的局部响应极值区域。本实施例中，将该实景图像中提取的孤立的点定义为点特征信息，将该实景图像中提取的线定义为线特征信息。
本发明实施例中提供的导航的方法，通过结合点特征信息和线特征信息，能够有效提高运动参数的优化效果。此外，通过线特征信息中线段的数量限定点特征信息中像素点的数量，能够有效降低运算复杂度。
可选地，该点特征信息中像素点的数量根据该线特征信息中线段的数量确定，例如，该点特征信息的数量与该线特征信息的数量之间的关系满足以下公式(1)：
Figure GDA0002806613480000041
其中，该kl为该线特征信息的数量，该kp为该点特征信息的数量，该mod()为取整函数，该c为常量补偿值。
需要注意的是，本发明实施例中，结构化道路可以是具有清晰道路标识物的道路，例如，国家级，或者省级高速公路。非结构化道路可以是没有清晰的道路标识物的道路，例如，结构化程度较低的道路，比如城乡结合部道路，或者乡间道路。换句话说，结构化道路可利用人工标记的高精度地图导航，非结构化道路则常需通过车辆传感器感知环境信息实现组合导航。
在本发明实施例中，可选地，可以通过视觉里程计获取该实景图像。例如，本发明实施例中的视觉里程计可以配置有获取图像并利用图像算法实现里程计的功能模块，也可以只配置有获取图像的功能模块。不失一般性地，根据视觉系统不同，该视觉里程计可以是单目/双目/多目视觉里程计。
应理解，视觉里程计是对相机拍摄的图像进行处理并计算拍摄图像过程中的摄像机运动状态，视觉里程计的基本输入为图像数据，基本输出为两帧图像间的相对运动方向及相对位移，该基本输出用于修正车辆的IMU数据。换句话说，本发明实施例中的视觉里程计包含特征提取与参数估计，其中，特征提取模块用于提取实景图像中的线特征信息和点特征信息，参数估计指根据提取的线特征信息和点特征信息建立参数优化模型，并输出该参数优化模型下的最优参数，该最优参数用于修正车辆的IMU数据。
下面对本发明实施例中的线特征信息和点特征信息的获取方法的实现方式进行说明。
本发明实施例中获取线特征信息和点特征信息的方法包括但不限于：对该实景图像进行图像分割，形成第一图像，该第一图像包括路面区域和非路面区域；在该路面区域的边界处，获取该线特征信息；在该非路面区域中，获取该点特征信息。
例如，通过索贝尔算子(Sobel operator)对该实景图像进行边缘检测，形成该第一图像。下面对Sobel算子进行介绍。
Sobel算子是图像处理中的算子之一，主要用作边缘检测。在技术上，它是一离散性差分算子，用来运算图像亮度函数的梯度之近似值。在图像的任何一点使用此算子，将会产生对应的梯度矢量或是其法矢量。
Sobel算子涉及的术语有：
边缘：灰度或结构等信息的突变处，边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分割图像。
边缘点：图像中具有坐标[x，y]，且处在强度显著变化的位置上的点。
边缘段：对应于边缘点坐标[x，y]及其方位，边缘的方位可能是梯度角。
具体地，Sobel算子计算完图像中所有的像素点处的梯度值G(x，y)后，选择一个阈值T，如果(x，y)处的G(x，y)>T，则认为该点是边缘点或边缘段。由于Sobel算子只采用了2个方向的模板，即水平梯度响应及垂直梯度响应，使得边缘检测的计算简单，速度快。
可以理解，物体的边缘是以图像局部特性的不连续性的形式出现的。例如，灰度值的突变，颜色的突变，纹理结构的突变等。从本质上说，边缘就意味着一个区域的终结和另外一个区域的开始。图像边缘信息在图像分析和人的视觉中十分重要，是图像识别中提取图像特征的一个重要属性。
图像的边缘有方向和幅度两个特性。通常，沿边缘走向的像素变化平缓，而垂直于边缘走向的像素变化剧烈。这种变化可能呈现为跳跃型、房顶型和凸缘型。这些变化分别对应景物中不同的物理状态。例如，跳跃型变化常常对应目标的深度或者是反射边界，而后两者则常常反映表面法线方向的不连续。实际要分析的图像往往是比较复杂的，灰度变化不一定是上述的标准形式。例如，灰度的变化不是突变而是在一个空间范围内的渐变。而且，在实际工程中获得的图像难免要混有噪声。
应理解，Sobel算子仅是本发明实施例的示例性说明，本发明实施例不限于此，例如，还可以是Robert算子、Prewitt算子、高斯拉普拉斯(Laplacian of Gaussian,LOG)算子等等。
作为一个实施例，获取线特征信息时，可以在该路面区域的边界处，通过霍夫变换对该第一图像进行线段检测，获取第二图像；处理该第二图像并获取用于表示该线特征信息的至少一个特征向量。
例如，可以从路面区域的边界处获取到路沿的线段特征，使用霍夫变换(HoughTransform)变换检测直线段，具体而言，通过计算梯度响应方向角及边缘响应强度，确定各线段的首尾端点坐标并进行记录，形成用于表示线特征信息的至少一个特征向量，将这至少一个线特征向量确定为线特征信息。
下面对Hough变换进行介绍。
Hough变换是图像处理中的一种特征提取技术，它通过一种投票算法检测具有特定形状的物体。该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。经典霍夫变换用来检测图像中的直线，后来霍夫变换扩展到任意形状物体的识别，多为圆和椭圆。
Hough变换运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题。
可以理解，一条直线在直角坐标系下可以用y＝kx+b表示,Hough变换的主要思想是将该方程的参数和变量交换，即用x，y作为已知量k，b作为变量坐标，所以直角坐标系下的直线y＝kx+b在参数空间表示为点(k，b)，而一个点(x1，y1)在直角坐标系下表示为一条直线y1＝kx1+b，其中(k，b)是该直线上的任意点。为了计算方便，将参数空间的坐标表示为极坐标下的γ和θ。
由于同一条直线上的点对应的(γ,θ)是相同的，因此可以先将图片进行边缘检测，然后对图像上的每一个非0像素点，在参数坐标下变换为一条直线，那么在直角坐标下属于同一条直线的点便在参数空间形成多条直线，并且内交于一点。找到参数平面上出现次数最多的点位置，这个位置就是原图像上直线的参数。
在本发明实施例中，还可以通过“二值化”的方式确定用于表示线特征信息的至少一个特征向量。具体而言，将图像上的点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。即，将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值图像，进而提取二值图像特征，这是研究灰度变换的最特殊的方法，称为图像的二值化。该二值图像特征可以包括由一串0，1组成的特征向量。
在数字图像处理中，二值图像占有非常重要的地位，特别是在实用的图像处理中，以二值图像处理实现而构成的系统是很多的，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值图像，这样子有利于在对图像做进一步处理时，图像的集合性质只与像素点的值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。
为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。如果某特定物体在内部有均匀一致的灰度值，并且其处在一个具有其他等级灰度值的均匀背景下，使用阈值法就可以得到比较的分割效果。如果物体同背景的差别表现不在灰度值上(比如纹理不同)，可以将这个差别特征转换为灰度的差别，然后利用阈值选取技术来分割该图像。动态调节阈值实现图像二值化，可动态观察其分割图像的具体结果。
例如，在本发明实施例中，可以通过以下公式(2)进行图像二值化，形成用于表示线特征信息的至少一个特征向量：
Figure GDA0002806613480000071
其中，该lp为“图像二值化”过程中的系数，该min{}为取最小值，该max{}为取最大值，该△(lp)表示该用于表示线特征信息的特征向量，该△(lp)由一串0，1组成的特征向量。
作为另一个实施例，获取点特征信息时，可以在该非路面区域，将该第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据该线特征信息的数量在该第一顺序中确定用于表示该点特征信息的至少一个特征向量。
具体而言，利用Sobel算子在该非路面区域计算兴趣区域的梯度响应值，并将梯度响应极值点对应的梯度响应值按第一顺序排列，然后，根据该线特征信息的数量确定用于表示该点特征信息的至少一个特征向量，将该用于表示该点特征信息的至少一个特征向量确定为该点特征信息。
例如，该梯度响应极值点为水平梯度响应极值点。具体而言，可以利用Sobel算子在该非路面区域计算兴趣区域的水平梯度响应值，并按从大到小的顺序将水平梯度响应极值点对应的水平梯度响应值进行排序，形成第一序列，最后，根据线特征信息中特征向量的数量在该第一序列中选取至少一个水平梯度响应值，上述至少一个水平梯度响应值对应至少一个用于表示该点特征信息的特征向量。
可以理解，本发明实施例中，该梯度响应极值点为水平梯度响应极值点，该梯度响应极值点也可以为垂直梯度响应极值点，甚至还可以是水平梯度响应极值点和垂直梯度响应极值点的交集或者并集。
上文对本发明实施例的获取点特征信息的方法，下面对本发明实施例中的获取点特征信息和线特征信息之后的参数估计进行说明。
在本发明实施例中，可以根据该点特征信息和该线特征信息确定误差函数，根据该误差函数优化该运动参数。具体而言，以车辆的运动参数为设计目标，将车辆的运动数据参数化后，通过点特征信息和线特征信息建立参数优化模型，并基于该参数优化模型不断的调整车辆的运动参数，使得车辆的运动参数不断接近实际情况，提高导航的准确度。
例如，该误差函数如下公式(3)所示：
Figure GDA0002806613480000072
其中，该E(P)为该误差函数，该P为该运动参数，该P为3x4投影矩阵[R，t]，该R是3阶旋转矩阵，该t是3维平移向量，该m表示图像帧的索引号，该M表示图像帧的帧数，该ω为该点特征信息和该线特征信息的加权系数，该n表示3D地图点的索引号，该NP表示由该点特征信息构造的空间点的总数，该np表示点特征对应的空间点的索引号，该NL表示由该线特征信息构造的空间点的总数，该nl表示线特征对应的空间点的索引号，该
Figure GDA0002806613480000081
表示第np个空间点对应的点特征的三维坐标，该
Figure GDA0002806613480000082
表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，该
Figure GDA0002806613480000083
表示第nl个空间点对应的线特征端点的三维坐标，该lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，该||lmn||为该lmn的刚量，该Pm表示第m个图像帧对应的该运动参数。
应理解，本发明实施例中，可以通过上述公式(3)建立参数优化模型，也可以结合点特征信息和线特征信息建立其它形式的参数优化模型，考虑到建立优化模型对本领域技术人员来说属于现有技术，在此不做赘述。
还应注意，本发明实施例中在确定出用于表示点特征信息的至少一个特征向量和用于表示线特征信息的至少一个特征向量之后，还可以对这些特征向量进行存储，在进行参数优化时再提取这些特征信息。
例如，可以通过散列表(Hash table，也叫哈希表)进行信息存储。其中，哈希表是根据关键码值(Key value)而直接进行访问的数据结构。具体而言，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。
假设给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为哈希(Hash)表，函数f(key)为哈希(Hash)函数。换句话说，若关键字为k，则其值存放在f(k)的存储位置上。由此，不需比较便可直接取得所查记录。称这个对应关系f为散列函数，按这个思想建立的表为散列表。
需要注意的是，针对不同的关键字可能得到同一散列地址。即，k1≠k2时，f(k1)＝f(k2)，这种现象称为碰撞(Collision)。也就是说，根据散列函数f(k)和处理碰撞的方法将一组关键字映射到一个有限的连续的地址集(区间)上，并以关键字在地址集中的“像”作为记录在表中的存储位置，这种表便称为散列表，这一映射过程称为散列造表或散列，所得的存储位置可以称为散列地址。
在本发明实施例中，可以通过建立特征信息的哈希表，在哈希表中查询特征信息，具体地，按照下面的公式(4)查询特征信息：
Omn＝hmap(m,hmap(n,Lmn)) (4)
其中，hmap(m,hmap())表示第一层哈希的键为m的二层哈希表，该m表示图像帧的索引号，该n为第二层哈希的键、该n表示3D地图点的索引号，该Lmn表示键m、键n下的特征信息在该哈希表中的位置，该Omn表示键m、键n下的特征信息。
图4是本发明实施例的用于导航的方法的另一示意性流程图。
如图4所示，若前方为结构化路段，则采用结构化导航；若前方为非结构化路段，或将驶入非结构化路段时，启动惯性-双目视觉里程计导航，并利用该结果修正IMU读数；待导航地图定位在结构化路段后，切换至结构化导航。其中，结构化导航可以是GPS-惯性组合导航，惯性-双目视觉里程计导航可以是本发明实施例的用于导航的方法100。
具体而言，车辆行驶过程中，判断前方路况，GPS-惯性组合导航模块处于常开状态，从GPS-惯性组合导航模块中，读取车辆运动参数；在高精度地图中查找结构化路段，高精度地图上事先标注有结构化路段，其余路段都属于非结构化路段；若前方为结构化路段，则使用GPS-惯性组合导航的结果修正车辆运动参数；若前方为非结构化路段，则启动惯性-双目里程计导航模块，并使用该结果修正车辆运动参数，具体地，提取结构化与非结构化特征，而后合并两类特征；建立合并后的误差模型，计算车辆运动的最优参数，用于修正IMU累积误差；在非结构化路段上，实时对比GPS定位结果，当GPS信号较稳定且定位差异小于预设值时，从高精度地图上判断是否已驶出非结构化路段；若已驶出非结构化路段，则关闭惯性-双目里程计模块并使用GPS-惯性导航结果；若未驶出非结构化路段，则仍然使用惯性-双目里程计导航，直到驶出非结构化路段为止。
本发明实施例中，基于上述获取点特征信息和线特征信息的方法，还提供了一种构建地图的方法。具体而言，在地图构建过程中，采用双目里程计进行路面场景的立体重建，并通过惯性-双目里程计计算车辆的位姿，进而实现全局的地图拼接，后期通过人工构建原始底图。
下面结合图5和图6对本发明实施例的构建地图的方法进行介绍。
可选地，根据构图原点和优化后的该车辆的运动参数构建该非结构化道路的地图，其中，该构图原点为该车辆在驶入非结构化道路之前确定的第一地理坐标，该第一地理坐标位于结构化道路的边缘处。
例如，如图5所示，提供一种从结构化路段扩展至非结构化路段的车载地图自动构建方法，包括：输入起始点地理坐标、车载IMU读数、双目车载相机图像。系统根据起始点地理坐标确定所构建地图的坐标系原点，通过双目视觉里程计重建当前场景，并采用惯性-双目视觉里程计测定车辆运动，根据相对运动关系，将当前重建的场景叠加到构建的地图上。
具体而言，指定某结构化路段边缘指定已知地理坐标地点为构图原点，随后车辆开启惯性-双目视觉里程计并驶入非结构化区域，并开始构图。其具体步骤为：车辆起始于某已知地理坐标的结构化路段边缘处，将该地点坐标设为坐标原点；开启惯性-双目视觉里程计并驶入非结构化路段；开始道路地图自动构建过程，直到构图结束。
可选地，通过点云或栅格的形式保存该非结构化道路的地图，并根据该车辆的历史路线将该非结构化道路的地图拼接到该结构化道路的地图上，构建目标地图。
具体而言，如图6所示，双目立体重建前方道路场景地图，将重建的前方道路地图，以点云或栅格的形式保存下来；从惯性-双目视觉里程计中读取运动参数，将该运动参数，叠加到先前的运动参数上，得到车辆当前的全局运动参数；通过全局运动参数与指定坐标系原点，计算车辆当前状况下的全局坐标变换，通过该变换，将前方道路地图对齐到指定坐标系下，并与指定坐标系下的全局地图叠加，保证全局地图的更新过程与车辆运动过程一致。
需指出：图6所示的流程构建的地图为原始底图，仅包含场景的三维空间点，不包含任何语义信息，因此，还需通过人工或自动标注，生成包含完整的道路信息要素的传统高清地图。
下面结合图7对本发明实施例的IMU-双目视觉里程计在线互标定过程进行介绍。
可选地，在确定车辆驶入非结构化道路时，确定第二地理坐标为标定原点，该第二地理坐标位于结构化道路的边缘处，该车辆行驶在该非结构化道路的过程中，记录以下标定信息：多个时间点、该多个时间点中的每个时间点下的视觉里程计的数据、该多个时间点中的每个时间点下的惯性测量单元IMU的数据；根据该标定信息，对该车辆的视觉里程计和该车辆的IMU进行互相标定。
具体而言，提供了一种车载IMU与双目视觉里程计之间的在线互标定系统，输入包括：标定起始时间点t0，标定终止时间点tn，车载IMU的出厂安装位姿Pi，车载双目视觉里程计的出厂安装位姿Pc，标定过程中双目视觉里程计采集的图像序列及时间戳、标定过程中IMU的运动参数序列及时间戳，IMU与双目视觉里程计之间实现时间同步，系统根据出厂安装位姿计算IMU与双目视觉里程计之间的初始变换关系Tic’，并以t0时刻位置为时间坐标系原点，通过行驶过程中双目视觉里程计得出的车体相对运动参数与IMU读取的车体相对运动参数，计算IMU与双目视觉里程计位姿间的精确变换关系Tic，在线完成精确互标定。
也就是说，本发明实施例中指定某结构化路段为已知地理坐标地点为标定原点，记录起始时刻时间t0，随后车辆开启惯性-双目视觉里程计并驶入非结构化区域，开始标定。
具体步骤为：指定标定起始时刻t0，记录该时刻双目视觉里程计定位结果为Pc0，IMU定位结果为Pi0；车辆沿规划路线行驶并记录标定所需数据，包括：k时刻的时间戳tk、双目视觉里程计的定位参数序列Pck、IMU的定位参数序列Pik；直至指定时刻tn为止；利用采集的数据，以IMU和双目视觉里程计的出厂安装位姿为IMU-双目视觉里程计的初始变换关系Tic’，在车载计算平台上计算IMU-双目视觉里程计互标定参数，得到最优互标定参数Tic。
例如，如图7所示，IMU-双目视觉里程计在线互标定的步骤中，IMU与双目视觉里程计之间必须实现存储时间的精确同步，也即一个时间戳对应一个IMU读数以及一个双目里程计参数。最优互标定参数Tic的计算原理为：k时刻，IMU位姿Pik与双目位姿Pck的关系为Pck＝Tic*Pik，其中，Pik和Pck都是3x4的投影矩阵P＝[R，t]，其中R是3阶旋转矩阵，表示运动方向，t为3维平移向量，表示运动位移；对于n个时刻的记录数据，该问题转化为求矛盾方程组最优解问题。
图8是本发明实施例的用于导航的装置200的示意性框图。
如图2所示，该装置200包括：
获取单元210，用于在确定车辆驶入非结构化道路时，获取实景图像；获取该实景图像的点特征信息和线特征信息，该点特征信息包括该实景图像中的至少一个像素点的特征信息，该线特征信息包括该实景图像中的至少一条线段的特征信息，该点特征信息中像素点的数量根据该线特征信息中线段的数量确定。
处理单元220，用于根据该点特征信息和该线特征信息，优化该车辆的运动参数。
可选地，该获取单元210具体用于：
通过视觉里程计获取该实景图像；对该实景图像进行图像分割，形成第一图像，该第一图像包括路面区域和非路面区域；在该路面区域的边界处，获取该线特征信息；在该非路面区域中，获取该点特征信息。
可选地，该获取单元210具体用于：
在该路面区域的边界处，通过霍夫变换对该第一图像进行线段检测，获取第二图像；处理该第二图像并获取用于表示该线特征信息的至少一个特征向量；将该用于表示该线特征信息的至少一个特征向量确定为该线特征信息。
可选地，该获取单元210具体用于：
在该非路面区域，将梯度响应极值点对应的梯度响应值按第一顺序排列，并根据该线特征信息的数量确定用于表示该点特征信息的至少一个特征向量，将该用于表示该点特征信息的至少一个特征向量确定为该点特征信息。
可选地，该点特征信息的数量与该线特征信息的数量之间的关系满足以下公式(5)：
Figure GDA0002806613480000111
其中，该kl为该线特征信息的数量，该kp为该点特征信息的数量，该mod()为取整函数，该c为常量补偿值。
可选地，该处理单元220具体用于：
根据该点特征信息和该线特征信息确定误差函数，根据该误差函数优化该运动参数。
可选地，该误差函数如下公式(6)所示：
Figure GDA0002806613480000112
其中，该E(P)为该误差函数，该P为该运动参数，该P为3x4投影矩阵[R，t]，该R是3阶旋转矩阵，该t是3维平移向量，该m表示图像帧的索引号，该ω为该点特征信息和该线特征信息的加权系数，该n表示3D地图点的索引号，该NP表示由该点特征信息构造的空间点的总数，该np表示点特征对应的空间点的索引号，该NL表示由该线特征信息构造的空间点的总数，该nl表示线特征对应的空间点的索引号，该
Figure GDA0002806613480000113
表示第np个空间点对应的点特征的三维坐标，该
Figure GDA0002806613480000114
表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，该
Figure GDA0002806613480000115
表示第nl个空间点对应的线特征端点的三维坐标，该lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，该||lmn||为该lmn的刚量，该Pm表示第m个图像帧对应的该运动参数。
可选地，该获取单元210具体用于：
通过索贝尔算子对该实景图像进行边缘检测，形成该第一图像。
可选地，该处理单元220还用于：
根据构图原点和优化后的该车辆的运动参数构建该非结构化道路的地图，其中，该构图原点为该车辆在驶入非结构化道路之前确定的第一地理坐标，该第一地理坐标位于结构化道路的边缘处。
可选地，该处理单元220还用于：
通过点云或栅格的形式保存该非结构化道路的地图，并根据该车辆的历史路线将该非结构化道路的地图拼接到该结构化道路的地图上，构建目标地图。
可选地，在确定车辆驶入非结构化道路时，该处理单元220还用于：
确定第二地理坐标为标定原点，该第二地理坐标位于结构化道路的边缘处，该车辆行驶在该非结构化道路的过程中，记录以下标定信息：多个时间点、该多个时间点中的每个时间点下的视觉里程计的数据、该多个时间点中的每个时间点下的惯性测量单元IMU的数据；根据该标定信息，修正该车辆的视觉里程计和该车辆的IMU。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及电路，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
例如，如图9所示，本发明实施例的惯性-双目视觉里程计模块也可以包括以下3个模块：特征提取模块、特征匹配模块、运动参数模块。其中，模块输入包括：路面分割模块、惯性测量单元、立体重建模块。路面分割模块提供路面分割的图像区域结果(通过图像分割，将图像分为路面区域与非路面区域)，立体重建模块提供的场景深度结果，或者通过双目图像重建前方场景的空间坐标，惯性单元模块用于测量车辆的运动参数。模块输出包括：车辆运动参数，包含运动方向及运动位移。
换句话说，图9所示的惯性-双目视觉里程计用于根据路面分割模块和立体重建模块的输入建立参数优化模型，对惯性单元输入的运动参数进行优化，并输出优化后的运动参数。
应注意，本发明实施例中，获取单元210可由收发器实现，处理单元220可以由处理器实现。如图10所示，装置300可以包括处理器310、收发器320和存储器330。其中，存储器330可以用于存储处理器310执行的代码、指令等。作为示例而非限定，处理器310、收发器320和存储器330之间通过例如，总线等方式实现通信连接。
具体而言，如图10所示，该装置300可以包括：
收发器320，用于在确定车辆驶入非结构化道路时，获取该非结构化道路的实景图像；获取该实景图像的点特征信息和线特征信息，该点特征信息包括该实景图像中的至少一个像素点的特征信息，该线特征信息包括该实景图像中的至少一条线段的特征信息，该点特征信息中像素点的数量根据该线特征信息中线段的数量确定；
处理器310，用于根据该点特征信息和该线特征信息，优化该车辆的运动参数。
可选地，该收发器320具体用于：
通过视觉里程计获取该实景图像；该处理器310具体用于：
对该实景图像进行图像分割，形成第一图像，该第一图像包括路面区域和非路面区域；在该路面区域的边界处，获取该线特征信息；在该非路面区域中，获取该点特征信息。
可选地，该处理器310具体用于：
在该路面区域的边界处，通过霍夫变换对该第一图像进行线段检测，获取第二图像；处理该第二图像并获取用于表示该线特征信息的至少一个特征向量。
可选地，该处理器310具体用于：
在该非路面区域，将该第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据该线特征信息的数量在该第一顺序中确定用于表示该点特征信息的至少一个特征向量。
可选地，该点特征信息的数量与该线特征信息的数量之间的关系满足公式(7)：
Figure GDA0002806613480000121
其中，该kl为该线特征信息的数量，该kp为该点特征信息的数量，该mod()为取整函数，该c为常量补偿值。
可选地，该处理器310具体用于：
根据该点特征信息和该线特征信息确定误差函数，根据该误差函数优化该运动参数。
可选地，该误差函数如公式(8)所示：
Figure GDA0002806613480000131
其中，该E(P)为该误差函数，该P为该运动参数，该P为3x4投影矩阵[R，t]，该R是3阶旋转矩阵，该t是3维平移向量，该m表示图像帧的索引号，该n表示3D地图点的索引号，该M表示图像帧的帧数，该ω为该点特征信息和该线特征信息的加权系数，该NP表示由该点特征信息构造的空间点的总数，该np表示点特征对应的空间点的索引号，该NL表示由该线特征信息构造的空间点的总数，该nl表示线特征对应的空间点的索引号，该
Figure GDA0002806613480000132
表示第np个空间点对应的点特征的三维坐标，该
Figure GDA0002806613480000133
表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，该
Figure GDA0002806613480000134
表示第nl个空间点对应的线特征端点的三维坐标，该lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，该||lmn||为该lmn的刚量，该Pm表示第m个图像帧对应的该运动参数。
可选地，该处理器310具体用于：
通过索贝尔算子对该实景图像进行边缘检测，形成该第一图像。
可选地，该处理器310还用于：
根据构图原点和优化后的该车辆的运动参数构建该非结构化道路的地图，其中，该构图原点为该车辆在驶入非结构化道路之前确定的第一地理坐标，该第一地理坐标位于结构化道路的边缘处。
可选地，该装置300还包括：
存储器330，用于通过点云或栅格的形式保存该非结构化道路的地图，该处理器310还用于：并根据该车辆的历史路线将该非结构化道路的地图拼接到该结构化道路的地图上，构建目标地图。
可选地，在确定车辆驶入非结构化道路时，该处理器310还用于：
确定第二地理坐标为标定原点，该第二地理坐标位于结构化道路的边缘处，该车辆行驶在该非结构化道路的过程中，记录以下标定信息：
多个时间点、该多个时间点中的每个时间点下的视觉里程计的数据、该多个时间点中的每个时间点下的惯性测量单元IMU的数据；
根据该标定信息，修正该车辆的视觉里程计和该车辆的IMU。
需要说明的是，装置200和装置300执行的方法与前述方法实施例的内容一致，为避免重复，此处不再赘述。
应注意，上述处理器可能是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件、分立硬件组件。
可以理解，本发明实施例中，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(directRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解，在本发明实施例和所附权利要求书中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明实施例。
例如，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。具体地，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
又例如，在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。
又例如，在本发明实施例中可能采用术语第一、第二、第三等来描述各种切片、索引号和主机，但这些切片、索引号和主机不应限于这些术语。这些术语仅用来将切片、索引号和主机彼此区分开。
以上内容，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。

Claims (34)

1.一种用于导航的方法，其特征在于，所述方法包括：
在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；
获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；
根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。
2.根据权利要求1所述的方法，其特征在于，所述获取所述实景图像的点特征信息和线特征信息，包括：
对所述实景图像进行图像分割，形成第一图像，所述第一图像包括路面区域和非路面区域；在所述路面区域的边界处，获取所述线特征信息；在所述非路面区域中，获取所述点特征信息。
3.根据权利要求2所述的方法，其特征在于，所述在所述路面区域的边界处，获取所述线特征信息，包括：
在所述路面区域的边界处，通过霍夫变换对所述第一图像进行线段检测，获取第二图像；处理所述第二图像并获取用于表示所述线特征信息的至少一个特征向量。
4.根据权利要求2所述的方法，其特征在于，所述在所述非路面区域中，确定所述点特征信息，包括：
在所述非路面区域，将所述第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据所述线特征信息的数量在所述第一顺序中确定用于表示所述点特征信息的至少一个特征向量。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述点特征信息的数量与所述线特征信息的数量之间的关系满足以下公式：
Figure FDA0002806613470000011
其中，所述kl为所述线特征信息的数量，所述kp为所述点特征信息的数量，所述mod()为取整函数，所述c为常量补偿值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数，包括：
根据所述点特征信息和所述线特征信息确定误差函数，根据所述误差函数优化所述运动参数。
7.根据权利要求6所述的方法，其特征在于，所述误差函数如下所示：
Figure FDA0002806613470000012
其中，所述E(P)为所述误差函数，所述P为所述运动参数，所述P为3x4投影矩阵[R，t]，所述R是3阶旋转矩阵，所述t是3维平移向量，所述m表示图像帧的索引号，所述n表示3D地图点的索引号，所述M表示图像帧的帧数，所述ω为所述点特征信息和所述线特征信息的加权系数，所述NP表示由所述点特征信息构造的空间点的总数，所述np表示点特征对应的空间点的索引号，所述NL表示由所述线特征信息构造的空间点的总数，所述nl表示线特征对应的空间点的索引号，所述
Figure FDA0002806613470000021
表示第np个空间点对应的点特征的三维坐标，所述
Figure FDA0002806613470000022
表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，所述
Figure FDA0002806613470000023
表示第nl个空间点对应的线特征端点的三维坐标，所述lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，所述||lmn||为所述lmn的刚量，所述Pm表示第m个图像帧对应的所述运动参数。
8.根据权利要求2所述的方法，其特征在于，所述对所述实景图像进行图像分割，形成第一图像，包括：
通过索贝尔算子对所述实景图像进行边缘检测，形成所述第一图像。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据构图原点和优化后的所述车辆的运动参数构建所述非结构化道路的地图，其中，所述构图原点为所述车辆在驶入所述非结构化道路之前确定的第一地理坐标，所述第一地理坐标位于结构化道路的边缘处。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
通过点云或栅格的形式保存所述非结构化道路的地图，并根据所述车辆的历史路线将所述非结构化道路的地图拼接到所述结构化道路的地图上，构建目标地图。
11.根据权利要求1所述的方法，其特征在于，在确定车辆驶入非结构化道路时，所述方法还包括：
确定第二地理坐标为标定原点，所述第二地理坐标位于结构化道路的边缘处，所述车辆行驶在所述非结构化道路的过程中，记录以下标定信息：
多个时间点、所述多个时间点中的每个时间点下的视觉里程计的数据、所述多个时间点中的每个时间点下的惯性测量单元IMU的数据；
根据所述标定信息，修正所述车辆的视觉里程计和所述车辆的IMU。
12.一种用于导航的装置，其特征在于，所述装置包括：
获取单元，用于在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；
处理单元，用于根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。
13.根据权利要求12所述的装置，其特征在于，所述获取单元具体用于：
对所述实景图像进行图像分割，形成第一图像，所述第一图像包括路面区域和非路面区域；在所述路面区域的边界处，获取所述线特征信息；在所述非路面区域中，获取所述点特征信息。
14.根据权利要求13所述的装置，其特征在于，所述获取单元具体用于：
在所述路面区域的边界处，通过霍夫变换对所述第一图像进行线段检测，获取第二图像；处理所述第二图像并获取用于表示所述线特征信息的至少一个特征向量。
15.根据权利要求13所述的装置，其特征在于，所述获取单元具体用于：
在所述非路面区域，将所述第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据所述线特征信息的数量在所述第一顺序中确定用于表示所述点特征信息的至少一个特征向量。
16.根据权利要求12至15中任一项所述的装置，其特征在于，所述点特征信息的数量与所述线特征信息的数量之间的关系满足以下公式：
Figure FDA0002806613470000031
其中，所述kl为所述线特征信息的数量，所述kp为所述点特征信息的数量，所述mod()为取整函数，所述c为常量补偿值。
17.根据权利要求12所述的装置，其特征在于，所述处理单元具体用于：
根据所述点特征信息和所述线特征信息确定误差函数，根据所述误差函数优化所述运动参数。
18.根据权利要求17所述的装置，其特征在于，所述误差函数如下所示：
Figure FDA0002806613470000032
其中，所述E(P)为所述误差函数，所述P为所述运动参数，所述P为3x4投影矩阵[R，t]，所述R是3阶旋转矩阵，所述t是3维平移向量，所述m表示图像帧的索引号，所述n表示3D地图点的索引号，所述M表示图像帧的帧数，所述ω为所述点特征信息和所述线特征信息的加权系数，所述NP表示由所述点特征信息构造的空间点的总数，所述np表示点特征对应的空间点的索引号，所述NL表示由所述线特征信息构造的空间点的总数，所述nl表示线特征对应的空间点的索引号，所述
Figure FDA0002806613470000033
表示第np个空间点对应的点特征的三维坐标，所述
Figure FDA0002806613470000034
表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，所述
Figure FDA0002806613470000035
表示第nl个空间点对应的线特征端点的三维坐标，所述lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，所述||lmn||为所述lmn的刚量，所述Pm表示第m个图像帧对应的所述运动参数。
19.根据权利要求13所述的装置，其特征在于，所述获取单元具体用于：
通过索贝尔算子对所述实景图像进行边缘检测，形成所述第一图像。
20.根据权利要求12所述的装置，其特征在于，所述处理单元还用于：
根据构图原点和优化后的所述车辆的运动参数构建所述非结构化道路的地图，其中，所述构图原点为所述车辆在驶入非结构化道路之前确定的第一地理坐标，所述第一地理坐标位于结构化道路的边缘处。
21.根据权利要求20所述的装置，其特征在于，所述处理单元还用于：
通过点云或栅格的形式保存所述非结构化道路的地图，并根据所述车辆的历史路线将所述非结构化道路的地图拼接到所述结构化道路的地图上，构建目标地图。
22.根据权利要求12所述的装置，其特征在于，在确定车辆驶入非结构化道路时，所述处理单元还用于：
确定第二地理坐标为标定原点，所述第二地理坐标位于结构化道路的边缘处，所述车辆行驶在所述非结构化道路的过程中，记录以下标定信息：
多个时间点、所述多个时间点中的每个时间点下的视觉里程计的数据、所述多个时间点中的每个时间点下的惯性测量单元IMU的数据；
根据所述标定信息，修正所述车辆的视觉里程计和所述车辆的IMU。
23.一种用于导航的装置，其特征在于，所述装置包括：
收发器，用于在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；
处理器，用于根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。
24.根据权利要求23所述的装置，其特征在于，所述处理器具体用于：
对所述实景图像进行图像分割，形成第一图像，所述第一图像包括路面区域和非路面区域；在所述路面区域的边界处，获取所述线特征信息；在所述非路面区域中，获取所述点特征信息。
25.根据权利要求24所述的装置，其特征在于，所述处理器具体用于：
在所述路面区域的边界处，通过霍夫变换对所述第一图像进行线段检测，获取第二图像；处理所述第二图像并获取用于表示所述线特征信息的至少一个特征向量。
26.根据权利要求24所述的装置，其特征在于，所述处理器具体用于：
在所述非路面区域，将所述第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据所述线特征信息的数量在所述第一顺序中确定用于表示所述点特征信息的至少一个特征向量。
27.根据权利要求23至26中任一项所述的装置，其特征在于，所述点特征信息的数量与所述线特征信息的数量之间的关系满足以下公式：
Figure FDA0002806613470000041
其中，所述kl为所述线特征信息的数量，所述kp为所述点特征信息的数量，所述mod()为取整函数，所述c为常量补偿值。
28.根据权利要求23所述的装置，其特征在于，所述处理器具体用于：
根据所述点特征信息和所述线特征信息确定误差函数，根据所述误差函数优化所述运动参数。
29.根据权利要求28所述的装置，其特征在于，所述误差函数如下所示：
Figure FDA0002806613470000042
其中，所述E(P)为所述误差函数，所述P为所述运动参数，所述P为3x4投影矩阵[R，t]，所述R是3阶旋转矩阵，所述t是3维平移向量，所述m表示图像帧的索引号，所述n表示3D地图点的索引号，所述M表示图像帧的帧数，所述ω为所述点特征信息和所述线特征信息的加权系数，所述NP表示由所述点特征信息构造的空间点的总数，所述np表示点特征对应的空间点的索引号，所述NL表示由所述线特征信息构造的空间点的总数，所述nl表示线特征对应的空间点的索引号，所述
Figure FDA0002806613470000043
表示第np个空间点对应的点特征的三维坐标，所述
Figure FDA0002806613470000044
表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，所述
Figure FDA0002806613470000045
表示第nl个空间点对应的线特征端点的三维坐标，所述lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，所述||lmn||为所述lmn的刚量，所述Pm表示第m个图像帧对应的所述运动参数。
30.根据权利要求24所述的装置，其特征在于，所述处理器具体用于：
通过索贝尔算子对所述实景图像进行边缘检测，形成所述第一图像。
31.根据权利要求23所述的装置，其特征在于，所述处理器还用于：
根据构图原点和优化后的所述车辆的运动参数构建所述非结构化道路的地图，其中，所述构图原点为所述车辆在驶入非结构化道路之前确定的第一地理坐标，所述第一地理坐标位于结构化道路的边缘处。
32.根据权利要求31所述的装置，其特征在于，所述装置还包括：
存储器，用于通过点云或栅格的形式保存所述非结构化道路的地图，所述处理器还用于：并根据所述车辆的历史路线将所述非结构化道路的地图拼接到所述结构化道路的地图上，构建目标地图。
33.根据权利要求23所述的装置，其特征在于，在确定车辆驶入非结构化道路时，所述处理器还用于：
确定第二地理坐标为标定原点，所述第二地理坐标位于结构化道路的边缘处，所述车辆行驶在所述非结构化道路的过程中，记录以下标定信息：
多个时间点、所述多个时间点中的每个时间点下的视觉里程计的数据、所述多个时间点中的每个时间点下的惯性测量单元IMU的数据；
根据所述标定信息，修正所述车辆的视觉里程计和所述车辆的IMU。
34.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序，所述程序使得车辆执行权利要求1至11中任一项所述的用于导航的方法。
CN201710479972.7A 2017-06-22 2017-06-22 导航的方法和装置 Active CN109115232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710479972.7A CN109115232B (zh) 2017-06-22 2017-06-22 导航的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710479972.7A CN109115232B (zh) 2017-06-22 2017-06-22 导航的方法和装置

Publications (2)

Publication Number Publication Date
CN109115232A CN109115232A (zh) 2019-01-01
CN109115232B true CN109115232B (zh) 2021-02-23

Family

ID=64732551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710479972.7A Active CN109115232B (zh) 2017-06-22 2017-06-22 导航的方法和装置

Country Status (1)

Country Link
CN (1) CN109115232B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308904B (zh) * 2019-07-29 2024-07-02 北京初速度科技有限公司 一种基于视觉的建图方法、装置及车载终端
CN112414400B (zh) * 2019-08-21 2022-07-22 浙江商汤科技开发有限公司 一种信息处理方法、装置、电子设备和存储介质
CN112631311A (zh) * 2021-03-05 2021-04-09 上海擎朗智能科技有限公司 移动机器人的定位方法、装置、移动机器人和存储介质
CN114869604B (zh) * 2022-05-07 2023-07-11 江苏理工学院 物联网轮椅智能导航系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN102538781A (zh) * 2011-12-14 2012-07-04 浙江大学 基于机器视觉和惯导融合的移动机器人运动姿态估计方法
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN105096386A (zh) * 2015-07-21 2015-11-25 中国民航大学 大范围复杂城市环境几何地图自动生成方法
CN105676253A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN106780699A (zh) * 2017-01-09 2017-05-31 东南大学 一种基于sins/gps和里程计辅助的视觉slam方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN102538781A (zh) * 2011-12-14 2012-07-04 浙江大学 基于机器视觉和惯导融合的移动机器人运动姿态估计方法
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN105096386A (zh) * 2015-07-21 2015-11-25 中国民航大学 大范围复杂城市环境几何地图自动生成方法
CN105676253A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN106780699A (zh) * 2017-01-09 2017-05-31 东南大学 一种基于sins/gps和里程计辅助的视觉slam方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"PLP-SLAM：基于点、线、面特征融合的视觉SLAM方法";李海丰 等;《机器人》;20170331;第39卷(第2期);214-220+229 *
"基于P-L特征提取的SLAM地图构建算法";曹梦龙 等;《哈尔滨工业大学学报》;20090131;第41卷(第1期);15-19 *
"基于粒子滤波和点线相合的未知环境地图构建方法";王文斐 等;《自动化学报》;20090930;第35卷(第9期);1185-1192 *
"基于道路结构特征的智能车单目视觉定位";俞毓锋 等;《自动化学报》;20170531;第43卷(第5期);725-734 *

Also Published As

Publication number Publication date
CN109115232A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
CN108362295B (zh) 车辆路径引导设备和方法
CN110146910B (zh) 一种基于gps与激光雷达数据融合的定位方法及装置
CN104833370B (zh) 用于映射、定位和位姿校正的系统和方法
US10891795B2 (en) Localization method and apparatus based on 3D color map
CN109115232B (zh) 导航的方法和装置
WO2019175286A1 (en) Image annotation
US20190005667A1 (en) Ground Surface Estimation
EP2887315A1 (en) Calibration device, method for implementing calibration, program and camera for movable body
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN115512124A (zh) 一种重定位帧的确定方法、装置、车辆及存储介质
CN114898321B (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN115235493A (zh) 一种基于矢量地图进行自动驾驶定位的方法及装置
JP2020095668A (ja) 道路画像再構成及び車両測位のための方法及びシステム
CN112444251A (zh) 车辆行车位置确定方法、装置、存储介质及计算机设备
CN117870716A (zh) 地图兴趣点的显示方法、装置、电子设备及存储介质
CN112424568A (zh) 构建高清地图的系统和方法
CN114913500B (zh) 位姿确定方法、装置、计算机设备和存储介质
Kiran et al. Automatic hump detection and 3D view generation from a single road image
CN112767458B (zh) 激光点云与图像的配准的方法及系统
CN111238524B (zh) 视觉定位方法以及装置
CN113874681B (zh) 点云地图质量的评估方法和系统
CN113902047A (zh) 图像元素匹配方法、装置、设备以及存储介质
CN116917936A (zh) 双目相机外参标定的方法及装置
Zhu et al. Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant