CN110332945B - 基于交通道路标线视觉识别的车载导航方法和装置 - Google Patents

Abstract

本发明公开了一种基于交通道路标线视觉识别的车载导航方法和装置，该方法包括：接收地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；获得所述交通道路标线的像素坐标信息及几何测量信息；根据所述几何测量信息，对比交通道路标线标准，判断所述交通道路标线的类型，并得到对应的几何标称信息；根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息。根据本发明的方法和装置能够为组合车载导航系统提供准确、稳定和可靠的参考基准，在线标定和修正多类传感器误差，大幅提升组合车载导航系统的精度和性能，在复杂遮挡环境下导航连续和可靠，从而在车载导航、辅助自动驾驶等领域具有明显的技术优势。

Description

基于交通道路标线视觉识别的车载导航方法和装置

技术领域

本发明一般地涉及计算机视觉、组合导航、辅助自动驾驶领域。更具体地，涉及一种基于交通道路标线视觉识别的车载导航方法和装置。

背景技术

自动驾驶(无人驾驶)技术需要多种不同类型的传感器协同工作。其中，卫星导航、惯性导航(Inertial Navigation System，INS)、里程计(Odometry)等位置传感器的作用在于组合输出导航定位结果，为车辆提供空间位置基准，并为后续避障、制动、地图匹配、路径规划等系列处理提供基础和依据。

在各类位置传感器中，INS、Odometry等传感器基于航迹推算方法(DeadReckoning，DR)，可提供连续、高频的速度和位移信息输出，但存在着零偏、漂移、标度因子偏差等多种误差，导致精度随着时间的增长而快速下降。相比之下，卫星导航技术能够在开阔的非遮挡环境下提供高精度的绝对位置信息，但其所使用的无线电导航信号却十分容易受到遮挡和干扰。因此，两类传感器通常组合使用，以优势互补。一方面，卫星导航在非遮挡环境下的精确定位结果可用来估计和标定INS、Odometry等传感器的误差参数，消除累积误差；另一方面，INS、Odometry等传感器也能够在卫星导航信号遮挡或失锁的情况下，短暂维持一定精度的导航输出。

然而，车辆在城市等环境中所面临的实际定位环境通常是非常复杂和恶劣的。例如，城市环境下频繁出现的高架桥、隧道以及道路两侧高楼所带来的“峡谷效应”会使得导航卫星信号因遮挡而失锁，导致定位误差变大甚至无法正常定位；树木、墙壁等物体虽一般不会直接导致导航卫星信号失锁，但也会产生多路径(Multi-path)误差，影响卫星导航定位精度。此时，卫星导航系统将无法继续对INS、Odometry等传感器进行持续有效的误差修正。而在没有外界修正手段的情况下，车载导航所使用的消费级(Consumer Grade)INS或更为廉价的惯性测量单元(Inertial Measurement Unit，IMU)的误差将迅速增加，在短时间内(通常为数秒至数十秒)可累积达到数十米甚至上百米量级，从而导致定位结果不可用。出于上述原因，传统组合车载导航手段显然已无法满足当前自动驾驶(无人驾驶)技术在精度、连续性和可靠性等方面的高要求。

近年来，计算机视觉方法得到迅速发展，开始应用于车载导航和自动驾驶等领域，并出现了通过检测和识别交通道路标线等特征点来进行车载视觉导航或辅助自动驾驶的技术，能够利用视觉信息，改善车载组合导航系统在上述复杂环境下的导航定位性能。其中，一种技术是通过识别交通道路标线中的车道分界线等，在结构化道路上进行车道保持或自适应巡航(Lane Keeping Assist System，LKAS)；还有一种技术是视觉里程计(VisualOdometry，VO)方法，通过匹配不同帧图像之间包括交通道路标线等在内的特征点，估计车辆的运动，实现类似车辆里程计的作用。然而，上述第一种方法只实现了车道保持功能，并不能为车载导航进一步提供车辆位置、速度、姿态等导航状态信息；第二种方法虽然能够提供车辆位姿等导航状态信息，但由于从相机采集图像所识别出的交通道路标线信息存在一定的误差，且相机设备本身存在初始标定误差和设备安装误差等影响，因此对车辆位姿信息的视觉估计具有难以消除的累积误差，从而精度不高，应用场景受限。

发明内容

有鉴于此，本发明实施例提出了一种基于交通道路标线视觉识别的车载导航方法和装置，用以解决现有技术的如下问题：通过对交通道路标线进行视觉识别并充分利用交通道路标线的标称数据信息，准确获得车辆的行驶距离、速度及航向变化等车辆导航信息，解决现有车载导航方法中精度、连续性和可靠性不高的问题。

一方面，本发明实施例提出一种基于交通道路标线视觉识别的车载导航方法，包括：接收地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；获得所述交通道路标线的像素坐标信息及几何测量信息；根据所述几何测量信息，对比交通道路标线标准，判断所述交通道路标线的类型，并得到对应的几何标称信息；根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息。

优选地，所述车辆导航信息包括车辆的位置、速度、姿态、传感器的误差参数中的一种或多种信息。

优选地，获得所述交通道路标线的像素坐标信息及几何测量信息包括：对所述交通道路标线的边缘进行检测，获得所述交通道路标线的几何测量信息，并标记所述交通道路标线的像素坐标信息。

优选地，根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息还包括：根据所述几何测量信息和所述几何标称信息，计算视觉测量误差，再基于像素坐标和视觉测量误差，建立视觉约束方程，获得所述车辆导航信息，所述车辆导航信息至少包括图像采集设备的误差参数。

优选地，基于像素坐标和视觉测量误差，建立视觉约束方程还包括：计算所述交通道路标线在不同帧图像之间的像素坐标变化；根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数中至少一者的视觉约束方程，获得包括车辆坐标位置、速度、或姿态参数中至少一者的车辆导航信息。

优选地，根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数中至少一者的视觉约束方程包括：结合所述交通道路标线的几何标称信息以及交通道路标线在不同帧图像之间的像素坐标变化，获得车辆的视觉运动距离和车辆的视觉航向角变化；根据帧图像的采集时间，获得车辆的视觉运动速度和车辆的视觉航向角变化率；根据所述车辆的视觉运动距离、视觉运动速度、视觉航向角变化或视觉航向角变化率，建立关于车辆坐标位置、速度、或姿态参数的视觉约束方程。

优选地，根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息还包括：建立导航测量方程，根据所述视觉约束方程并结合所述导航测量方程，获得所述车辆导航信息；所述导航测量方程包括以下方程中的一者或多者：根据卫星导航传感器输出数据所建立的关于车辆坐标位置、速度的测量方程；根据惯性传感器输出数据所建立的关于车辆运动距离、速度和姿态，以及惯性传感器误差参数的测量方程；根据轮速计输出数据所建立的关于车辆运动距离、速度和姿态，以及轮速计误差参数的测量方程；根据磁力传感器输出数据所建立的关于车辆姿态，以及磁力传感器误差参数的测量方程；根据气压传感器输出数据所建立的关于车辆高程，以及气压传感器误差参数的测量方程。

本发明另一实施例还提出一种基于交通道路标线视觉识别的车载导航装置，包括：图像采集设备，用于采集地面道路图像；处理器，存储器，包括处理器可执行的程序指令，当所述程序指令由所述处理器执行时，使得所述车载导航装置执行以下的操作：从所述图像采集设备接收所述地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；获得所述交通道路标线的像素坐标信息及几何测量信息；根据所述几何测量信息，对比交通道路标线标准，判断所述交通道路标线的类型，并得到对应的几何标称信息；根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息。

优选地，所述车载导航装置，还包括卫星导航传感器、惯性传感器、轮速计、磁力传感器、或气压传感器中的一种或多种，其中当所述程序指令由所述处理器执行时，使得所述车载导航装置还执行以下的操作：根据所述几何测量信息、几何标称信息及像素坐标，建立视觉约束方程，根据所述视觉约束方程，获得所述车辆导航信息；所述导航测量方程包括以下方程中的一者或多者：根据卫星导航传感器输出数据所建立的关于车辆坐标位置、速度的测量方程；根据惯性传感器输出数据所建立的关于车辆运动距离、速度和姿态，以及惯性传感器误差参数的测量方程；根据轮速计输出数据所建立的关于车辆运动距离、速度和姿态，以及轮速计误差参数的测量方程；根据磁力传感器输出数据所建立的关于车辆姿态，以及磁力传感器误差参数的测量方程；根据气压传感器输出数据所建立的关于车辆高程，以及气压传感器误差参数的测量方程。

本发明又一实施例还提出一种计算机可读存储介质，其包括基于交通道路标线视觉识别进行车载导航的程序，当所述程序由处理器执行时，执行以下的步骤：接收地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；获得所述交通道路标线的像素坐标信息及几何测量信息；根据所述几何测量信息，判断所述交通道路标线的类型，并得到对应的几何标称信息；根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息。

利用本发明所提供的上述方法和装置，在检测识别交通道路标线之后，通过比对交通道路标线相关标准(例如国家标准)，获得其对应的几何标称信息，由于几何标称信息是交通道路标线的真实信息、具有很高的精度，因此可以准确识别图像采集设备在图像采集过程中所产生的误差，进而可以反演图像采集设备的误差参数，并提高整个视觉组合导航系统的性能；通过识别交通道路标线在图像中的变化，则能够准确获得车辆的行驶距离、速度及航向变化等信息，为包括相机在内的多类传感器提供强有力的约束，在线标定传感器误差参数、修正累积误差，提高视觉组合车载导航系统性能，为自动驾驶提供更加准确、连续和可靠的空间基准。

根据本发明的方法和装置能够为组合车载导航系统提供准确、稳定和可靠的参考基准，在线标定和修正多类传感器误差，大幅提升组合车载导航系统的精度和性能，及其在城市楼宇、高架立交桥及隧道等复杂信号遮挡环境下的导航连续性和可靠性，从而在车载导航、辅助自动驾驶等领域具有明显的技术优势。

附图说明

图1为国家标准中关于可跨越对向车行道分界线的示意图；

图2为国家标准中关于在设计速度不小于60km/h的道路上的可跨越同向车行道分界线的示意图；

图3为国家标准中关于在设计速度小于60km/h的道路上的可跨越同向车行道分界线的示意图；

图4为本发明的基于交通道路标线视觉识别的车载导航方法的流程图；

图5为根据本发明的基于交通道路标线视觉识别的组合车载导航装置的示意图。

具体实施方式

为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。

本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

在本公开中，当描述到特定器件位于第一器件和第二器件之间时，在该特定器件与第一器件或第二器件之间可以存在居间器件，也可以不存在居间器件。当描述到特定器件连接其它器件时，该特定器件可以与所述其它器件直接连接而不具有居间器件，也可以不与所述其它器件直接连接而具有居间器件。

本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

针对现有技术中存在的上述问题，发明人注意到，地面道路上的各类交通道路标线并非随意画制，其制作和划定均严格符合相关标准要求，具有精确和固定的尺寸、间隔、颜色等特征。例如，根据《中华人民共和国国家标准(GB 5768)——道路交通标志和标线》，道路上常见的“可跨越对向车行道分界线”为单黄虚线，线段及间隔长分别为400cm和600cm，如附图1所示。“可跨越同向车行道分界线”为白色虚线，并有两种标准长度：1)设计速度不小于60km/h的道路，可跨越同向车行道分界线线段及间隔长分别为600cm和900cm，如附图2所示；2)设计速度小于60km/h的道路，可跨越同向车行道分界线线段及间隔长分别为200cm和400cm，如附图3所示。而根据《中华人民共和国国家标准(GB/T 16311)-道路交通标线质量要求和检测方法》，对所有纵向标线的长度、宽度和纵向间距误差提出了严格的限定要求(见表1所示)，这意味着它们具有很高的精度。

表1 国家相关标准中规定的交通纵向标线长度、宽度和纵向间距误差

现有技术并没有充分挖掘和完全利用交通道路标线的上述信息。有鉴于此，本发明的发明人提供了一种基于交通道路标线视觉识别的车载导航方法，如果4所示，包括：

步骤101，接收地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；

步骤102，获得所述交通道路标线的像素坐标信息及几何测量信息；

步骤103，根据所述几何测量信息，对比交通道路标线标准，判断所述交通道路标线的类型，并得到对应的几何标称信息；

步骤104，根据所述几何测量信息、几何标称信息及像素坐标，获得车辆导航信息。

根据本发明的车载导航方法提出通过充分挖掘和利用交通标线的信息，实现更深层次和更有效的车载导航与自动驾驶应用。具体来说，充分利用交通道路标线严格遵循相应的标准(诸如国家标准)这一特点，通过判断所识别交通道路标线的类型，查找和匹配相应的标准，可以获得该交通道路标线的准确几何标称信息。此时，这些广泛铺设在高速公路、城市各级公路、主干道以及难以接收到卫星信号的封闭隧道中的交通道路标线，就变成了一把把准确的“标尺”，能够为车载导航提供连续、准确和可靠的参考基准。利用这一参考基准，我们能够获得视觉传感器、惯性传感器等传感器的观测误差，对其进行持续、精确的标定和修正，为车辆运动提供准确的纵向及横向运动约束，并最终提高整个车载组合导航系统的性能。

其中，在步骤101中，可以利用图像采集设备(诸如相机)来采集地面道路图像，并识别该图像中的交通道路标线。

在步骤102中，可以通过对交通道路标线边缘进行检测，来获得所述交通道路标线的长度、宽度、间隔、或角度等几何测量信息，以及获得所述交通道路标线的像素坐标位置。

在步骤103中，根据所述交通道路标线的长度、宽度、间隔、或角度等几何测量信息，在对比交通道路标线标准的基础上，判断所述交通道路标线的类型，并得到对应的几何标称信息，该几何标称信息例如包括标称长度、标称宽度、标称间隔距离等。例如，识别出图像中的某种交通道路标线颜色为黄色，形状呈长方形，测量长度为385mm、测量宽度为17mm、测量间隔距离为581mm，那么查询对比国家交通道路标线标准可知，该交通道路标线应为“可跨越对向车行道分界线”，如说明书附图1所示。并且，根据国家标准，其准确的标称长度应为400mm、标称宽度应为15mm、标称间隔应为600mm。由于几何标称信息的精度远高于视觉测量精度(具体参见《中华人民共和国国家标准(GB/T 16311)-道路交通标线质量要求和检测方法》等)，因此可将几何标称信息视为真值。

在步骤104中，可以根据所述几何测量信息、几何标称信息及像素坐标信息，得到车辆导航信息。所述车辆导航信息优选的可以包括车辆的位置、速度、姿态、传感器(例如，诸如相机等的图像采集设备、卫星导航传感器、惯性传感器、轮速计、磁力传感器、或气压传感器中等)的误差参数中的一种或多种信息。

根据本发明的基于交通道路标线视觉识别的车载导航方法，在检测识别交通道路标线之后，通过比对交通道路标线相关标准(例如国家标准)，获得其对应的几何标称信息，由于几何标称信息的精度远高于视觉测量精度，基于几何标称信息可以获得准确的导航信息，提高视觉导航性能。

根据本发明的方法能够为组合车载导航系统提供准确、稳定和可靠的参考基准，在线标定和修正多类传感器误差，大幅提升组合车载导航系统的精度和性能，及其在城市楼宇、高架立交桥及隧道等复杂遮挡环境下的导航连续性和可靠性，从而在车载导航、辅助自动驾驶等领域具有明显的技术优势。

优选的，在步骤101接收图像采集设备采集的图像之前，可以先对图像采集设备的误差参数进行测量和校准，从而可以提高后续图像识别的精度。

其中，在步骤101中，识别和测量交通道路标线的方式可以有多种。在一些实施例中，可以通过以下具体实施方式来识别交通道路标线：

为了减少测量误差，首先可以利用棋盘格等图像，采用标定算法对图像采集设备(诸如相机)的内参、畸变参数等进行测量和标定。然后根据交通道路标线的已知颜色信息(交通道路标线一般为白色或黄色)设定图像的颜色阈值，滤除明显的干扰背景，并将采集的图像转换为灰度图像保存。之后可以使用例如高斯模糊度等方法对灰度图像进行平滑处理。选择图像中的感兴趣区域，剔除其他无用区域，以减少干扰信息、提高识别准确率和识别速度。进行鸟瞰变换，将相机采集到的图像从倾斜视角转化为鸟瞰视角。通过聚类算法等方法，排除前景噪声干扰，并确定交通道路标线的所在区域。通过霍夫变换、曲线拟合、端到端深度学习等模型和方法，从交通道路标线所在区域中，检测和识别一种或多种交通道路标线。

优选地，在步骤102中，可以对所述交通道路标线的边缘进行检测，获得所述交通道路标线的几何测量信息(例如，长度、宽度、间隔、或角度等几何测量信息)，并标记所述交通道路标线的像素坐标信息。

优选地，所述步骤104还可以进一步获得几何测量信息的视觉测量误差。由此，步骤104可以包括：根据所述几何测量信息和所述几何标称信息，计算视觉测量误差，再基于像素坐标和视觉测量误差，建立视觉约束方程，获得所述车辆导航信息，所述车辆导航信息至少包括图像采集设备的误差参数。由于，几何标称信息的精度高于视觉测量精度，因此可以将几何标称信息视为真值，由此能够反演几何测量信息的视觉测量误差。再基于像素坐标和视觉测量误差，建立关于图像采集设备的误差参数和其他车辆导航信息(例如车辆的位置、速度、姿态等)的视觉约束方程，获得图像采集设备的误差参数和其他车辆导航信息(例如车辆的位置、速度、姿态等)。由于获得了图像采集设备的误差参数，可以对图像采集设备内参、外参、安装误差等参数进行在线修正和标定，由此修正由图像采集设备所估计的车辆位姿信息，更好地为导航参数的求解提供约束和帮助，获得更加准确和可靠的导航定位能力。

在一些实施例中，在步骤103中，可以利用单帧图像，根据交通道路标线几何测量信息，查询交通道路标线标准(例如国家标准)获得该类型交通道路标线的几何标称信息。在步骤104中，可以获得几何测量信息的视觉测量误差，建立关于图像采集设备的误差参数的视觉约束方程，获得图像采集设备的误差参数，从而对相机内参、外参、安装误差等参数进行在线修正和标定。对于不具备深度信息的图像采集设备(如单目相机)，交通道路标线的几何标称信息提供了大量具有深度信息的约束，在无其他传感器辅助的情况下，亦可实现较高精度的定位能力；对于具备深度信息的图像采集设备(如双目相机、立体相机)，交通道路标识的标称几何参数能够弥补这些设备深度测量精度较差的缺点，提高视觉测量的精度和可靠性。

在一些实施例中，在所述步骤104中，基于像素坐标和视觉测量误差，建立视觉约束方程还可以包括：

计算所述交通道路标线在不同帧图像之间的像素坐标变化；

根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角变化的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数的视觉约束方程。

例如，可以计算所述交通道路标线在不同帧图像之间的像素坐标变化，结合所述交通道路标线的几何标称信息以及交通道路标线在不同帧图像之间的像素坐标变化，获得车辆的视觉运动距离和车辆的视觉航向角变化；根据帧图像的采集时间，获得车辆的视觉运动速度和车辆的视觉航向角变化率；根据所述车辆的视觉运动距离、视觉运动速度、视觉航向角变化或视觉航向角变化率，建立关于车辆坐标位置、速度、或姿态参数的视觉约束方程。

由于受交通道路标线几何标称信息的约束，因此该视觉约束方程准确可靠。该优选实施例通过识别交通道路标线在图像中的变化，能够准确获得车辆的行驶距离、速度及航向变化等信息，为包括相机在内的多类传感器提供强有力的约束，在线标定传感器误差参数、修正累积误差，提高组合车载导航系统性能，为自动驾驶提供更加准确、连续和可靠的空间基准。

优选的，所述步骤104还可以包括：建立导航测量方程，根据所述视觉约束方程并结合所述导航测量方程，获得所述车辆导航信息。进一步优选的，在联立所属视觉约束方程及导航测量方程时，可以以车辆载体的位置、速度、姿态、以及各个传感器(例如，卫星导航传感器、惯性传感器、轮速计、磁力传感器、气压传感器)的误差参数为状态量，在卡尔曼滤波框架或图优化算法框架下进行融合解算，获得状态量最优估计。

在一些实施例中，所述步骤104还可以包括：通过卫星导航传感器获得载体位置和车辆的速度信息，建立关于车辆坐标位置、速度、姿态的松耦合组合导航测量方程，根据所述视觉约束方程和所述的松耦合组合导航测量方程，通过滤波或图优化的方法，获得导航参数的最优化更新。优选地，对能够输出卫星导航传感器原始观测测量信息，如卫星星历或者卫星位置、卫星速度以及伪距、载波相位、信噪比信息，则可建立关于车辆坐标、速度、姿态的紧耦合组合导航测量方程，联立前述的视觉约束方程和紧耦合组合导航测量方程，通过滤波或图优化的方法，获得导航参数的最优估计。

在一些实施例中，所述步骤104还可以包括：

通过惯性导航器件获得的车辆线速度、角速度信息，建立关于车辆运动距离、速度和姿态，以及惯性传感器误差参数的导航测量方程，联立所述视觉约束方程和所述导航测量方程，通过导航参数的滤波或图优化求解，获得导航参数位置、速度、姿态以及惯性传感器零偏参数的最优估计。

在一些实施例中，所述步骤104还可以包括：

通过轮速计获得车辆的速度信息，建立关于车辆运动距离、速度和姿态，以及轮速计误差参数的导航测量方程，联立所述视觉约束方程和所述导航测量方程，通过导航参数的滤波或图优化求解，获得导航参数位置、速度和姿态，以及轮速计误差参数的最优估计。

在一些实施例中，所述步骤104还可以包括：

通过磁力传感器获得三维磁场信息，结合地磁模型，建立关于车辆姿态，以及磁力传感器误差参数的导航测量方程，联立所述视觉约束方程和所述导航测量方程，通过导航参数的滤波或图优化求解，获得导航参数位置和姿态的最优估计。

在一些实施例中，所述步骤104还可以包括：

通过气压传感器及其标定模型，获得车辆高程约束，建立关于车辆高程，以及气压传感器误差参数的导航测量方程，联立所述视觉约束方程和所述导航测量方程，通过导航参数的滤波或图优化求解，获得导航参数如高程和气压传感器误差参数的最优估计。

同时，本发明还提供了一种基于交通道路标线视觉识别的车载导航装置，包括：

图像采集设备，用于采集地面道路图像；

处理器，

存储器，包括处理器可执行的程序指令，当所述程序指令由所述处理器执行时，使得所述车载导航装置执行以下的操作：

步骤101，从所述图像采集设备接收所述地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；

步骤102，获得所述交通道路标线的像素坐标信息及几何测量信息；

步骤103，根据所述几何测量信息，对比交通道路标线标准，判断所述交通道路标线的类型，并得到对应的几何标称信息；

步骤104，根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息。

根据本发明的车载导航装置通过充分挖掘和利用交通标线的信息，实现更深层次和更有效的车载导航与自动驾驶应用。具体来说，充分利用交通道路标线严格遵循相应的标准(诸如国家标准)这一特点，通过判断所识别交通道路标线的类型，查找和匹配相应的标准，可以获得该交通道路标线的准确几何标称信息。此时，这些广泛铺设在高速公路、城市各级公路、主干道以及难以接收到卫星信号的封闭隧道中的交通道路标线，就变成了一把把准确的“标尺”，能够为车载导航提供连续、准确和可靠的参考基准。利用这一参考基准，我们能够获得视觉传感器、惯性传感器等传感器的观测误差，对其进行持续、精确的标定和修正，为车辆运动提供准确的纵向及横向运动约束，并最终提高整个车载组合导航系统的性能。

具体来说，图像采集设备(诸如相机)用来采集地面道路图像。然后将采集的地面道路图像发送给处理器。存储器包括处理器可执行的程序指令，当所述程序指令由所述处理器执行时，使得所述车载导航装置在步骤101中识别该图像中的交通道路标线。

在步骤102中，可以通过对交通道路标线边缘进行检测，来获得所述交通道路标线的长度、宽度、间隔、或角度等几何测量信息，以及获得所述交通道路标线的像素坐标位置。

在步骤103中，根据所述交通道路标线的长度、宽度、间隔、或角度等几何测量信息，判断所述交通道路标线的类型，并得到对应的几何标称信息，该几何标称信息例如包括标称长度、标称宽度、标称间隔距离等。例如，识别出图像中的某种交通道路标线颜色为黄色，形状呈长方形，测量长度为385mm、测量宽度为17mm、测量间隔距离为581mm，那么查询对比国家标准可知，该交通道路标线应为“可跨越对向车行道分界线”，如说明书附图3所示。并且，根据国家标准，其准确的标称长度应为400mm、标称宽度应为600mm、标称间隔应为600mm。由于几何标称信息的精度远高于视觉测量精度(具体参见《中华人民共和国国家标准(GB/T 16311)-道路交通标线质量要求和检测方法》等)，因此可将几何标称信息视为真值。

在步骤104中，可以根据所述几何测量信息、几何标称信息及像素坐标信息，得到车辆导航信息。所述车辆导航信息优选的可以包括车辆的位置、速度、姿态、图像采集设备的误差参数、传感器的误差参数中的一种或多种信息。

根据本发明的基于交通道路标线视觉识别的车载导航装置，在检测识别交通道路标线之后，通过比对交通道路标线相关标准(例如国家标准)，获得其对应的几何标称信息，由于几何标称信息的精度远高于视觉测量精度，基于几何标称信息可以获得准确的导航信息，提高视觉导航性能根据本发明的装置能够为组合车载导航系统提供准确、稳定和可靠的参考基准，在线标定和修正多类传感器误差，大幅提升组合车载导航系统的精度和性能，及其在城市楼宇、高架立交桥及隧道等复杂遮挡环境下的导航连续性和可靠性，从而在车载导航、辅助自动驾驶等领域具有明显的技术优势。

优选的，图像采集设备在采集图像之前，可以先对图像采集设备的误差参数进行测量和校准，从而可以提高后续图像识别的精度。

其中，在步骤101中，识别和测量交通道路标线的方式可以有多种。在一些实施例中，可以通过以下具体实施方式来识别交通道路标线：

首先对图像采集设备(诸如相机)的内参、畸变参数等进行测量和标定。然后根据交通道路标线的已知颜色信息(交通道路标线一般为白色或黄色)设定图像的颜色阈值，滤除明显的干扰背景，并将采集的图像转换为灰度图像保存。使用高斯模糊度等方法对灰度图像进行平滑处理。选择图像中的感兴趣区域，剔除其他无用区域，以减少干扰信息、提高识别准确率和识别速度。进行鸟瞰变换，将相机采集到的图像从倾斜视角转化为鸟瞰视角。通过聚类算法等方法，排除前景噪声干扰，并确定交通道路标线的所在区域。通过霍夫变换、曲线拟合、端到端深度学习等模型和方法，从交通道路标线所在区域中，检测和识别一种或多种交通道路标线。

优选地，在步骤102中，可以对所述交通道路标线的边缘进行检测，获得所述交通道路标线的几何测量信息(例如，长度、宽度、间隔、或角度等几何裁量信息)，并标记所述交通道路标线的像素坐标信息。

优选地，所述步骤104还可以进一步获得几何测量信息的视觉测量误差。由此，步骤104可以包括：根据所述几何测量信息和所述几何标称信息，计算视觉测量误差，再基于像素坐标和视觉测量误差，建立视觉约束方程，获得所述车辆导航信息，所述车辆导航信息至少包括图像采集设备的误差参数。由于，几何标称信息的精度高于视觉测量精度，因此可以将几何标称信息视为真值，由此能够反演几何测量信息的视觉测量误差。再基于像素坐标和视觉测量误差，建立关于图像采集设备的误差参数和其他车辆导航信息(例如车辆的位置、速度、姿态等)的视觉约束方程，获得图像采集设备的误差参数和其他车辆导航信息(例如车辆的位置、速度、姿态等)。由于获得了图像采集设备的误差参数，可以对图像采集设备内参、外参、安装误差等参数进行在线修正和标定，由此修正由图像采集设备所估计的车辆位姿信息，更好地为导航参数的求解提供约束和帮助，获得更加准确和可靠的导航定位能力。

在一些实施例中，在步骤103中，可以利用单帧图像，根据交通道路标线几何测量信息，查询交通道路标线标准(例如国家标准)获得该类型交通道路标线的几何标称信息。在步骤104中，可以获得几何测量信息的视觉测量误差，建立关于图像采集设备的误差参数的视觉约束方程，获得图像采集设备的误差参数，从而对相机内参、外参、安装误差等参数进行在线修正和标定。对于不具备深度信息的图像采集设备(如单目相机)，交通道路标线的几何标称信息提供了大量具有深度信息的约束，在无其他传感器辅助的情况下，亦可实现较高精度的定位能力；对于具备深度信息的图像采集设备(如双目相机、立体相机)，交通道路标识的标称几何参数能够弥补这些设备深度测量精度较差的缺点，提高视觉定位的精度和可靠性。

在一些实施例中，在所述步骤104中，基于像素坐标和视觉测量误差，建立视觉约束方程还可以包括：

计算所述交通道路标线在不同帧图像之间的像素坐标变化；

根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角变化的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数的视觉约束方程。

例如，可以计算所述交通道路标线在不同帧图像之间的像素坐标变化，结合所述交通道路标线的几何标称信息以及交通道路标线在不同帧图像之间的像素坐标变化，获得车辆的视觉运动距离和车辆的视觉航向角变化；根据帧图像的采集时间，获得车辆的视觉运动速度和车辆的视觉航向角变化率；根据所述车辆的视觉运动距离、视觉运动速度、视觉航向角变化或视觉航向角变化率，建立关于车辆坐标位置、速度、或姿态参数的视觉约束方程。

由于受交通道路标线几何标称信息的约束，因此该视觉约束方程准确可靠。该优选实施例通过识别交通道路标线在图像中的变化，则能够准确获得车辆的行驶距离、速度及航向变化等信息，为包括相机在内的多类传感器提供强有力的约束，在线标定传感器误差参数、修正累积误差，提高组合车载导航系统性能，为自动驾驶提供更加准确、连续和可靠的空间基准。

优选地，所述车载导航装置，还可以包括卫星导航传感器、惯性传感器、轮速计、磁力传感器、或气压传感器中的一种或多种，分别用于采集卫星导航测量数据、惯性传感器测量数据、轮速计测量数据、磁力计测量数据以及大气压强和温度测量数据等信息。

优选的，所述步骤104还可以包括：建立导航测量方程，根据所述视觉约束方程并结合所述导航测量方程，获得所述车辆导航信息。进一步优选的，在联立所属视觉约束方程及导航测量方程时，可以以车辆载体的位置、速度、姿态、以及各个传感器(例如，卫星导航传感器、惯性传感器、轮速计、磁力传感器、气压传感器)的误差参数为状态量，在卡尔曼滤波框架或图优化算法框架下进行融合解算，获得状态量最优估计。

相应的，在一些实施例中，所述步骤104还可以包括：

通过卫星导航传感器获得载体位置和车辆的速度信息，建立关于车辆坐标位置、速度、姿态的松耦合组合导航测量方程，根据所述视觉约束方程和所述的松耦合组合导航测量方程，通过导航参数的滤波或图优化求解，获得导航参数的最优化更新。优选地，对能够输出卫星导航传感器原始观测测量信息，如卫星星历或者卫星位置、卫星速度以及伪距、载波相位、信噪比信息，则可建立关于车辆坐标、速度、姿态的紧耦合组合导航测量方程，联立前述的视觉约束方程和紧耦合组合导航测量方程，通过导航参数的滤波或图优化方法求解，获得导航参数的最优化更新。

在一些实施例中，所述步骤104还可以包括：

通过惯性导航器件获得的车辆线速度、角速度信息，建立关于车辆运动距离、速度和姿态，以及惯性传感器误差参数的导航测量方程，联立所述视觉约束方程和所述导航测量方程，通过导航参数的滤波或图优化求解，获得导航参数位置、速度、姿态以及惯性传感器零偏参数的最优估计。

在一些实施例中，所述步骤104还可以包括：

通过轮速计获得车辆的速度信息，建立关于车辆运动距离、速度和姿态，以及轮速计误差参数的导航测量方程，联立所述视觉约束方程和所述导航测量方程，通过导航参数的滤波或图优化方法求解，获得导航参数位置、速度和姿态，以及轮速计误差参数的最优估计。

在一些实施例中，所述步骤104还可以包括：

通过磁力传感器获得三维磁场信息，结合地磁模型，建立关于车辆姿态，以及磁力传感器误差参数的导航测量方程，联立所述视觉约束方程和所述导航测量方程，通过导航参数的滤波或图优化方法求解，获得导航参数位置和姿态的最优估计。

在一些实施例中，所述步骤104还可以包括：

通过气压传感器及其标定模型，获得车辆高程约束，建立关于车辆高程，以及气压传感器误差参数的导航测量方程，联立所述视觉约束方程和所述导航测量方程，通过导航参数的滤波或图优化方法求解，获得导航参数如高程和气压传感器误差参数的最优估计。

同时，本发明还提供了一种计算机可读存储介质，其包括基于交通道路标线视觉识别进行车载导航的程序，当所述程序由处理器执行时，执行以下的步骤：

接收地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；

获得所述交通道路标线的像素坐标信息及几何测量信息；

根据所述几何测量信息，判断所述交通道路标线的类型，并得到对应的几何标称信息；

根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息。

以上对本发明多个实施例进行了详细说明，但本发明不限于这些具体的实施例，本领域技术人员在本发明构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本发明所要求保护的范围之内。

Claims (7)

1.一种基于交通道路标线视觉识别的车载导航方法，包括：

接收地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；

获得所述交通道路标线的像素坐标信息及几何测量信息；

根据所述几何测量信息，查询对比交通道路标线标准，判断所述交通道路标线的类型，并得到对应的几何标称信息；

根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息；

其中，根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息还包括：

根据所述几何测量信息和所述几何标称信息，计算视觉测量误差，再基于像素坐标和视觉测量误差，建立视觉约束方程，获得所述车辆导航信息，所述车辆导航信息至少包括图像采集设备的误差参数；

其中，基于像素坐标和视觉测量误差，建立视觉约束方程还包括：

计算所述交通道路标线在不同帧图像之间的像素坐标变化；

根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数中至少一者的视觉约束方程，获得包括车辆坐标位置、速度、或姿态参数中至少一者的车辆导航信息；

其中，根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数中至少一者的视觉约束方程包括：

结合所述交通道路标线的几何标称信息以及交通道路标线在不同帧图像之间的像素坐标变化，获得车辆的视觉运动距离和车辆的视觉航向角变化；

根据帧图像的采集时间，获得车辆的视觉运动速度和车辆的视觉航向角变化率；

根据所述车辆的视觉运动距离、视觉运动速度、视觉航向角变化或视觉航向角变化率，建立关于车辆坐标位置、速度、或姿态参数的视觉约束方程。

2.根据权利要求1所述的车载导航方法，其中：

所述车辆导航信息包括车辆的位置、速度、姿态、传感器的误差参数中的一种或多种信息。

3.根据权利要求1所述的车载导航方法，其中，获得所述交通道路标线的像素坐标信息及几何测量信息包括：

对所述交通道路标线的边缘进行检测，获得所述交通道路标线的几何测量信息，并标记所述交通道路标线的像素坐标信息。

4.根据权利要求1所述的车载导航方法，其中，根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息还包括：

建立导航测量方程，根据所述视觉约束方程并结合所述导航测量方程，获得所述车辆导航信息；

所述导航测量方程包括以下方程中的一者或多者：

根据卫星导航传感器输出数据所建立的关于车辆坐标位置、速度的测量方程；根据惯性传感器输出数据所建立的关于车辆运动距离、速度和姿态，以及惯性传感器误差参数的测量方程；

根据轮速计输出数据所建立的关于车辆运动距离、速度和姿态，以及轮速计误差参数的测量方程；

根据磁力传感器输出数据所建立的关于车辆姿态，以及磁力传感器误差参数的测量方程；

根据气压传感器输出数据所建立的关于车辆高程，以及气压传感器误差参数的测量方程。

5.一种基于交通道路标线视觉识别的车载导航装置，包括：

图像采集设备，用于采集地面道路图像；

处理器，

存储器，包括处理器可执行的程序指令，当所述程序指令由所述处理器执行时，使得所述车载导航装置执行以下的操作：

从所述图像采集设备接收所述地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；

获得所述交通道路标线的像素坐标信息及几何测量信息；

根据所述几何测量信息，查询对比交通道路标线标准，判断所述交通道路标线的类型，并得到对应的几何标称信息；

根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息；

其中，根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息还包括：

根据所述几何测量信息和所述几何标称信息，计算视觉测量误差，再基于像素坐标和视觉测量误差，建立视觉约束方程，获得所述车辆导航信息，所述车辆导航信息至少包括图像采集设备的误差参数；

其中，基于像素坐标和视觉测量误差，建立视觉约束方程还包括：

计算所述交通道路标线在不同帧图像之间的像素坐标变化；

根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数中至少一者的视觉约束方程，获得包括车辆坐标位置、速度、或姿态参数中至少一者的车辆导航信息；

其中，根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数中至少一者的视觉约束方程包括：

结合所述交通道路标线的几何标称信息以及交通道路标线在不同帧图像之间的像素坐标变化，获得车辆的视觉运动距离和车辆的视觉航向角变化；

根据帧图像的采集时间，获得车辆的视觉运动速度和车辆的视觉航向角变化率；

根据所述车辆的视觉运动距离、视觉运动速度、视觉航向角变化或视觉航向角变化率，建立关于车辆坐标位置、速度、或姿态参数的视觉约束方程。

6.根据权利要求5所述的车载导航装置，还包括卫星导航传感器、惯性传感器、轮速计、磁力传感器、或气压传感器中的一种或多种，

其中当所述程序指令由所述处理器执行时，使得所述车载导航装置还执行以下的操作：

其中，根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息还包括：

建立导航测量方程，根据所述视觉约束方程并结合所述导航测量方程，获得所述车辆导航信息；

所述导航测量方程包括以下方程中的一者或多者：

根据卫星导航传感器输出数据所建立的关于车辆坐标位置、速度的测量方程；

根据惯性传感器输出数据所建立的关于车辆运动距离、速度和姿态，以及惯性传感器误差参数的测量方程；

根据轮速计输出数据所建立的关于车辆运动距离、速度和姿态，以及轮速计误差参数的测量方程；

根据磁力传感器输出数据所建立的关于车辆姿态，以及磁力传感器误差参数的测量方程；

根据气压传感器输出数据所建立的关于车辆高程，以及气压传感器误差参数的测量方程。

7.一种计算机可读存储介质，其包括基于交通道路标线视觉识别进行车载导航的程序，当所述程序由处理器执行时，执行以下的步骤：

接收地面道路图像，识别所述地面道路图像中的一种或多种交通道路标线；

获得所述交通道路标线的像素坐标信息及几何测量信息；

根据所述几何测量信息，查询对比交通道路标线标准，判断所述交通道路标线的类型，并得到对应的几何标称信息；

根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息；

其中，根据所述几何测量信息、几何标称信息及像素坐标信息，获得车辆导航信息还包括：

根据所述几何测量信息和所述几何标称信息，计算视觉测量误差，再基于像素坐标和视觉测量误差，建立视觉约束方程，获得所述车辆导航信息，所述车辆导航信息至少包括图像采集设备的误差参数；

其中，基于像素坐标和视觉测量误差，建立视觉约束方程还包括：

计算所述交通道路标线在不同帧图像之间的像素坐标变化；

根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数中至少一者的视觉约束方程，获得包括车辆坐标位置、速度、或姿态参数中至少一者的车辆导航信息；

其中，根据所述像素坐标变化，及所述交通道路标线的几何标称信息，计算得到车辆的视觉运动距离、速度、或视觉航向角的一者或多者，从而建立关于车辆坐标位置、速度、或姿态参数中至少一者的视觉约束方程包括：

结合所述交通道路标线的几何标称信息以及交通道路标线在不同帧图像之间的像素坐标变化，获得车辆的视觉运动距离和车辆的视觉航向角变化；

根据帧图像的采集时间，获得车辆的视觉运动速度和车辆的视觉航向角变化率；

根据所述车辆的视觉运动距离、视觉运动速度、视觉航向角变化或视觉航向角变化率，建立关于车辆坐标位置、速度、或姿态参数的视觉约束方程。

Images