CN113237487A - 视觉辅助导航方法及装置 - Google Patents

视觉辅助导航方法及装置 Download PDF

Info

Publication number
CN113237487A
CN113237487A CN202110383781.7A CN202110383781A CN113237487A CN 113237487 A CN113237487 A CN 113237487A CN 202110383781 A CN202110383781 A CN 202110383781A CN 113237487 A CN113237487 A CN 113237487A
Authority
CN
China
Prior art keywords
road
vehicle
image
sample
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110383781.7A
Other languages
English (en)
Other versions
CN113237487B (zh
Inventor
李涛
孙明华
王宗文
杨振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Jereh Oilfield Services Group Co Ltd
Original Assignee
Yantai Jereh Oilfield Services Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Jereh Oilfield Services Group Co Ltd filed Critical Yantai Jereh Oilfield Services Group Co Ltd
Priority to CN202110383781.7A priority Critical patent/CN113237487B/zh
Publication of CN113237487A publication Critical patent/CN113237487A/zh
Application granted granted Critical
Publication of CN113237487B publication Critical patent/CN113237487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本申请实施例公开了一种视觉辅助导航方法及装置，用以解决现有技术对车辆的导航不准确的问题。所述方法包括：获取车辆前进方向上的道路图像；以及，获取车辆的位置信息；根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态；若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离；若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离；根据第一距离或第二距离，对车辆进行导航。该技术方案提高了对车辆的导航准确度。

Description

视觉辅助导航方法及装置
技术领域
本申请涉及导航技术领域，尤其涉及一种视觉辅助导航方法及装置。
背景技术
现有技术中一般基于双道路线对车辆进行导航定位，当车辆行驶在校园区域、工厂区域等包含或者仅有单道路线、路沿的地方时，现有的导航方法无法对车辆进行准确导航，从而降低了车辆行驶过程的安全性。
发明内容
本申请实施例的目的是提供一种视觉辅助导航方法及装置，用以解决现有技术对车辆的导航不准确的问题。
为解决上述技术问题，本申请实施例是这样实现的：
一方面，本申请实施例提供一种视觉辅助导航方法，包括：
获取车辆前进方向上的道路图像；以及，获取所述车辆的位置信息；所述道路图像包括道路线图像和/或路沿图像；
根据所述车辆的位置信息及预设的导航路线，确定所述车辆当前的行驶状态，所述行驶状态包括直行状态或者转向状态；
若确定所述车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别所述道路图像中的道路线，并利用预先确定的道路线识别模型确定所述车辆与所述道路线之间的第一距离；
若确定所述车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别所述道路图像中的路沿，并利用预先确定的路沿识别模型确定所述车辆与所述路沿之间的第二距离；
根据所述第一距离或所述第二距离，对所述车辆进行导航。
另一方面，本申请实施例提供一种视觉辅助导航装置，包括：
获取模块，用于获取车辆前进方向上的道路图像；以及，获取所述车辆的位置信息；所述道路图像包括道路线图像和/或路沿图像；
确定模块，用于根据所述车辆的位置信息及预设的导航路线，确定所述车辆当前的行驶状态，所述行驶状态包括直行状态或者转向状态；
第一识别及确定模块，用于若确定所述车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别所述道路图像中的道路线，并利用预先确定的道路线识别模型确定所述车辆与所述道路线之间的第一距离；
第二识别及确定模块，用于若确定所述车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别所述道路图像中的路沿，并利用预先确定的路沿识别模型确定所述车辆与所述路沿之间的第二距离；
导航模块，用于根据所述第一距离或所述第二距离，对所述车辆进行导航。
再一方面，本申请实施例提供一种视觉辅助导航设备，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现上述视觉辅助导航方法。
再一方面，本申请实施例提供一种存储介质，用于存储计算机程序，所述计算机程序能够被处理器执行以实现上述视觉辅助导航方法。
采用本申请实施例的技术方案，通过获取车辆前进方向上的道路图像和车辆的位置信息，根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态，若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离，若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离，从而根据第一距离或第二距离，对车辆进行导航。可见，该技术方案能够在车辆行驶过程中，确定车辆当前的行驶状态为直行状态或者转向状态，从而利用预先建立的模型确定车辆与道路线或者路沿之间的实际距离，进而根据确定出的实际距离对车辆进行导航，提高了对车辆的导航准确度，从而提升了车辆行驶过程的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请一实施例的一种视觉辅助导航方法的示意性流程图；
图2是根据本申请一实施例的分段取点的示意图；
图3是根据本申请另一实施例的一种视觉辅助导航方法的示意性流程图；
图4是根据本申请一实施例的一种视觉辅助导航装置的结构示意图；
图5是根据本申请一实施例的一种视觉辅助导航设备的硬件结构示意图。
具体实施方式
本申请实施例提供一种视觉辅助导航方法及装置，用以解决现有技术对车辆的导航不准确的问题。
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
图1是根据本申请一实施例的一种视觉辅助导航方法的示意性流程图，如图1所示，该方法包括：
S102，获取车辆前进方向上的道路图像；以及，获取车辆的位置信息。
其中，道路图像可包括道路线图像、路沿图像等图像。路沿图像可包括路沿石(高于地面的路沿)图像、路沿区域(低于地面或者与地面相平的路沿)图像等。车辆可为无人驾驶的车辆(以下简称为无人车)、有人驾驶的车辆等。
本实施例中，可利用安装在车辆正上方的摄像头，在车辆行驶过程中实时采集前进方向上的道路图像，并利用车辆上安装的GPS(Global Positioning System，全球定位系统)终端确定车辆的位置信息。为了提高后续步骤中对道路图像的处理速度，可对采集到的道路图像进行图像裁剪，将图像裁剪操作后剩下的道路图像作为ROI(Region OfInterest，感兴趣区域)用于后续步骤。
其中，由于道路图像的高度方向上，越靠上的区域对应的实际距离越远、道路图像越模糊，因此在对道路图像进行图像裁剪时，可在高度方向上裁去道路图像上方指定大小的区域。其中，指定大小可根据对道路图像的分析需求进行设置。结合目前对道路图像的分析需求，指定大小可为道路图像的三分之一。目前在对道路图像进行图像裁剪时，可在高度方向上裁去道路图像上方三分之一的区域，将图像裁剪操作后剩下的道路图像(高度方向上道路图像下方三分之二的区域)作为ROI用于后续步骤。
S104，根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态，行驶状态包括直行状态或者转向状态。
其中，转向状态可包括左转状态或者右转状态。
S106，若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离。
S108，若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离。
本实施例中，考虑到实际应用场景中路沿一般在车辆右侧，当车辆右转时，可看作车辆沿着路沿行驶，依据车辆与路沿之间的距离对车辆进行导航，能够提高导航的准确性。而当车辆左转时，会出现车辆沿着路沿左转、车辆沿着道路线左转、车辆沿着路沿和道路线左转等多种情况，并且由于采集道路图像的摄像头安装在车辆正上方，在车辆左转时，采集到的道路图像中还可能包括相向方向道路的道路线、路沿等图像，提升了对道路图像的识别复杂度，若仅依据车辆与路沿之间的距离对车辆进行导航，难以确保导航的准确性。因此，本实施例中转向状态为右转状态。
S110，根据第一距离或第二距离，对车辆进行导航。
在本申请实施例中，通过获取车辆前进方向上的道路图像和车辆的位置信息，根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态，若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离，若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离，从而根据第一距离或第二距离，对车辆进行导航。可见，该技术方案能够在车辆行驶过程中，确定车辆当前的行驶状态为直行状态或者转向状态，从而利用预先建立的模型确定车辆与道路线或者路沿之间的实际距离，进而根据确定出的实际距离对车辆进行导航，提高了对车辆的导航准确度，从而提升了车辆行驶过程的安全性。
需要说明的是，本申请实施例提供的视觉辅助导航方法，能够用于对无人车、有人驾驶的车辆等车辆进行导航，特别是车辆行驶在校园区域、工厂区域等包含或者仅有单道路线、路沿的地方时，采用本申请实施例的方法能够提高对车辆的导航准确度，从而提升车辆行驶过程的安全性。
下面以行驶在工厂区域的无人车为例详细说明本申请实施例的方法。该无人车包含决策部分、控制部分和远程控制部分，控制部分用于控制无人车自动行驶，决策部分用于下发控制指令以对控制部分进行控制，远程控制部分用于在无法定位无人车的位置时，远程控制无人车调整位置，使无人车能够继续进行自动行驶，且能够在无人车行驶之前规划导航路线并发送至决策部分。在应用本申请实施例的方法对无人车进行导航之前，可预先训练用于对道路图像进行识别和分析的道路语义分割模型、道路线识别模型和路沿识别模型。
在一个实施例中，可按照以下步骤A1-A4训练道路语义分割模型：
步骤A1，采集多个第三样本道路图像，并将多个第三样本道路图像分为训练样本道路图像和验证样本道路图像。
本实施例中，可在不同时刻、不同路段、不同光照条件下分别控制无人车自动行驶，利用安装在无人车正上方的摄像头采集前进方向上的道路视频，以使采集到的道路视频中包含不同时刻、不同路段、不同光照条件下存在的道路线、路沿和人行横道图像，并通过对道路视频进行间隔抽帧，得到多个第三样本道路图像。
其中，采用间隔抽帧的方式得到多个第三样本道路图像，能够有效避免各第三样本道路图像之间的相似度过高，提升了第三样本道路图像的可用性。在实际应用中，为确保训练出的道路语义分割模型的准确性，第三样本道路图像的数量应超过5000张，并可将多个第三样本道路图像按照9：1的比例分为训练样本道路图像和验证样本道路图像。
步骤A2，对多个第三样本道路图像进行图像标注，得到各第三样本道路图像中的图像类别及对应的图像区域。
其中，图像类别可包括道路线、路沿、人行横道等。可利用labelme、PS等图像标注工具对各第三样本道路图像进行图像标注，标注出道路线、路沿和人行横道这三个图像类别对应的图像区域。
步骤A3，以训练样本道路图像为输入数据，以及以图像类别及对应的图像区域为输出数据进行模型训练，得到训练结果。
本实施例中，可搭建ICNet(Image Cascade Network，图像级联网络)模型，对ICNet模型中所有网络层的参数进行初始化，并以训练样本道路图像为输入数据、以图像类别及对应的图像区域为输出数据对该模型进行训练，得到模型训练结果。
其中，ICNet模型通过级联网络的设计，能够融合低分辨率图像的语义信息和高分辨率图像的细节信息，从而减少计算机的运算量，在1024×2048的分辨率下可以每秒钟处理30帧道路图像，因此通过ICNet模型训练出的道路语义分割模型，能够实现对道路图像的快速、高质量语义分割。
步骤A4，以验证样本道路图像为输入数据，对训练结果进行验证，判断训练结果的准确率是否达到预设阈值。
其中，若确定训练结果的准确率达到预设阈值，则停止训练，得到道路语义分割模型。若确定训练结果的准确率未达到预设阈值，则继续训练，直至训练结果的准确率达到预设阈值时停止，得到道路语义分割模型。
其中，预设阈值可根据具体的应用场景对道路语义分割模型准确度的需求进行设置。例如，对于路况较简单的工厂区域，可将预设阈值设置为85％，对于路况较复杂的校园区域，可将预设阈值设置为95％。
在本实施例中，通过采集大量样本道路图像训练道路语义分割模型，并利用验证样本道路图像对训练结果进行验证，提高了训练出的道路语义分割模型的准确率，为后续对道路图像进行识别提供了模型基础。
在一个实施例中，可按照以下步骤B1-B4训练道路线识别模型：
步骤B1，采集第一样本道路图像，并针对第一样本道路图像建立直角坐标系。
其中，第一样本道路图像包括样本道路线图像。第一样本道路图像的数量可为多个，多个第一样本道路图像的采集方式与上述多个第三样本道路图像的采集方式相同，此处不再赘述。
步骤B2，利用道路语义分割模型识别第一样本道路图像中的样本道路线，确定车辆与样本道路线之间的第一样本距离，以及，确定第一样本道路图像对应的坐标原点和横轴。
其中，为了提高后续训练出的道路线识别模型的准确度，应在步骤B1尽量多的采集第一样本道路图像，各第一样本道路图像中无人车与样本道路线之间的位置关系应尽可能多样。例如，无人车与样本道路线之间的位置关系可包括：无人车位于与行驶方向相同的车道且距离样本道路线最近的位置、无人车位于与行驶方向相同的车道且距离样本道路线最远的位置、无人车位于与行驶方向相反的车道、无人车相对于样本道路线倾斜；等等。
本实施例中，利用道路语义分割模型识别第一样本道路图像中的样本道路线后，可确定无人车与样本道路线之间的横向距离，作为第一样本距离(记作y1)，并建立采集到的第一样本道路图像与第一样本距离y1之间的第一对应关系，以便于实际应用中，根据识别到的道路图像、并结合第一对应关系，可确定出对应的第一样本距离y1。其中，利用道路语义分割模型识别第一样本道路图像中的样本道路线后，存在识别到多个道路线区域的情况(若因磨损导致道路线存在缺口，则缺口前后的道路线分别为一个道路线区域)，若识别到第一样本道路图像中包含多个道路线区域，可取最大区域作为样本道路线。
本实施例中，可将第一样本道路图像的左下角作为坐标原点，向右、向上分别为横轴(X轴)、纵轴(Y轴)的正向，单位长度为像素点长度，图像垂直中心与X轴的交点位置作为道路图像中摄像头原点。
步骤B3，延长样本道路线至与横轴相交，得到交点的横轴坐标和延长线与横轴的夹角。
本实施例中，通过延长样本道路线至与横轴相交，可得到交点的横轴坐标，记作X1，且能得到延长线与横轴在第一象限的夹角，记作X2。
步骤B4，根据横轴坐标、夹角和第一样本距离进行模型训练，得到道路线识别模型。
其中，模型可采用函数的方式实现。在执行步骤B4时，可根据横轴坐标、夹角和第一样本距离之间的函数关系，确定道路线多元线性回归函数。以下详细说明如何确定道路线多元线性回归函数。
本实施例中，每一帧第一样本道路图像对应一组包含第一样本距离y1、横轴坐标X1和夹角X2的样本参数。为确保道路线多元线性回归函数的准确性，第一样本道路图像的数量应超过100张，得到超过100组样本参数，并可将多个第一样本道路图像按照9：1的比例分为训练样本道路图像和验证样本道路图像。通过多元线性回归建立第一样本距离y1与横轴坐标X1、夹角X2之间的对应关系：y1＝Hθ(X)＝θ0+θ1X1+θ2X2，以训练样本道路图像作为输入数据，采用均方误差作为损失函数，并使用梯度下降法求解参数θ0、θ1、θ2，得到训练结果。以验证样本道路图像为输入数据，对训练结果进行验证，判断训练结果的准确率是否达到预设阈值。若确定训练结果的准确率达到预设阈值，则停止训练，得到道路线多元线性回归函数。若确定训练结果的准确率未达到预设阈值，则继续训练，直至训练结果的准确率达到预设阈值时停止，得到道路线多元线性回归函数。道路线多元线性回归函数反应了道路线在图像坐标系与世界坐标系的转换关系，基于道路图像中道路线与横轴交点的横轴坐标、以及道路线与横轴之间的夹角，可计算得到无人车到道路线的实际横向距离。
其中，预设阈值的设置方式与道路语义分割模型对应的预设阈值的设置方式相同，此处不再赘述。
在本实施例中，通过采集样本道路图像训练道路线识别模型，并利用验证样本道路图像对训练结果进行验证，提高了训练出的道路线识别模型的准确率，为后续对道路图像进行分析提供了模型基础。
在一个实施例中，可按照以下步骤C1-C5训练路沿识别模型：
步骤C1，采集第二样本道路图像，并针对第二样本道路图像建立直角坐标系。
其中，第二样本道路图像包括样本路沿图像。第二样本道路图像的数量可为多个，多个第二样本道路图像的采集方式与上述多个第三样本道路图像的采集方式相同，此处不再赘述。
步骤C2，利用道路语义分割模型识别第二样本道路图像中的样本路沿，确定车辆与样本路沿之间的第二样本距离，以及，确定第二样本道路图像对应的横轴中点，以横轴中点作为摄像头原点。
其中，为了提高后续训练出的路沿识别模型的准确度，应在步骤C1尽量多的采集第二样本道路图像，且应采集到无人车停放在不同转向位置点附件、同一转向位置点附近的不同位置和不同角度处的第二样本道路图像。
本实施例中，利用道路语义分割模型识别第二样本道路图像中的样本路沿后，可确定无人车与样本路沿之间的横向距离，作为第二样本距离(记作y2)，并建立采集到的第二样本道路图像与第二样本距离y2之间的第二对应关系，以便于实际应用中，根据识别到的道路图像、并结合第二对应关系，可确定出对应的第二样本距离y2。
步骤C3，将样本路沿等分为预设数量的分段，确定样本路沿对应的多个等分点。
本实施例中，可采用分段取点比较的办法近似得到第二样本道路图像中摄像头原点与样本路沿之间的最短距离。首先，可将识别到的样本路沿在垂直方向上等分成预设数量的分段，确定出样本路沿对应的多个等分点。例如，预设数量为7，如图2所示，可将识别到的样本路沿在垂直方向上等分成7段，确定出样本路沿对应的6(图2中的1至6)个等分点。
其中，摄像头原点的确定方式在步骤B2中已进行详细说明，此处不再赘述。
步骤C4，计算各等分点分别与摄像头原点之间的第三距离，确定第三距离中的最短距离。
沿用步骤C3中的举例，如图2所示，可计算各个等分点与摄像头原点o之间的距离，取六个距离中的最短距离近似作为摄像头原点到路沿的最短距离，记作x。
步骤C5，根据第二样本距离和最短距离进行模型训练，得到路沿识别模型。
其中，模型可采用函数的方式实现。在执行步骤C5时，可根据第二样本距离和最短距离之间的函数关系，确定路沿线性回归函数。以下详细说明如何确定路沿线性回归函数。
本实施例中，每一帧第二样本道路图像对应一组包含第二样本距离y2、和最短距离x的样本参数。为确保路沿线性回归函数的准确性，第二样本道路图像的数量应超过100张，得到超过100组样本参数，并可将多个第二样本道路图像按照9：1的比例分为训练样本道路图像和验证样本道路图像。通过线性回归函数建立y2与x的对应关系：y2＝a+bx，以训练样本道路图像作为输入数据，采用均方误差作为损失函数，并使用梯度下降法求解参数a，b，得到训练结果。以验证样本道路图像为输入数据，对训练结果进行验证，判断训练结果的准确率是否达到预设阈值。若确定训练结果的准确率达到预设阈值，则停止训练，得到路沿线性回归函数。若确定训练结果的准确率未达到预设阈值，则继续训练，直至训练结果的准确率达到预设阈值时停止，得到路沿线性回归函数。
其中，预设阈值的设置方式与道路语义分割模型对应的预设阈值的设置方式相同，此处不再赘述。
在本实施例中，通过采集样本道路图像训练路沿识别模型，并利用验证样本道路图像对训练结果进行验证，提高了训练出的路沿识别模型的准确率，为后续对道路图像进行分析提供了模型基础。
在应用本申请实施例的方法对无人车进行导航时，首先需要对无人车的导航路线进行规划，并限定无人车直行时与道路线之间的距离阈值、以及限定无人车转向时与路沿之间的距离阈值。
在一个实施例中，可预先利用无人车上安装的GPS终端采集工厂区域内所有路口位置点对应的经纬度，将采集结果通过网络上传至远程控制部分，在无人车自动行驶前，远程控制部分根据部分或全部路口位置点的经纬度规划一条导航路线，并将导航路线发送给无人车的决策部分。
在一个实施例中，决策部分在无人车自动行驶之前限定无人车对应的目标行驶范围，具体包括：直行时无人车相对道路线的直行保持距离及允许偏差、以及转向时无人车相对路沿的最短距离及允许偏差。其中，直行保持距离可以设置为20厘米(或者30厘米、40厘米等)。为保证安全、不压道路线、不碰到路沿，直行保持距离与最短距离需要大于20cm、且小于车道宽度减去无人车的宽度，允许偏差可以设置为±5厘米(或者±10厘米等)。
在一个实施例中，导航路线由多个路口位置点确定，路口位置点包括转向位置点和/或直行位置点。在确定车辆当前的行驶状态时，可根据车辆的位置信息及预设的导航路线，判断车辆是否处于路口区域内；若否，则确定车辆当前的行驶状态为直行状态；若是，则根据导航路线判断路口位置点是否为转向位置点；若路口位置点为转向位置点，则根据道路语义分割模型识别道路图像中的人行横道，根据识别到的人行横道，判断车辆是否开始转向。
其中，可根据当前路口位置点与下一路口位置点之间的导航路线，判断当前路口位置点是否为转向位置点。若导航路线为直行，则当前路口位置点不为转向位置点，若导航路线为转向，则当前路口位置点为转向位置点。若路口位置点不为转向位置点(即路口位置点为直行位置点)，则确定车辆当前的行驶状态为直行状态。
其中，路口区域包括与路口位置点之间的距离小于或等于预设距离阈值的区域。道路图像包括人行横道图像。车辆的位置信息可为车辆的经纬度。
本实施例中，可根据无人车当前的经纬度和预设的导航路线中目标路口位置点(导航路线中当前前进方向上即将出现的路口位置点)的经纬度，判断无人车与导航路线中目标路口位置点之间的距离是否小于或等于预设距离阈值，若是，则确定无人车处于该目标路口位置点的路口区域内；若否，则确定无人车未处于路口区域内(此时，可确定无人车当前的行驶状态为直行状态)。
在本实施例中，通过车辆的位置信息及预设的导航路线，确定车辆是否处于路口区域内，从而判断车辆当前的行驶状态，提高了确定出的车辆的行驶状态的准确性。
在一个实施例中，根据识别到的人行横道判断车辆是否开始转向时，可确定识别到的人行横道对应的横道线数量、以及每条横道线的面积，并判断横道线数量以及面积是否满足预设判别条件，若是，则确定车辆当前的行驶状态为转向状态；若否，则继续获取车辆前进方向上的道路图像，以及获取车辆的位置信息。
其中，可预先确定判别条件(也称作路口判别条件)。通过提前选定一些转向位置点，无人车经过该转向位置点后开始转向，将无人车停在转向位置点处采集道路图像，通过道路语义分割模型识别人行横道，将识别到的人行横道对应的横道线数量、以及每条横道线的面积进行限定来判别路口，通过分析确定路口判别条件对应的横道线数量、以及每条横道线的面积，本申请实施例中路口判别条件为超过4条横道线且每条横道线的面积大于80个像素数。
在本实施例中，通过确定识别到的人行横道对应的横道线数量、以及每条横道线的面积，判断横道线数量以及面积是否满足预设判别条件，从而进一步确定车辆当前的行驶状态，提高了确定出的车辆的行驶状态的准确性。
在一个实施例中，根据车辆与道路线之间的第一距离或车辆与路沿之间的第二距离，对车辆进行导航时：
首先，根据预设的车辆的各行驶状态分别对应的行驶范围，确定车辆当前的行驶状态对应的目标行驶范围。
假设，无人车直行时设置无人车与道路线之间的距离为18厘米，无人车转向时设置无人车与路沿之间的距离为20厘米，则根据无人车当前的行驶状态可确定对应的目标行驶范围。
其次，根据第一距离或第二距离，并根据目标行驶范围，确定车辆当前对应的行驶偏离信息。
其中，行驶偏离信息包括行驶偏离距离、行驶偏离方向、行驶偏离角度等信息。
再次，根据预先建立的车辆对应的行驶偏离信息、行驶速度和行驶调整信息之间的对应关系，确定行驶偏离信息对应的目标行驶调整信息。
其中，目标行驶调整信息包括行驶调整方向、行驶调整角度等。
最后，根据目标行驶调整信息，对车辆进行导航。
在本申请实施例中，根据车辆与道路线之间的第一距离或车辆与路沿之间的第二距离，对车辆进行导航，提高了对车辆的导航准确度，从而提升了车辆行驶过程的安全性。
在一个实施例中，应用本申请实施例的方法对无人车进行导航的具体过程可包括：通过无人车上安装的GPS终端采集无人车当前的经纬度，并与预设的导航路线上目标路口位置点的经纬度进行对比，确定无人车当前的行驶状态，在无人车当前的经纬度与导航路线上目标路口位置点的经纬度之间的距离超过预设阈值时，确定无人车当前的行驶状态为直行状态。例如，预设阈值为3米，则在无人车当前的经纬度与导航路线上目标路口位置点的经纬度之间的距离超过3米时，确定无人车当前的行驶状态为直行状态。在无人车直行时，安装在车辆正上方的摄像头实时采集前进方向上的道路图像，裁剪后的ROI输入道路语义分割模型，利用道路语义分割模型识别道路图像中的道路线。如果未识别到道路线，则提示决策部分未识别到道路线，决策部分需要依靠其他雷达(如，激光雷达、毫米波雷达、超声波雷达等)信息进行无人车定位，如果依然无法定位无人车的位置，则会将关于无法定位的信息上传远程控制部分，远程控制无人车调整位置，使无人车能够继续进行自动行驶。如果识别到道路线，则利用道路线识别模型计算得到无人车与道路线之间的第一距离，判断第一距离是否小于或等于预设的无人车直行时与道路线之间的距离阈值，从而确定无人车是否行驶在目标行驶范围内。当无人车行驶在目标行驶范围之外时，决策部分根据无人车当前对应的行驶偏离信息和行驶速度，确定行驶偏离信息对应的目标行驶调整信息，并根据目标行驶调整信息控制无人车的方向盘进行转向调整，无人车调整到目标行驶范围内后继续直行。此外，若无人车始终没有超出目标行驶范围则该无人车继续直行。
在一个实施例中，在无人车当前的经纬度与导航路线上目标路口位置点的经纬度之间的距离未超过预设阈值时，进一步根据导航路线判断目标路口位置点是否为转向位置点。若目标路口位置点不为转向位置点，则确定无人车当前的行驶状态为直行状态。在无人车直行时，对无人车进行视觉辅助导航的具体过程在上述实施例中已进行详细说明，此处不再赘述。若目标路口位置点为转向位置点，则确定无人车当前的行驶状态为转向状态，并判断无人车当前是否开始转向，可预设转向状态为0表示未开始转向，为1表示正在转向。本申请实施例的方法的实际应用中，转向状态默认为0，当识别到的人行横道对应的横道线数量、以及每条横道线的面积满足预设判别条件时，将转向状态设置为1，并将开始转向的信号发送给决策部分，决策部分下发控制指令控制无人车开始转向。安装在车辆正上方的摄像头实时采集前进方向上的道路图像，裁剪后的ROI输入道路语义分割模型，利用道路语义分割模型识别道路图像中的路沿。如果未识别到路沿，则提示决策部分未识别到路沿，决策部分需要依靠其他雷达(如，激光雷达、毫米波雷达、超声波雷达等)信息进行无人车定位，如果依然无法定位无人车的位置，则会将关于无法定位的信息上传远程控制部分，远程控制无人车调整位置，使无人车能够继续进行自动行驶。如果识别到路沿，则继续判断是否存在符合特征的道路线区域，特征要求为：转向后连续采集的三张道路图像识别到的道路线的面积均超过80像素数(或者100像素数、120像素数等，该数值可根据实际应用需求进行设置)。若存在符合特征的道路线，则转向完成，将转向状态设置为0，将完成转向的信号发送给决策部分，决策部分下发控制指令控制无人车继续直行。若不存在符合特征的道路线，则说明无人车仍在转向，将识别到的路沿通过分段取点的方式得到道路图像上摄像头原点到路沿的最短距离，利用路沿识别模型计算得到无人车与路沿之间的第二距离，判断第二距离是否小于或等于预设的无人车转向时与路沿之间的距离阈值，从而确定无人车是否行驶在目标行驶范围内。当无人车行驶在目标行驶范围之外时，决策部分根据无人车当前对应的行驶偏离信息和行驶速度，确定行驶偏离信息对应的目标行驶调整信息，并根据目标行驶调整信息控制无人车的方向盘进行转向调整，无人车调整到目标行驶范围内后继续转向。
图3是根据本申请另一实施例的一种视觉辅助导航方法的示意性流程图，如图3所示，该方法包括：
S301，获取车辆前进方向上的道路图像；以及，获取车辆的位置信息。
其中，道路图像包括道路线图像、路沿图像等。
S302，根据车辆的位置信息及预设的导航路线，判断车辆是否处于路口区域内，路口区域包括与路口位置点之间的距离小于或等于预设距离阈值的区域，路口位置点包括转向位置点和直行位置点；若否，则执行S303；若是，则执行S304。
S303，确定车辆当前的行驶状态为直行状态，之后执行S309。
S304，根据导航路线判断路口位置点是否为转向位置点；若是，则执行S305；若否，则返回执行S303。
S305，根据道路语义分割模型识别道路图像中的人行横道，确定识别到的人行横道对应的横道线数量、以及每条横道线的面积。
其中，道路图像包括人行横道图像。
S306，判断横道线数量以及面积是否满足预设判别条件；若是，则执行S307；若否，则返回执行S301。
S307，确定车辆当前的行驶状态为转向状态。
S308，利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离，之后执行S310。
S309，利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离，之后执行S310。
S310，根据第一距离或第二距离，对车辆进行导航。
上述S301-S310的具体过程在上述实施例中已进行详细说明，此处不再赘述。
在本申请实施例中，通过获取车辆前进方向上的道路图像和车辆的位置信息，根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态，若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离，若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离，从而根据第一距离或第二距离，对车辆进行导航。可见，该技术方案能够在车辆行驶过程中，确定车辆当前的行驶状态为直行状态或者转向状态，从而利用预先建立的模型确定车辆与道路线或者路沿之间的实际距离，进而根据确定出的实际距离对车辆进行导航，提高了对车辆的导航准确度，从而提升了车辆行驶过程的安全性。
综上，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
以上为本申请实施例提供的视觉辅助导航方法，基于同样的思路，本申请实施例还提供一种视觉辅助导航装置。
图4是根据本申请一实施例的一种视觉辅助导航装置的结构示意图，如图4所示，视觉辅助导航装置包括：
获取模块410，用于获取车辆前进方向上的道路图像；以及，获取车辆的位置信息；道路图像包括道路线图像和/或路沿图像；
确定模块420，用于根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态，行驶状态包括直行状态或者转向状态；
第一识别及确定模块430，用于若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离；
第二识别及确定模块440，用于若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离；
导航模块450，用于根据第一距离或第二距离，对车辆进行导航。
在一个实施例中，导航路线由多个路口位置点确定；路口位置点包括转向位置点和/或直行位置点；确定模块420包括：
判断单元，用于根据车辆的位置信息及导航路线，判断车辆是否处于路口区域内；路口区域包括与路口位置点之间的距离小于或等于预设距离阈值的区域；
第一确定单元，用于若否，则确定车辆当前的行驶状态为直行状态；
第一执行单元，用于若是，则根据导航路线判断路口位置点是否为转向位置点；若路口位置点为转向位置点，则根据道路语义分割模型识别道路图像中的人行横道，根据识别到的人行横道，判断车辆是否开始转向；道路图像还包括人行横道图像。
在一个实施例中，第一执行单元具体用于：
确定识别到的人行横道对应的横道线数量、以及每条横道线的面积；
判断横道线数量以及面积是否满足预设判别条件；
若是，则确定车辆当前的行驶状态为转向状态。
在一个实施例中，第一识别及确定模块430包括：
第一采集及建立单元，用于采集第一样本道路图像，并针对第一样本道路图像建立直角坐标系；第一样本道路图像包括样本道路线图像；
第一识别及确定单元，用于利用道路语义分割模型识别第一样本道路图像中的样本道路线，确定车辆与样本道路线之间的第一样本距离；以及，确定第一样本道路图像对应的坐标原点和横轴；
第二执行单元，用于延长样本道路线至与横轴相交，得到交点的横轴坐标和延长线与横轴的夹角；
第一训练单元，用于根据横轴坐标、夹角和第一样本距离进行模型训练，得到道路线识别模型。
在一个实施例中，第二识别及确定模块440包括：
第二采集及建立单元，用于采集第二样本道路图像，并针对第二样本道路图像建立直角坐标系；第二样本道路图像包括样本路沿图像；
第二识别及确定单元，用于利用道路语义分割模型识别第二样本道路图像中的样本路沿，确定车辆与样本路沿之间的第二样本距离；以及，确定第二样本道路图像对应的横轴中点，以横轴中点作为摄像头原点；
第二确定单元，用于将样本路沿等分为预设数量的分段，确定样本路沿对应的多个等分点；
计算及确定单元，用于计算各等分点分别与摄像头原点之间的第三距离，确定第三距离中的最短距离；
第二训练单元，用于根据第二样本距离和最短距离进行模型训练，得到路沿识别模型。
在一个实施例中，第一识别及确定模块430还包括：
采集单元，用于采集多个第三样本道路图像，并将多个第三样本道路图像分为训练样本道路图像和验证样本道路图像；
标注单元，用于对多个第三样本道路图像进行图像标注，得到各第三样本道路图像中的图像类别及对应的图像区域；图像类别包括道路线、路沿、人行横道中的至少一项；
第三训练单元，用于以训练样本道路图像为输入数据，以及以图像类别及对应的图像区域为输出数据进行模型训练，得到训练结果；
验证及判断单元，用于以验证样本道路图像为输入数据，对训练结果进行验证；判断训练结果的准确率是否达到预设阈值；若是，则停止训练，得到道路语义分割模型。
在一个实施例中，导航模块450包括：
第三确定单元，用于根据预设的车辆的各行驶状态分别对应的行驶范围，确定车辆当前的行驶状态对应的目标行驶范围；
第四确定单元，用于根据第一距离或第二距离，并根据目标行驶范围，确定车辆当前对应的行驶偏离信息；行驶偏离信息包括行驶偏离距离、行驶偏离方向、行驶偏离角度中的至少一项信息；
第五确定单元，用于根据预先建立的车辆对应的行驶偏离信息、行驶速度和行驶调整信息之间的对应关系，确定行驶偏离信息对应的目标行驶调整信息；目标行驶调整信息包括行驶调整方向和/或行驶调整角度；
导航单元，用于根据目标行驶调整信息，对车辆进行导航。
在本申请实施例中，通过获取车辆前进方向上的道路图像和车辆的位置信息，根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态，若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离，若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离，从而根据第一距离或第二距离，对车辆进行导航。可见，该装置能够在车辆行驶过程中，确定车辆当前的行驶状态为直行状态或者转向状态，从而利用预先建立的模型确定车辆与道路线或者路沿之间的实际距离，进而根据确定出的实际距离对车辆进行导航，提高了对车辆的导航准确度，从而提升了车辆行驶过程的安全性。
本领域的技术人员应可理解，图4中的视觉辅助导航装置能够用来实现前文所述的视觉辅助导航方法，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。
基于同样的思路，本申请实施例还提供一种视觉辅助导航设备，如图5所示。视觉辅助导航设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对视觉辅助导航设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在视觉辅助导航设备上执行存储器502中的一系列计算机可执行指令。视觉辅助导航设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入输出接口505，一个或一个以上键盘506。
具体在本实施例中，视觉辅助导航设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对视觉辅助导航设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取车辆前进方向上的道路图像；以及，获取车辆的位置信息；道路图像包括道路线图像和/或路沿图像；
根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态，行驶状态包括直行状态或者转向状态；
若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离；
若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离；
根据第一距离或第二距离，对车辆进行导航。
在本申请实施例中，通过获取车辆前进方向上的道路图像和车辆的位置信息，根据车辆的位置信息及预设的导航路线，确定车辆当前的行驶状态，若确定车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别道路图像中的道路线，并利用预先确定的道路线识别模型确定车辆与道路线之间的第一距离，若确定车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别道路图像中的路沿，并利用预先确定的路沿识别模型确定车辆与路沿之间的第二距离，从而根据第一距离或第二距离，对车辆进行导航。可见，该设备能够在车辆行驶过程中，确定车辆当前的行驶状态为直行状态或者转向状态，从而利用预先建立的模型确定车辆与道路线或者路沿之间的实际距离，进而根据确定出的实际距离对车辆进行导航，提高了对车辆的导航准确度，从而提升了车辆行驶过程的安全性。
本申请实施例还提出了一种存储介质，该存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被包括多个应用程序的视觉辅助导航设备执行时，能够使该视觉辅助导航设备执行上述视觉辅助导航方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种视觉辅助导航方法，其特征在于，包括：
获取车辆前进方向上的道路图像；以及，获取所述车辆的位置信息；所述道路图像包括道路线图像和/或路沿图像；
根据所述车辆的位置信息及预设的导航路线，确定所述车辆当前的行驶状态，所述行驶状态包括直行状态或者转向状态；
若确定所述车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别所述道路图像中的道路线，并利用预先确定的道路线识别模型确定所述车辆与所述道路线之间的第一距离；
若确定所述车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别所述道路图像中的路沿，并利用预先确定的路沿识别模型确定所述车辆与所述路沿之间的第二距离；
根据所述第一距离或所述第二距离，对所述车辆进行导航。
2.根据权利要求1所述的方法，其特征在于，所述导航路线由多个路口位置点确定；所述路口位置点包括转向位置点和/或直行位置点；所述根据所述车辆的位置信息及预设的导航路线，确定所述车辆当前的行驶状态，包括：
根据所述车辆的位置信息及所述导航路线，判断所述车辆是否处于路口区域内；所述路口区域包括与所述路口位置点之间的距离小于或等于预设距离阈值的区域；
若否，则确定所述车辆当前的行驶状态为所述直行状态；
若是，则根据所述导航路线判断所述路口位置点是否为所述转向位置点；若所述路口位置点为所述转向位置点，则根据所述道路语义分割模型识别所述道路图像中的人行横道，根据识别到的所述人行横道，判断所述车辆是否开始转向；所述道路图像还包括人行横道图像。
3.根据权利要求2所述的方法，其特征在于，所述根据识别到的所述人行横道，判断所述车辆是否开始转向，包括：
确定识别到的所述人行横道对应的横道线数量、以及每条横道线的面积；
判断所述横道线数量以及所述面积是否满足预设判别条件；
若是，则确定所述车辆当前的行驶状态为所述转向状态。
4.根据权利要求1所述的方法，其特征在于，按照以下步骤训练所述道路线识别模型：
采集第一样本道路图像，并针对所述第一样本道路图像建立直角坐标系；所述第一样本道路图像包括样本道路线图像；
利用所述道路语义分割模型识别所述第一样本道路图像中的样本道路线，确定所述车辆与所述样本道路线之间的第一样本距离；以及，确定所述第一样本道路图像对应的坐标原点和横轴；
延长所述样本道路线至与所述横轴相交，得到交点的横轴坐标和延长线与所述横轴的夹角；
根据所述横轴坐标、所述夹角和所述第一样本距离进行模型训练，得到所述道路线识别模型。
5.根据权利要求1所述的方法，其特征在于，按照以下步骤训练所述路沿识别模型：
采集第二样本道路图像，并针对所述第二样本道路图像建立直角坐标系；所述第二样本道路图像包括样本路沿图像；
利用所述道路语义分割模型识别所述第二样本道路图像中的样本路沿，确定所述车辆与所述样本路沿之间的第二样本距离；以及，确定所述第二样本道路图像对应的横轴中点，以所述横轴中点作为摄像头原点；
将所述样本路沿等分为预设数量的分段，确定所述样本路沿对应的多个等分点；
计算各所述等分点分别与所述摄像头原点之间的第三距离，确定所述第三距离中的最短距离；
根据所述第二样本距离和所述最短距离进行模型训练，得到所述路沿识别模型。
6.根据权利要求1所述的方法，其特征在于，按照以下步骤训练所述道路语义分割模型：
采集多个第三样本道路图像，并将所述多个第三样本道路图像分为训练样本道路图像和验证样本道路图像；
对所述多个第三样本道路图像进行图像标注，得到各所述第三样本道路图像中的图像类别及对应的图像区域；所述图像类别包括道路线、路沿、人行横道中的至少一项；
以所述训练样本道路图像为输入数据，以及以所述图像类别及对应的所述图像区域为输出数据进行模型训练，得到训练结果；
以所述验证样本道路图像为输入数据，对所述训练结果进行验证；判断所述训练结果的准确率是否达到预设阈值；若是，则停止训练，得到所述道路语义分割模型。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一距离或所述第二距离，对所述车辆进行导航，包括：
根据预设的所述车辆的各行驶状态分别对应的行驶范围，确定所述车辆当前的行驶状态对应的目标行驶范围；
根据所述第一距离或所述第二距离，并根据所述目标行驶范围，确定所述车辆当前对应的行驶偏离信息；所述行驶偏离信息包括行驶偏离距离、行驶偏离方向、行驶偏离角度中的至少一项信息；
根据预先建立的所述车辆对应的行驶偏离信息、行驶速度和行驶调整信息之间的对应关系，确定所述行驶偏离信息对应的目标行驶调整信息；所述目标行驶调整信息包括行驶调整方向和/或行驶调整角度；
根据所述目标行驶调整信息，对所述车辆进行导航。
8.一种视觉辅助导航装置，其特征在于，包括：
获取模块，用于获取车辆前进方向上的道路图像；以及，获取所述车辆的位置信息；所述道路图像包括道路线图像和/或路沿图像；
确定模块，用于根据所述车辆的位置信息及预设的导航路线，确定所述车辆当前的行驶状态，所述行驶状态包括直行状态或者转向状态；
第一识别及确定模块，用于若确定所述车辆当前的行驶状态为直行状态，则利用预先建立的道路语义分割模型识别所述道路图像中的道路线，并利用预先确定的道路线识别模型确定所述车辆与所述道路线之间的第一距离；
第二识别及确定模块，用于若确定所述车辆当前的行驶状态为转向状态，则利用预先建立的道路语义分割模型识别所述道路图像中的路沿，并利用预先确定的路沿识别模型确定所述车辆与所述路沿之间的第二距离；
导航模块，用于根据所述第一距离或所述第二距离，对所述车辆进行导航。
9.一种视觉辅助导航设备，其特征在于，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现权利要求1-7任一项所述的视觉辅助导航方法。
10.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序被处理器执行以实现权利要求1-7任一项所述的视觉辅助导航方法。
CN202110383781.7A 2021-04-09 2021-04-09 视觉辅助导航方法及装置 Active CN113237487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110383781.7A CN113237487B (zh) 2021-04-09 2021-04-09 视觉辅助导航方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110383781.7A CN113237487B (zh) 2021-04-09 2021-04-09 视觉辅助导航方法及装置

Publications (2)

Publication Number Publication Date
CN113237487A true CN113237487A (zh) 2021-08-10
CN113237487B CN113237487B (zh) 2022-09-27

Family

ID=77127862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110383781.7A Active CN113237487B (zh) 2021-04-09 2021-04-09 视觉辅助导航方法及装置

Country Status (1)

Country Link
CN (1) CN113237487B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019973A (zh) * 2021-11-05 2022-02-08 西安铁蜗牛自动化设备有限公司 自动引导车的视觉寻边导航方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015169511A (ja) * 2014-03-06 2015-09-28 アルパイン株式会社 ナビゲーションシステム及びコンピュータプログラム
CN106092114A (zh) * 2016-06-22 2016-11-09 江苏大学 一种图像识别的汽车实景导航装置及方法
CN107560622A (zh) * 2016-07-01 2018-01-09 板牙信息科技（上海）有限公司 一种基于行车图像导航的方法与设备
CN109425350A (zh) * 2017-08-24 2019-03-05 阿里巴巴集团控股有限公司 道路定位、道路切换判断方法、装置、设备及存储介质
CN109785667A (zh) * 2019-03-11 2019-05-21 百度在线网络技术（北京）有限公司 车道偏离识别方法、装置、设备和存储介质
CN110702135A (zh) * 2019-10-14 2020-01-17 广州小鹏汽车科技有限公司 一种车辆的导航方法及装置、汽车、存储介质
CN110763246A (zh) * 2019-08-06 2020-02-07 中国第一汽车股份有限公司 自动驾驶车辆路径规划方法、装置、车辆及存储介质
US20200257301A1 (en) * 2017-03-20 2020-08-13 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
CN111693059A (zh) * 2020-05-28 2020-09-22 北京百度网讯科技有限公司 环岛的导航方法、装置、设备及存储介质
CN111967301A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 定位导航方法、装置、电子设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015169511A (ja) * 2014-03-06 2015-09-28 アルパイン株式会社 ナビゲーションシステム及びコンピュータプログラム
CN106092114A (zh) * 2016-06-22 2016-11-09 江苏大学 一种图像识别的汽车实景导航装置及方法
CN107560622A (zh) * 2016-07-01 2018-01-09 板牙信息科技（上海）有限公司 一种基于行车图像导航的方法与设备
US20200257301A1 (en) * 2017-03-20 2020-08-13 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
CN109425350A (zh) * 2017-08-24 2019-03-05 阿里巴巴集团控股有限公司 道路定位、道路切换判断方法、装置、设备及存储介质
CN109785667A (zh) * 2019-03-11 2019-05-21 百度在线网络技术（北京）有限公司 车道偏离识别方法、装置、设备和存储介质
CN110763246A (zh) * 2019-08-06 2020-02-07 中国第一汽车股份有限公司 自动驾驶车辆路径规划方法、装置、车辆及存储介质
CN110702135A (zh) * 2019-10-14 2020-01-17 广州小鹏汽车科技有限公司 一种车辆的导航方法及装置、汽车、存储介质
CN111693059A (zh) * 2020-05-28 2020-09-22 北京百度网讯科技有限公司 环岛的导航方法、装置、设备及存储介质
CN111967301A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 定位导航方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙涵等: "基于机器视觉的智能车辆导航综述", 《公路交通科技》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019973A (zh) * 2021-11-05 2022-02-08 西安铁蜗牛自动化设备有限公司 自动引导车的视觉寻边导航方法
CN114019973B (zh) * 2021-11-05 2024-05-07 西安铁蜗牛自动化设备有限公司 自动引导车的视觉寻边导航方法

Also Published As

Publication number Publication date
CN113237487B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110962843B (zh) 一种自动泊车控制决策方法及系统
EP3526737B1 (en) Neural network system for autonomous vehicle control
US11347220B2 (en) Autonomously navigating across intersections
CN109521763B (zh) 用于自动驾驶车辆的基于约束平滑样条的路径优化
US10816990B2 (en) Non-blocking boundary for autonomous vehicle planning
US11042157B2 (en) Lane/object detection and tracking perception system for autonomous vehicles
US11117597B2 (en) Pedestrian interaction system for low speed scenes for autonomous vehicles
US10579062B2 (en) Scalable smooth reference path generator for autonomous driving vehicles
EP3861291B1 (en) Spline curve and spiral curve based reference line smoothing method
US10429849B2 (en) Non-linear reference line optimization method using piecewise quintic polynomial spiral paths for operating autonomous driving vehicles
US10816985B2 (en) Method on moving obstacle representation for trajectory planning
CN110096053A (zh) 用于自动驾驶车辆的驾驶轨迹生成方法、系统和机器可读介质
US8050460B2 (en) Method for recognition of an object
CN111830979A (zh) 一种轨迹优化方法和装置
CN112020686B (zh) 用于自动驾驶的基于qp样条路径和螺旋路径的参考线平滑方法
US9875416B2 (en) Situation analysis for a driver assistance system
US11556127B2 (en) Static obstacle map based perception system
JP2022502311A (ja) 環境ターゲットの特徴点抽出方法及び装置
CN108154119B (zh) 基于自适应跟踪框分割的自动驾驶处理方法及装置
CN113670305A (zh) 泊车轨迹生成方法、装置、计算机设备和存储介质
CN113237487B (zh) 视觉辅助导航方法及装置
CN111683851B (zh) 用于自动驾驶的自反向车道的相互避开算法
KR102342414B1 (ko) 악천후 자율주행을 위한 교통 흐름 정보 인지 기반 가상 차선 생성 장치 및 방법
JP7158894B2 (ja) 制御システム及びプログラム
CN108022250B (zh) 基于自适应阈值分割的自动驾驶处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant