CN115830559A

CN115830559A - 一种轮胎吊的车道线识别的方法、存储介质和电子设备

Info

Publication number: CN115830559A
Application number: CN202211553943.8A
Authority: CN
Inventors: 翁渊彬; 冯凯; 吴南海
Original assignee: Broad Vision Xiamen Technology Co ltd
Current assignee: Broad Vision Xiamen Technology Co ltd
Priority date: 2022-12-06
Filing date: 2022-12-06
Publication date: 2023-03-21

Abstract

本发明提供了一种轮胎吊的车道线识别的方法、存储介质和电子设备，所述方法包括以下步骤：对车道线识别模型进行训练，得到训练完成的车道线识别模型；采集车道数据图像，将车道数据图像输入至训练完成的车道线识别模型中，识别车道线位置；基于车道线位置与预定基准线进行比较，确定当前轮胎吊的行驶偏移参数。在训练所述模型时，在所述模型的回归输出中增加一个对样本数据的IOU值输出预测，若样本数据输出预测的IOU值不存在时，则在下一次对所述车道线识别模型进行训练时剔除该样本数据。通过设置IOU值对于训练样本数据进行筛选，能够有效提升模型的识别精度，进而提成实际应用场景中车道线识别的精准性，便于对轮胎吊的行驶参数进行调整。

Description

一种轮胎吊的车道线识别的方法、存储介质和电子设备

技术领域

本发明涉及图像识别领域，尤其涉及一种轮胎吊的车道线识别的方法、存储介质和电子设备。

背景技术

随着智能化系统被应用到车辆驾驶领域中，越来越多的车辆上配置了能够实现自动驾驶功能或辅助驾驶功能的智能系统。为了实现自动驾驶功能或辅助驾驶功能，车辆上的智能系统通常需要从车辆周围的道路图像中识别出车道线，以确定车辆能够在预定要求的车道线上行驶。

轮胎吊包括橡胶轮胎门式起重机(Rubber Tyre Gantry，缩写为RTG)，RTG在行走时，由于其本身重量不平衡、码头的道路不配、电机输出延时等因素的影响，容易偏离预定行走路径。在此种情况下，需要司机进行手动纠偏或者通过视觉识别车道线，再通过地理位置定位等手段来控制整车自动纠偏。

LaneATT模型是视觉识别算法的模型之一，在模型训练过程中，该模型通过对每个样本数据计算一个置信度概率值，将置信度概率值作为该样本数据是否参与下一次训练的依据，然而，置信度概率值在经过激活函数激活后，会向两端0和1的位置集中，使得中间段的概率值较难出现，导致置信度偏离实际情况，影响模型预测的准确度。

发明内容

为此，需要提供一种车道线识别的技术方案，用于解决现有的车道线识别在识别车道线过程中存在着预测准确性差的技术问题。

第一方面，本申请提供了一种轮胎吊的车道线识别的方法，所述方法包括以下步骤：

S1：对车道线识别模型进行训练，得到训练完成的车道线识别模型；在训练所述模型时，在所述模型的回归输出中增加一个对样本数据的IOU值输出预测，若样本数据输出预测的IOU值不存在时，则在下一次对所述车道线识别模型进行训练时剔除该样本数据；

所述IOU值的计算公式如下：

其中，D(L_i，l_j)表示基于样本数据计算的预测线和标注线的距离，D_th表示预设阈值，None表示IOU值不存在；

S2：采集车道数据图像，将所述车道数据图像输入至训练完成的车道线识别模型中，识别车道线位置；

S3：基于所述车道线位置与预定基准线进行比较，确定当前轮胎吊的行驶偏移参数。

作为一种可选的实施例，当前轮胎吊在行进方向上设置有图像采集单元，所述图像采集单元用于采集所述车道数据图像。

作为一种可选的实施例，所述方法包括：

根据所述图像采集单元的拍摄方向对所述车道数据图像进行裁剪，得到裁剪图像，将所述裁剪后的图像输入至训练完成的车道线识别模型中；所述裁剪图像包含车道线。

作为一种可选的实施例，所述偏移参数包括偏转角度和偏移距离；

所述方法还包括：

S4：基于所述偏转角度和偏移距离对当前轮胎吊的行进方向进行调整，直至基于重新采集的车道数据图像识别出的车道位置符合预定基准线。

作为一种可选的实施例，所述车道线为并排平行设置的双直线，包括第一车道直线和第二车道直线；所述预定基准线为参考中心线；

基于所述车道线位置与预定基准线进行比较，确定当前轮胎吊的行驶偏移参数包括：

基于识别出的第一车道直线和第二车道直线拟合出相应的中间线，将所述中间线与参考中心线进行比较，计算所述中间线相较于所述参考中心线的偏移参数，将该偏移参数确定为当前轮胎吊的行驶偏移参数。

作为一种可选的实施例，基于识别出的第一车道直线和第二车道直线拟合出相应的中间线包括：

根据以下公式计算中间线点坐标：

其中，(x_c,y_c)为中间线点坐标，(x1,y1)为第一车道直线上的点坐标，(x2,y2)为第二车道直线的坐标点，n表示所述车道数据图像的其中一边角置于坐标系原点后，沿坐标系Y轴方向被切分为n份；

采用最小二乘法将所有所述中间线坐标拟合为一条直线，得到所述中间线。

作为一种可选的实施例，

其中，X_p表示预测线上点的与横轴的距离，xp表示标准线上与X_P点对应点与横轴的距离，sc＝max(s L_i,sl_j)表示预测线的点坐标索引开始和索引结束，ec＝min(inf,elj)＝elj表示标注线的点坐标的索引开始和结束索引。

作为一种可选的实施例，所述方法包括：

通过成自注意力模块在所述车道数据图像中的车道线的清晰度无法达到预设清晰度要求时，根据所述车道数据图像中车道线周围特征点预测车道线位置，并对预测的车道线添加标识信息。

第二方面，本发明还提供了一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现如本发明第一方面的方法步骤。

第三方面，本发明还提供了一种电子设备，包括处理器和存储介质，存储介质为如第二方面的存储介质；

处理器用于执行存储介质中存储的计算机程序以实现如第一方面的方法步骤。

区别于现有技术，本发明提供了一种轮胎吊的车道线识别的方法、存储介质和电子设备，所述方法包括以下步骤：对车道线识别模型进行训练，得到训练完成的车道线识别模型；采集车道数据图像，将车道数据图像输入至训练完成的车道线识别模型中，识别车道线位置；基于车道线位置与预定基准线进行比较，确定当前轮胎吊的行驶偏移参数。在训练所述模型时，在所述模型的回归输出中增加一个对样本数据的IOU值输出预测，若样本数据输出预测的IOU值不存在时，则在下一次对所述车道线识别模型进行训练时剔除该样本数据。通过设置IOU值对于训练样本数据进行筛选，能够有效提升模型的识别精度，进而提成实际应用场景中车道线识别的精准性，便于对轮胎吊的行驶参数进行调整。

附图说明

图1为本发明第一示例性实施例涉及的轮胎吊的车道线识别的方法的流程图；

图2为本发明第二示例性实施例涉及的轮胎吊的车道线识别的方法的流程图；

图3为本发明一示例性实施例涉及的车道数据图像的示意图；

图4为本发明一示例性实施例涉及的裁剪图像的示意图；

图5为本发明一示例性实施例涉及的车道数据图像经过切分的示意图；

图6为本发明一示例性实施例涉及的拟合中间线预测的示意图；

图7为本发明一实施方式涉及的电子设备的示意图；

附图标记：

20、第一车道直线；

30、第二车道直线；

40、中间线；

50、参考中心线；

201、偏转角度；

202、偏移距离；

10、电子设备；

101、处理器；

102、存储介质。

具体实施方式

为详细说明本申请可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本申请中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。

除非另有定义，本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本申请。

在本申请的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。

在本申请中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。

在没有更多限制的情况下，在本申请中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的表述，意在涵盖非排他性的包含，这些表述并不排除在包括要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。

与《审查指南》中的理解相同，在本申请中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本申请实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。

如图1所示，在第一方面，本发明提供了一种轮胎吊的车道线识别的方法，包括以下步骤：

所述IOU值的计算公式如下：

在本实施方式中，D(L_i，l_j)越大，说明基于样本数据计算的预测线和标注线的距离越远，这部分样本数据参与后续模型的梯度训练将会影响模型的识别精度，本申请通过设定预设阈值D_th与每个样本数据在训练后得到的IOU数值进行比较，淘汰预测线和标注线的距离较远的样本数据，从而可以有效提升模型的训练精度。

在本实施方式中，车道数据图像是指轮胎吊在行驶过程中拍摄的位于轮胎吊前方或后方的道路数据图像，通常，轮胎吊行进的道路上设置有车道线，轮胎吊只有沿着车道线进行行驶才是符合作业规范的。当前轮胎吊的行驶偏移参数是指当前轮胎吊行驶过程中，车轮偏移车道线的程度。

在某些实施例中，当前轮胎吊在行进方向上设置有图像采集单元，所述图像采集单元用于采集所述车道数据图像。图像采集单元为具有图像数据采集功能的设备，可以是一个摄像头或具有拍摄功能的设备。优选的，图像采集单元安装于轮胎吊前部的固定位置，这样可以保证图像采集单元每次采集的都是沿轮胎吊行进方向前方的道路数据图像(即车道数据图像)，便于后续对道路数据图像进一步分析，以判断当前轮胎吊行驶偏移参数。

在某些实施例中，所述方法包括：根据所述图像采集单元的拍摄方向对所述车道数据图像进行裁剪，得到裁剪图像，将所述裁剪后的图像输入至训练完成的车道线识别模型中；所述裁剪图像包含车道线。

如图3所示，为本发明一示例性实施例涉及的车道数据图像的示意图。从图3中不难看出，图像采集单元拍摄的车道数据图像除了包含轮胎吊行驶的车道线信息之外，还包含了大量不相关的背景信息(如道路一侧的围墙、地板上的井盖等)，如果将该车道数据图像直接输入至识别模型中，将会增加识别模型的计算量，影响计算效率和精度。因而本申请根据所述图像采集单元的拍摄方向对所述车道数据图像进行裁剪，得到裁剪图像，将所述裁剪后的图像输入至训练完成的车道线识别模型中，能够有效减少识别模型的计算量，提升识别精度。优选的，可以通过灰度识别的方式先判断原始车道数据图像中车道线大致所在的位置，而后沿车道线所在位置向外拓宽M单位尺寸(M值可以提前设定)，进而对原始车道数据图像进行裁剪，得到裁剪图像，

裁剪图像如图4所示。

在某些实施例中，所述偏移参数包括偏转角度和偏移距离。如图2所示，所述方法在步骤S3之后还包括以下步骤：S4：基于所述偏转角度和偏移距离对当前轮胎吊的行进方向进行调整，直至基于重新采集的车道数据图像识别出的车道位置符合预定基准线。具体的，当检测到轮胎吊的行驶方向出现偏差后，在计算出偏转角度和偏移距离后，可以将偏转角度和偏移距离发送给轮胎吊的控制系统，轮胎吊控制系统通过驱动单元调整轮胎吊的行进方向，实现轮胎吊行驶的自动纠偏。为了使得纠偏得到预定目的，在调整轮胎吊的行进方向过程中，位于轮胎吊前方的摄像头还可以实时采集车道数据图像，将实时采集的车道数据图像再次输入识别模型中进行判断，直至基于重新采集的车道数据图像识别出的车道位置符合预定基准线，即保证调整后轮胎吊能够继续沿车道线行驶。

在某些实施例中，如图6所示，所述车道线为并排平行设置的双直线，包括第一车道直线20和第二车道直线30；所述预定基准线为参考中心线50；基于所述车道线位置与预定基准线进行比较，确定当前轮胎吊的行驶偏移参数包括：

基于识别出的第一车道直线20和第二车道直线30拟合出相应的中间线40，将所述中间线40与参考中心线50进行比较，计算所述中间线40相较于所述参考中心线50的偏移参数，将该偏移参数确定为当前轮胎吊的行驶偏移参数。所述偏移参数包括偏移距离202和偏转角度201，例如图6中的角度A表示拟合出的中间线40与参考中心线50的夹角，偏移距离202表示拟合出的中间线40与参考中心线50的相对距离，即拟合出的中间线40沿偏转角度方向移动一定距离后使得中间线40与参考中心线50重合。由于中间线40与参考中心线50上不同坐标点的偏移距离是不同的，因而可以从中间线40与参考中心线50上选取某一纵坐标(坐标系的纵轴沿参考中心线分布)相同的点位来计算偏移距离的大小，从而简化计算。

在某些实施例中，如图5所示，基于识别出的第一车道直线和第二车道直线拟合出相应的中间线包括：

根据以下公式计算中间线点坐标：

其中，(x_c,y_c)为中间线点坐标，(x1,y1)为第一车道直线上的点坐标，(x2,y2)为第二车道直线的坐标点，n表示所述车道数据图像的其中一边角置于坐标系原点后，沿坐标系Y轴方向被切分(优选为等分)为n份；

简言之，在沿Y轴方向将图像切分为n份后，则图像上的车道线与切分线的交点就可以作为车道线的特征点，则每一车道线可以用若干特征点的纵坐标(即与横轴的距离)进行表示，通过对于这些特征点的识别计算，就可以得到图像上对应的车道线位置。由于离散的两条车道线上的特征点在计算得到中间线点坐标时，中间线点坐标可能不在一条直线上，因而可以通过最小二乘法拟合得到为一条直线，得到所述中间线，便于后续偏转角度和偏移距离的计算。

在本实施方式中，

标准线是指模型的标准值，即预测线越趋近于标准线，说明本次模型训练的效果越好，对于标准线与预测线的距离比较，在将各个样本图像经过图5所示的方式进行切分后，两者之间的距离就可以转换为标准线上的特征点与预测线上的特征点相对于横轴的距离。例如图像被切分为72分，则从0索引至71个特征点时，就可以完成本次样本图像数据得到的预测线与标准线距离的计算。

在某些实施例中，所述方法包括：通过成自注意力模块在所述车道数据图像中的车道线的清晰度无法达到预设清晰度要求时，根据所述车道数据图像中车道线周围特征点预测车道线位置，并对预测的车道线添加标识信息。优选的，在本实施例中，所述车道线为直线。通常，车道线在图像上会以不同颜色进行标记，但因为车道线与轮胎吊的轮胎之间的长期磨损，会使得采集的图像上的车道线变得模糊不清，例如某一车道线只剩部分断断续续的线段，但这部分线段的颜色与图像上其他部分依然存在区别，因而可以通过识别提取图像上的RGB分量值，在确定车道线断续点的位置后，通过重新连接这些点位还原车道线，并为预测的车道线添加标识信息，例如以车道线相同颜色的标识突出标记，以使预测的车道线的清晰度重新达到预设清晰度的要求。

在第二方面，本发明还提供了一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现如本发明第一方面的方法步骤。

如图7所示，在第三方面，本发明还提供了一种电子设备10，包括处理器101和存储介质102，该存储介质102为如第二方面的存储介质；处理器101用于执行存储介质102中存储的计算机程序以实现如第一方面的方法步骤。

在本实施例中，电子设备为计算机设备，包括但不限于：口扫仪、个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等。存储介质包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。处理器包括但不限于CPU(中央处理器)、GPU(图像处理器)、MCU(微处理器)等。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法的全部或部分步骤。

上述各实施例是参照根据实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。