CN115393595B - 分割网络模型训练方法、车道线检测方法、装置和介质 - Google Patents

分割网络模型训练方法、车道线检测方法、装置和介质 Download PDF

Info

Publication number
CN115393595B
CN115393595B CN202211322637.3A CN202211322637A CN115393595B CN 115393595 B CN115393595 B CN 115393595B CN 202211322637 A CN202211322637 A CN 202211322637A CN 115393595 B CN115393595 B CN 115393595B
Authority
CN
China
Prior art keywords
lane line
predicted value
value
target area
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211322637.3A
Other languages
English (en)
Other versions
CN115393595A (zh
Inventor
安阳
张青峰
卢仁建
钱鑫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foss Hangzhou Intelligent Technology Co Ltd
Original Assignee
Foss Hangzhou Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foss Hangzhou Intelligent Technology Co Ltd filed Critical Foss Hangzhou Intelligent Technology Co Ltd
Priority to CN202211322637.3A priority Critical patent/CN115393595B/zh
Publication of CN115393595A publication Critical patent/CN115393595A/zh
Application granted granted Critical
Publication of CN115393595B publication Critical patent/CN115393595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本申请涉及一种分割网络模型训练方法、车道线检测方法、装置和介质,该方法包括:获取训练图像,将训练图像输入至分割网络,得到前景预测值和背景预测值,并将前景预测值和背景预测值进行归一化处理,得到第一预测值;在训练图像中确定目标区域,并根据目标区域构造第一抑制函数,其中,目标区域为延伸至图像边框的远处车道线所在位置;将第一预测值输入至第一抑制函数,输出第二预测值;将第二预测值输入至损失函数,输出损失值,并根据损失值调整分割网络模型的参数。通过本申请,解决了利用分割网络对车道线进行检测时,无法准确地检测远处车道线的问题,实现了远处车道线检测准确率的提升。

Description

分割网络模型训练方法、车道线检测方法、装置和介质
技术领域
本申请涉及计算机领域,特别是涉及一种分割网络模型训练方法、车道线检测方法、装置和介质。
背景技术
在自动辅助驾驶领域,在使用分割网络模型对车道线进行检测时,分割网络模型会对图像中的每一个像素点分别输出前景和背景的预测值,并根据前景和背景的预测值得到车道线的检测结果。由于远处车道线所占的像素点较少,清晰度不如近处高,又由于标注一致性因此受到影响,最终导致这部分车道线无法被检测。
针对相关技术中存在利用分割网络对车道线进行检测时,无法准确地检测远处车道线的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种分割网络模型训练方法、车道线检测方法、电子装置、存储介质和计算机程序产品,以解决相关技术中利用分割网络对车道线进行检测时,远处车道线检测结果置信度低的问题。
第一个方面,在本实施例中提供了一种分割网络模型训练方法,所述方法包括:
在其中的一些实施例中,获取训练图像,将所述训练图像输入至分割网络,得到对应于车道线的前景预测值,以及得到背景预测值,并将所述前景预测值和所述背景预测值进行归一化处理,得到第一预测值;
在所述训练图像中确定目标区域,并根据所述目标区域构造第一抑制函数,其中,所述目标区域为延伸至图像边框的远处车道线所在位置;
将所述第一预测值输入至第一抑制函数,输出第二预测值;
将所述第二预测值输入至损失函数,输出损失值,并根据所述损失值调整所述分割网络模型的参数。
在其中的一些实施例中,获取对应于所述车道线的第一像素点集,根据所述第一像素点集中的纵坐标确定最高点和最低点,并根据所述车道线的最高点和最低点确定所述车道线在竖直方向上的高度;
对所述第一像素点集进行拟合,得到所述车道线的拟合曲线;
根据所述车道线的最高点和高度,确定所述目标区域在竖直方向上的高度和位置,以及根据所述车道线的最高点、所述车道线的高度和所述拟合曲线,确定所述目标区域在垂直于所述拟合曲线方向上的宽度。
在其中的一些实施例中,以所述车道线的最高点的纵坐标为标准值,围绕所述标准值上下浮动第一预设值,得到所述目标区域在竖直方向上的最大纵坐标、最小纵坐标和高度,其中,所述第一预设值与所述车道线的高度成一定比例。
在其中的一些实施例中,作一条所述拟合曲线的垂线,其中,所述垂线与所述拟合曲线的交点的纵坐标为所述目标区域在竖直方向上的最小纵坐标;
在所述第一像素点集中选取与所述垂线的垂直距离小于第二预设值的像素点,得到第二像素点集;
在所述第二像素点集中选取与所述垂线的垂直距离最远,且分别位于所述拟合曲线两侧的两个像素点;
根据所述两个像素点之间的直线距离得到所述目标区域在垂直于所述拟合曲线方向上的宽度。
在其中的一些实施例中,构建系数矩阵,其中,所述系数矩阵中对应所述目标区域的像素的系数值为第一值,其余系数值为第二值;
构造第二抑制函数,其中,所述第二抑制函数可以抑制处于第一范围内的所述第一预测值,且在所述第一预测值为0或者1时,所述第一预测值与所述第二预测值一致;
根据所述系数矩阵和所述第二抑制函数,得到所述第一抑制函数。
在其中的一些实施例中,所述第二抑制函数经过点(0,0)和点(1,1),且在区间[0,1]内为凹函数。
在其中的一些实施例中,所述第一抑制函数能够抑制所述目标区域内的所述第一预测值,且所述第一抑制函数不改变所述目标区域外的所述第一预测值。
在其中的一些实施例中,根据所述损失值的最小值确定所述分割网络模型的最优参数。
第二个方面,在本实施例中提供了一种车道线检测方法,所述方法包括:
将待检测图像输入至上述第一个方面所述的分割网络模型训练方法得到的分割网络,输出车道线检测结果。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的分割网络模型训练方法,或者第二个方面所述的车道线检测方法。
第四个方面,在本实施例中提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一个方面所述的分割网络模型训练方法,或者第二个方面所述的车道线检测方法。
第五个方面,在本实施例中提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一个方面所述的分割网络模型训练方法,或者第二个方面所述的车道线检测方法。
与相关技术相比,在本实施例中提供的分割网络模型训练方法、车道线检测方法、电子装置、存储介质和计算机程序产品,应用于车道线检测,获取训练图像,将所述训练图像输入至分割网络,得到对应于车道线的前景预测值,以及得到背景预测值,并将所述前景预测值和所述背景预测值进行归一化处理,得到第一预测值;在所述训练图像中确定目标区域,并根据所述目标区域构造第一抑制函数,其中,所述目标区域为延伸至图像边框的远处车道线所在位置;将所述第一预测值输入至第一抑制函数,输出第二预测值;将所述第二预测值输入至损失函数,输出损失值,并根据所述损失值调整所述分割网络模型的参数。解决了利用分割网络对车道线进行检测时,无法准确地检测远处车道线的问题,实现了远处车道线检测准确率的提升。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是一实施例中分割网络模型训练方法的终端的硬件结构框图;
图2是一实施例中分割网络模型训练方法的流程图;
图3是一实施例中确定车道线目标区域的示意图;
图4是一实施例中训练分割网络模型的流程示意图;
图5是一实施例中车道线检测方法的流程图;
图6是一实施例中训练和应用分割网络模型的流程图;
图7是一实施例中确定目标区域的流程图;
图8是一实施例中分割网络模型检测结果置信度红白热力图;
图9是一实施例中分割网络模型输出的车道线预测点对比图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本申请一实施例的分割网络模型训练方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的分割网络模型训练方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
经研究发现,对分割网络模型输出的预测值进行归一化处理,可以得到模型对于输入图片中每个像素点的预测置信度值。观察可视化后的置信度分布,可发现远处车道线对应区域置信度较低,但仍高于背景区域的置信度值。如果调整检测结果的提取条件,则可以使远处那些因为置信度较低而无法输出的车道线能够输出,从而有效提升车道线的检测距离,为上层的功能应用开发带来更多的支持。
相关技术中,在使用分割网络模型对车道线进行检测时,分割网络模型会对图像中的每一个像素点分别输出前景和背景的预测值。在未对预测值进行归一化处理的情况下,可将其中预测值中较大值的索引作为车道线的检测结果:当某像素点前景的预测值p1大于某像素点背景的预测值p0,即p1>p0时,判定该像素点的检测结果为前景,即车道线,反之则判定该像素点的检测结果为背景。但上述方法无法对预测结果的提取过程进行调节,例如在p1略小于p0的情况下,仍会将预测结果判定为背景。对于未进行归一化处理的预测值而言,其数值分布在实数域内,相关技术无法在不进行归一化的前提下为预测结果提取条件设置一个固定的阈值,来调整预测结果的分布。
在本实施例中提供了一种分割网络模型训练方法,应用于车道线检测。图2是本实施例的分割网络模型训练方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取训练图像,将训练图像输入至分割网络,得到对应于车道线的前景预测值,以及得到背景预测值,并将前景预测值和背景预测值进行归一化处理,得到第一预测值。
将训练图像输入至分割网络后,由分割网络主干网络实现特征提取,分割网络头部输出前景预测值和背景预测值。可选地,对前景预测值和背景预测值进行归一化处理时选用归一化指数函数softmax,得到分布在[0,1]区间内的第一预测值。
步骤S202,在训练图像中确定目标区域,并根据目标区域构造第一抑制函数,其中,目标区域为延伸至图像边框的远处车道线所在位置。
目标区域包括训练图像检测结果中置信度较低的远处车道线区域。
根据目标区域构造第一抑制函数包括:获取目标区域内像素点集,根据目标区域内的像素点集生成系数矩阵;构造一个输入值在0或者1时输出值不变,且在(0,1)区间内输出值的小于输入值的第一抑制函数;结合系数矩阵和第一抑制函数。其中,第一抑制函数对使目标区域内的第一预测值起到抑制效果,而不改变目标区域外的第一预测值。
步骤S203,将第一预测值输入至第一抑制函数,输出第二预测值。
在目标区域内的第二预测值小于第一预测值,从而通过抑制目标区域内的第一预测值,达到提高目标区域检测结果置信度的效果;目标区域外的第二预测值等同于第一预测值,保证目标区域外的置信度不改变。
步骤S204,将第二预测值输入至损失函数,输出损失值,并根据损失值调整分割网络模型的参数。
获取训练图像中车道线的标签值,通过损失函数计算第二预测值和标签值的损失,得到损失值。在损失值最低时,获得分割网络模型的最优参数。
示例性地,设置归一化处理后得到第一预测值p,p分布在[0,1]区间,设置第二抑 制预测值为p',设置训练图像中车道线的标签值
Figure 142567DEST_PATH_IMAGE001
。计算第二预测值 与标签值的交叉熵损失,得到此时未优化的分割网络模型的损失值loss,
Figure 828764DEST_PATH_IMAGE002
。通过梯度优化的方法调整分割网络模型的参数,在 损失值最小时,完成分割网络模型的优化。通过完成训练的分割网络模型,可以计算得到高 置信度的车道线检测结果。
通过上述步骤S201至S204,训练图像输入未训练的原分割网络模型,通过第一抑制函数,对检测结果置信度较低的远处车道线区域中的第一预测值进行抑制,得到的受局部抑制的第二预测值,根据第二预测值,计算原分割网络模型的损失值并调整分割网络模型的参数,完成模型训练。在局部抑制模型输出结果的前提下进行分割网络模型的训练,通过参数优化,调整了训练后的分割网络模型的检测结果的提取条件,从而改变了分割网络预测值输出的分布情况。提高远处车道线检测结果的置信度,提升车道线的检测距离,为上层的功能应用开发带来更多的支持,解决无法准确地检测远处车道线的问题,实现了远处车道线检测准确率的提升。
在其中的一些实施例中,获取对应于车道线的第一像素点集,根据第一像素点集中的纵坐标确定最高点和最低点,并根据车道线的最高点和最低点确定车道线在竖直方向上的高度;对第一像素点集进行拟合,得到车道线的拟合曲线;根据车道线的最高点和高度,确定目标区域在竖直方向上的高度和位置,以及根据车道线的最高点、车道线的高度和拟合曲线,确定目标区域在垂直于拟合曲线方向上的宽度。
车道线的第一像素点集为训练图像中车道线所占像素点的集合。远处车道线检测结果的置信度较低,因此选取第一像素点集中远处车道线附近的区域作为目标区域,调整与远处车道线对应的第一预测值。
图3是本实施例的确定车道线目标区域的示意图,如图3所示:
示例性地,在第一像素点集中根据纵坐标找到最高点Pt(Xt,Yt)和最低点Pb(Xb, Yb),将车道线的高度记作H,其中,
Figure 832492DEST_PATH_IMAGE003
。为了得到第一像素点集外的车道线向远处延 伸区域,需要对第一像素点集进行拟合,对第一像素点集做3阶方程拟合:
Figure 945941DEST_PATH_IMAGE004
,使车道线向远处延伸。利用opencv画出做3阶方程拟合后的函数曲 线。通过计算得到目标区域在垂直于拟合曲线方向上的宽度W,目标区域在竖直方向上的高 度H1以及对应位置,通过选取与上述宽度W、高度H1和位置对应的像素点集,得到目标区域。
进一步地,在其中的一些实施例中,以车道线的最高点的纵坐标为标准值,围绕标准值上下浮动第一预设值,得到目标区域在竖直方向上的最大纵坐标、最小纵坐标和高度,其中,第一预设值与车道线的高度成一定比例。
示例性地,设置第一预设值为0.05H,因为第一像素点集中最高点Pt点坐标为(Xt, Yt),此时标准值为Yt,从而计算得到目标区域在竖直方向上的最大纵坐标
Figure 402330DEST_PATH_IMAGE005
、最小 纵坐标
Figure 892218DEST_PATH_IMAGE006
,目标区域在竖直方向上的高度H1为0.1H。
进一步地,作一条拟合曲线的垂线,其中,垂线与拟合曲线的交点的纵坐标为目标区域在竖直方向上的最小纵坐标;在第一像素点集中选取与垂线的垂直距离小于第二预设值的像素点,得到第二像素点集;在第二像素点集中选取与垂线的垂直距离最远,且分别位于拟合曲线两侧的两个像素点;根据两个像素点之间的直线距离得到目标区域在垂直于拟合曲线方向上的宽度。
示例性地,第一像素点集中最高点Pt下方0.05H的位置,即最小纵坐标
Figure 484873DEST_PATH_IMAGE007
的位置作水平线,得到水平线和拟合曲线的交点,记为T点。过T点作拟合曲线的垂线,垂线 与拟合曲线的交点的纵坐标为目标区域在竖直方向上的最小纵坐标。设置第二预设值为1, 在第一像素点集中选取与垂线的垂直距离小于1的像素点,得到第二像素点集。在第二像素 点集中找到与垂线的垂直距离最远,且分别位于拟合曲线两侧的两个像素点,两个像素点 分别记为W1(X1,Y1),W2(X2,Y2),将W1和W2之间的直线距离作为目标区域在垂直于拟合曲 线方向上的宽度W。
在其中的一些实施例中,构建系数矩阵,其中,系数矩阵中对应目标区域的像素的系数值为第一值,其余系数值为第二值;构造第二抑制函数,其中,第二抑制函数可以抑制处于第一范围内的第一预测值,且在第一预测值为0或者1时,第一预测值与第二预测值一致;根据系数矩阵和第二抑制函数,得到第一抑制函数。
进一步地,第二抑制函数经过点(0,0)和点(1,1),且在区间[0,1]内为凹函数。第一抑制函数能够抑制目标区域内的第一预测值,且第一抑制函数不改变目标区域外的第一预测值。
第二抑制函数经过点(0,0)和点(1,1),使第一预测值为0或者1时第一预测值与第二预测值一致,保证训练分割网络模型过程中,分割网络模型的损失始终具备正确的表达。第二抑制函数在区间[0,1]内为凹函数,使第一范围(0,1)内的第一预测值可以得到抑制。
示例性地,构造第二抑制函数f(X),其中,X代表模型输出的预测值矩阵
Figure 536268DEST_PATH_IMAGE008
,其中,
Figure 479953DEST_PATH_IMAGE009
代表实数集,h为矩阵行数,w为矩阵列数。目标区域内,第二抑制函数可以选用
Figure 507952DEST_PATH_IMAGE010
函数,其中,n=2时第二抑制函数具备最优效果,即
Figure 220693DEST_PATH_IMAGE011
。为了只让与 目标区域对应的第一预测值受到抑制,需要结合系数矩阵
Figure 207104DEST_PATH_IMAGE012
和第二抑制函 数,通过令系数矩阵M在目标区域内的值为1,其余区域值为0,或者通过为设置目标区域附 近区域的像素点集过渡值的方法,使第一抑制函数
Figure 638085DEST_PATH_IMAGE013
,其中,第一 抑制函数f(x)的构造可以有多种方案:
可选地,令系数矩阵M中像素点在目标区域内的值为1,目标区域外的值为0,设置
Figure 469775DEST_PATH_IMAGE014
,此时,目标区域内
Figure 771443DEST_PATH_IMAGE015
的取值为
Figure 663176DEST_PATH_IMAGE016
,目标区域外
Figure 581453DEST_PATH_IMAGE017
的 取值为
Figure 951255DEST_PATH_IMAGE018
,保证了未选定区域的置信度不变。
可选地,令系数矩阵M中像素点集在目标区域内的值为1,目标区域外的值为0,设 置
Figure 874474DEST_PATH_IMAGE019
,此时,目标区域内
Figure 937107DEST_PATH_IMAGE020
的取值为
Figure 811523DEST_PATH_IMAGE016
,目标 区域外
Figure 516173DEST_PATH_IMAGE021
的取值为
Figure 792434DEST_PATH_IMAGE018
,保证了未选定区域的置信度不变。
在其中的一些实施例中,根据损失值的最小值确定分割网络模型的最优参数。
通过梯度优化的方法,调整模型参数,当损失值达到最小值时,获得分割网络模型的最优参数,完成网络模型的训练。
在一个实施例中,图4给出了训练分割网络模型的流程示意图,如图4所示,该流程包括如下步骤:
步骤S401,输入训练图像至分割网络模型;
步骤S402,分割网络模型处理训练图像,输出前景预测值和背景预测值;其中,分割网络模型包括相互连接的主干网络backbone和头部网络head,主干网络用于提取训练图像中的特征值,头部网络用于处理提取的特征值,输出前景预测值和背景预测值;
步骤S403,将前景预测值和背景预测值输入softmax函数进行归一化处理,得到第一预测值;
步骤S404,将第一预测值输入至第一抑制函数进行置信度抑制,得到第二预测值;
步骤S405,将第二预测值输入至损失函数loss function,通过梯度优化的方法对分割网络模型进行参数调整。
其中,A代表训练图像的高度,B代表训练图像的宽度,2和3分别代表图像分通道的数量。
在本实施例中还提供了一种车道线检测方法。图5是本实施例的车道线检测方法的流程图,如图5所示,该流程包括如下步骤:
步骤S501,将待检测图像输入至上述实施例中任一例分割网络模型训练方法得到的分割网络模型。
分割网络主干网络实现特征提取,分割网络头部输出得到前景预测值和背景预测值。
步骤S502,输出车道线检测结果。
通过argmax函数,将前景预测值和背景预测值中较大值的索引作为车道线的检测结果。
通过上述步骤S501至S502,在不对预测值进行归一化处理的前提下,通过训练好的分割网络模型检测,获得车道线检测结果,避免了检测过程中的指数运算,降低了车道线检测过程中的计算成本,同时增加了远处车道线检测清晰度,提高了远处车道线区域检测结果的置信度。
在一个实施例中,图6给出了训练和应用分割网络模型的流程图。
S601,预处理训练图像并将训练图像输入至分割网络。
训练图像预处理包括RGB归一化、均值处理、方差处理等,将训练图像输入至分割网络,由分割网络主干网络实现特征提取,分割网络头部输出得到前景预测值和背景预测值。
S602,对前景预测值和背景预测值进行归一化处理,得到第一预测值。
通过该归一化指数函数softmax处理分割网络的输出结果,使网络前景层和背景层分别对应的前景预测值和背景预测值归一化,得到分布在[0,1]区间内的第一预测值p。
S603,对第一预测值应用第一抑制函数,得到第二预测值。
为了仅让目标区域的第一预测值受到抑制,需要根据目标区域构造第一抑制函数。
因为只需针对远处车道线的第一预测值进行调整,所以选取车道线第一像素点集的顶部附近区域作为调整区域,其中,车道线第一像素点集为车道线在图像中所占像素点的集合。
图7给出了确定目标区域的流程图,确定目标区域的步骤如图7所示:
S1,为了确定车道线标签之外的车道线顶部区域,需要对车道线第一像素点集做3 阶方程拟合方程:
Figure 25969DEST_PATH_IMAGE022
。拟合方程可以一定程度将车道线向远处延伸。
S2,计算训练图像中车道线的高度H。找到第一像素点集中的最高点Pt(Xt,Yt)和最低点Pb(Xb,Yb),将车道线的高度记作H,H=Yt-Yb。
S3,获得目标区域在垂直于所述拟合曲线方向上的宽度W。在Pt点下方0.05H处,作一条水平线,将水平线与拟合曲线的交点记作T点,过T点做拟合曲线的垂线,找到第一像素点集中距离该垂线距离小于1的像素点,得到第二像素点集。在第二像素点集中,在拟合曲线两侧各找到一个距离拟合曲线垂直距离最远的点,得到两个点W1(X1,Y1),W2(X2,Y2),将上述两个点之间的直线距离作为目标区域在垂直于所述拟合曲线方向上的宽度W。
S4,获得目标区域在竖直方向上的高度范围H1。将
Figure 387680DEST_PATH_IMAGE023
区域作 为目标区域在竖直方向上的高度范围H1。
S5,利用opencv画出拟合函数曲线,选取上述宽度和高度范围内的像素点集S作为目标区域。
在训练分割网络模型时,通过抑制分割网络模型输出置信度,可以实现检测结果 置信度的增强,所以需要构造一个第二抑制函数f(X),其中,X代表模型输出的预测值矩阵
Figure 364864DEST_PATH_IMAGE024
Figure 761210DEST_PATH_IMAGE009
代表实数集,h为矩阵行数,w为矩阵列数。第二抑制函数需要在输入值X为 0、1时,均能保持输入值和输出值不变,使分割网络在训练过程中的损失仍可以得到正确的 表达。同时第二抑制函数还需要应经过(0,0)点和(1,1)点且在[0,1]区间内为凹函数,从而 在(0,1)区间内达到抑制输出值的效果。
Figure 431226DEST_PATH_IMAGE025
函数可以满足上述要求,经过测试当n=2时可达到最优效果,本优 选实施例选用
Figure 545812DEST_PATH_IMAGE026
作为抑制置信度的第二抑制函数。
为了仅让目标区域的第一预测值受到第一抑制函数的抑制作用,构建系数矩阵,并将系数矩阵和第二抑制函数进行结合。
设置系数矩阵
Figure 61107DEST_PATH_IMAGE027
,令系数矩阵M中,目标区域内像素点集S的值为1,其余 区域的值为0,或者在系数矩阵M中,像素点集S附近设置过渡值的方法,得到在非目标区域f (X) = X,目标区域内
Figure 813425DEST_PATH_IMAGE028
的第一抑制函数,即
Figure 388763DEST_PATH_IMAGE029
具体的,f(x)的构造包含有多种方案:
方案一,令系数矩阵M中像素点集在目标区域内的值为1,目标区域外的值为0,设 置
Figure 990645DEST_PATH_IMAGE030
,此时,目标区域内
Figure 309631DEST_PATH_IMAGE031
的取值为
Figure 680570DEST_PATH_IMAGE032
,目标区域外
Figure 426809DEST_PATH_IMAGE033
的取 值为
Figure 984829DEST_PATH_IMAGE034
,保证了未选定区域的置信度不变。
方案二,令系数矩阵M中像素点集在目标区域内的值为1,目标区域外的值为0,设 置
Figure 107506DEST_PATH_IMAGE035
,此时,目标区域内
Figure 67372DEST_PATH_IMAGE036
的取值为
Figure 250091DEST_PATH_IMAGE037
,目标区域外
Figure 560987DEST_PATH_IMAGE038
的取值为
Figure 487355DEST_PATH_IMAGE039
,保证了未选定区域的置信度不变。
上述两种方案均可实现抑制目标区域的第一预测值的效果,但方案一的构造方法 中应用了浮点数的幂级数计算,不利于计算和求导。因此本优选实施例方案二,即设置第一 抑制函数
Figure 68771DEST_PATH_IMAGE040
S604,计算模型损失,并优化模型参数;
获取训练图像中车道线的标签值
Figure 422392DEST_PATH_IMAGE041
,将第二预测值p’与标签 值y作交叉熵损失计算,得到分割网络模型在各像素点的损失值
Figure 955004DEST_PATH_IMAGE042
。通过梯度优化的方法,调整模型参数,当 损失值达到最小值时,获得分割网络模型的最优参数,完成网络模型的训练,实现对原网络 置信度输出值的调整。
S605,将待检测图像预处理后输入至分割网络。
训练图像预处理包括RGB归一化、均值处理、方差处理等,将训练图像输入至分割网络,由分割网络主干网络实现特征提取,分割网络头部输出得到前景预测值和背景预测值。
S606,根据前景预测值和背景预测值计算索引值,将得到的索引值作为预测结果。
将分割网络头部输出的前景预测值和背景预测值进行argmax计算,将得到的索引值作为预测结果。
图8是本实施例的分割网络模型检测结果置信度红白热力图,如图8所示,左图为训练分割网络模型之前,原分割网络模型输出检测结果的置信度热力图,图片中车道线远处置信度较低,右图为按照上述实施例中任一例分割网络模型训练方法训练后,分割网络模型模型输出检测结果额置信度热力图,远处车道线置信度得到了提升。
图9是本实施例的分割网络模型输出的车道线检测点对比图,如图9所示,左图为训练分割网络模型之前,模型输出的车道线检测点,右图为分割网络模型训练后,模型输出的车道线检测点。通过训练,增加了车道线预测点的输出,提高了远处车线检测结果的清晰程度。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S201,获取训练图像,将训练图像输入至分割网络,得到对应于车道线的前景预测值,以及得到背景预测值,并将前景预测值和背景预测值进行归一化处理,得到第一预测值。
S202,在训练图像中确定目标区域,并根据目标区域构造第一抑制函数,其中,目标区域为延伸至图像边框的远处车道线所在位置。
S203,将第一预测值输入至第一抑制函数,输出第二预测值。
S204,将第二预测值输入至损失函数,输出损失值,并根据损失值调整分割网络模型的参数。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的分割网络模型训练方法或者车道线检测方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种分割网络模型训练方法或者车道线检测方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (8)

1.一种分割网络模型训练方法,应用于车道线检测,其特征在于,包括:
获取训练图像,将所述训练图像输入至分割网络,得到对应于车道线的前景预测值,以及得到背景预测值,并将所述前景预测值和所述背景预测值进行归一化处理,得到第一预测值;
在所述训练图像中确定目标区域,并根据所述目标区域构造第一抑制函数,其中,所述目标区域为延伸至图像边框的远处车道线所在位置;
将所述第一预测值输入至第一抑制函数,输出第二预测值;
将所述第二预测值输入至损失函数,输出损失值,并根据所述损失值调整所述分割网络模型的参数;
其中,在所述训练图像中确定目标区域包括:获取对应于所述车道线的第一像素点集,根据所述第一像素点集中的纵坐标确定最高点和最低点,并根据所述车道线的最高点和最低点确定所述车道线在竖直方向上的高度;对所述第一像素点集进行拟合,得到所述车道线的拟合曲线;根据所述车道线的最高点和高度,确定所述目标区域在竖直方向上的高度和位置,以及根据所述车道线的最高点、所述车道线的高度和所述拟合曲线,确定所述目标区域在垂直于所述拟合曲线方向上的宽度;
其中,在所述训练图像中确定目标区域,并根据所述目标区域构造第一抑制函数包括:构建系数矩阵,其中,所述系数矩阵中对应所述目标区域的像素的系数值为第一值,其余系数值为第二值;构造第二抑制函数,其中,所述第二抑制函数可以抑制处于第一范围内的所述第一预测值,且在所述第一预测值为0或者1时,所述第一预测值与所述第二预测值一致;根据所述系数矩阵和所述第二抑制函数,得到所述第一抑制函数;其中,所述第二抑制函数经过点(0,0)和点(1,1),且在区间[0,1]内为凹函数。
2.根据权利要求1所述的分割网络模型训练方法,其特征在于,确定所述目标区域在竖直方向上的高度和位置包括:
以所述车道线的最高点的纵坐标为标准值,围绕所述标准值上下浮动第一预设值,得到所述目标区域在竖直方向上的最大纵坐标、最小纵坐标和高度,其中,所述第一预设值与所述车道线的高度成一定比例。
3.根据权利要求2所述的分割网络模型训练方法,其特征在于,确定所述目标区域在垂直于所述拟合曲线方向上的宽度包括:
作一条所述拟合曲线的垂线,其中,所述垂线与所述拟合曲线的交点的纵坐标为所述目标区域在竖直方向上的最小纵坐标;
在所述第一像素点集中选取与所述垂线的垂直距离小于第二预设值的像素点,得到第二像素点集;
在所述第二像素点集中选取与所述垂线的垂直距离最远,且分别位于所述拟合曲线两侧的两个像素点;
根据所述两个像素点之间的直线距离得到所述目标区域在垂直于所述拟合曲线方向上的宽度。
4.根据权利要求1所述的分割网络模型训练方法,其特征在于,所述第一抑制函数能够抑制所述目标区域内的所述第一预测值,且所述第一抑制函数不改变所述目标区域外的所述第一预测值。
5.根据权利要求1所述的分割网络模型训练方法,其特征在于,根据所述损失值调整所述分割网络模型的参数包括:
根据所述损失值的最小值确定所述分割网络模型的最优参数。
6.一种车道线检测方法,其特征在于,包括:
将待检测图像输入至权利要求1至权利要求5中任一项分割网络模型训练方法得到的分割网络,输出车道线检测结果。
7.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求5中任一项所述的分割网络模型训练方法或者权利要求6所述的车道线检测方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求5中任一项所述的分割网络模型训练方法的步骤或者权利要求6所述的车道线检测方法的步骤。
CN202211322637.3A 2022-10-27 2022-10-27 分割网络模型训练方法、车道线检测方法、装置和介质 Active CN115393595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211322637.3A CN115393595B (zh) 2022-10-27 2022-10-27 分割网络模型训练方法、车道线检测方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211322637.3A CN115393595B (zh) 2022-10-27 2022-10-27 分割网络模型训练方法、车道线检测方法、装置和介质

Publications (2)

Publication Number Publication Date
CN115393595A CN115393595A (zh) 2022-11-25
CN115393595B true CN115393595B (zh) 2023-02-03

Family

ID=84128796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211322637.3A Active CN115393595B (zh) 2022-10-27 2022-10-27 分割网络模型训练方法、车道线检测方法、装置和介质

Country Status (1)

Country Link
CN (1) CN115393595B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
KR101896357B1 (ko) * 2018-02-08 2018-09-07 주식회사 라디코 객체를 검출하는 방법, 디바이스 및 프로그램
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
EP3690728A1 (en) * 2019-01-31 2020-08-05 StradVision, Inc. Method and device for detecting parking area using semantic segmentation in automatic parking system
CN111860255A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质
CN113627228A (zh) * 2021-05-28 2021-11-09 华南理工大学 一种基于关键点回归与多尺度特征融合的车道线检测方法
CN114445684A (zh) * 2022-02-25 2022-05-06 福思(杭州)智能科技有限公司 车道线分割模型的训练方法、装置、设备及存储介质
CN114694109A (zh) * 2022-05-31 2022-07-01 苏州魔视智能科技有限公司 车道线检测方法、装置、电子设备及计算机可读存储介质
CN114926803A (zh) * 2022-07-19 2022-08-19 苏州魔视智能科技有限公司 车道线检测模型建立方法、车道线检测方法、装置和设备
CN115035488A (zh) * 2021-02-23 2022-09-09 北京图森智途科技有限公司 一种车道线角点检测方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009524B (zh) * 2017-12-25 2021-07-09 西北工业大学 一种基于全卷积网络的车道线检测方法
CN112818792A (zh) * 2021-01-25 2021-05-18 北京百度网讯科技有限公司 车道线检测方法、装置、电子设备及计算机存储介质
CN115116026B (zh) * 2022-05-26 2024-04-09 江苏大学 一种物流搬运机器人自动循迹方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
KR101896357B1 (ko) * 2018-02-08 2018-09-07 주식회사 라디코 객체를 검출하는 방법, 디바이스 및 프로그램
EP3690728A1 (en) * 2019-01-31 2020-08-05 StradVision, Inc. Method and device for detecting parking area using semantic segmentation in automatic parking system
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111860255A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质
CN115035488A (zh) * 2021-02-23 2022-09-09 北京图森智途科技有限公司 一种车道线角点检测方法、装置、电子设备及存储介质
CN113627228A (zh) * 2021-05-28 2021-11-09 华南理工大学 一种基于关键点回归与多尺度特征融合的车道线检测方法
CN114445684A (zh) * 2022-02-25 2022-05-06 福思(杭州)智能科技有限公司 车道线分割模型的训练方法、装置、设备及存储介质
CN114694109A (zh) * 2022-05-31 2022-07-01 苏州魔视智能科技有限公司 车道线检测方法、装置、电子设备及计算机可读存储介质
CN114926803A (zh) * 2022-07-19 2022-08-19 苏州魔视智能科技有限公司 车道线检测模型建立方法、车道线检测方法、装置和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Novel Structure Prior-based Loss Function for Lane Detection;Binhui Liu 等;《Proceedings of the 39th Chinese Control Conference》;20201231;5649-5653 *
Design and Optimization of CNN for Lane Detection;Aravind H 等;《11th ICCCNT 2020》;20201231;1-6 *
引入辅助损失的多场景车道线检测;陈立潮 等;《中国图象图形学报》;20201231;第25卷(第09期);1882-1893 *
面向无人驾驶的道路场景建模关键技术研究;周剑;《中国博士学位论文全文数据库 工程科技Ⅱ辑(月刊)》;20200615;第2020年卷(第06期);C035-24 *

Also Published As

Publication number Publication date
CN115393595A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN110163640B (zh) 一种在视频中植入广告的方法及计算机设备
WO2020019765A1 (zh) 双目图像的深度估计方法及装置、设备、程序及介质
CN107169489B (zh) 倾斜图像校正的方法和装置
CN111310746B (zh) 文本行检测方法、模型训练方法、装置、服务器及介质
US9824267B2 (en) Writing board detection and correction
EP2919193A2 (en) Method and apparatus for image segmentation
CN115205925A (zh) 表情系数确定方法、装置、电子设备及存储介质
CN113658339A (zh) 一种基于等高线的三维实体生成方法及装置
CN108229270B (zh) 用于从遥感图像中识别道路的方法、装置和电子设备
CN109523015B (zh) 一种神经网络中图像处理方法
CN115393595B (zh) 分割网络模型训练方法、车道线检测方法、装置和介质
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
CN112907433B (zh) 数字水印嵌入方法、提取方法、装置、设备及介质
CN112949649B (zh) 一种文本图像的识别方法、装置及计算设备
CN113179421B (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN113850238B (zh) 文档检测方法、装置、电子设备及存储介质
JP2016045837A (ja) 情報処理装置、画像判定方法、及びプログラム
CN114882492A (zh) 一种车牌识别方法、装置、终端及计算机可读存储介质
CN113781512A (zh) 图像边界识别方法、装置、设备、系统和存储介质
US10810468B2 (en) System for training descriptor with active sample selection
CN112995525A (zh) 自行走设备的摄像曝光方法和装置
CN113887430B (zh) 一种轮询视频文字定位方法及系统
CN115620321B (zh) 表格识别方法及装置、电子设备和存储介质
WO2014028440A2 (en) Fast image processing for recognition objectives system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant