CN111382686A - 一种基于半监督生成对抗网络的车道线检测方法 - Google Patents

一种基于半监督生成对抗网络的车道线检测方法 Download PDF

Info

Publication number
CN111382686A
CN111382686A CN202010144105.XA CN202010144105A CN111382686A CN 111382686 A CN111382686 A CN 111382686A CN 202010144105 A CN202010144105 A CN 202010144105A CN 111382686 A CN111382686 A CN 111382686A
Authority
CN
China
Prior art keywords
network
generator
training
lane line
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010144105.XA
Other languages
English (en)
Other versions
CN111382686B (zh
Inventor
赵倩歌
白治江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202010144105.XA priority Critical patent/CN111382686B/zh
Publication of CN111382686A publication Critical patent/CN111382686A/zh
Application granted granted Critical
Publication of CN111382686B publication Critical patent/CN111382686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于半监督生成对抗网络的车道线检测方法，包括步骤：S1、构建生成对抗网络，建立所述生成对抗网络的训练集、验证集、测试集；S2、通过所述训练集中的带标签数据对所述生成对抗网络进行预训练；S3、使用所述训练集中的带标签数据和未带标签数据对所述生成对抗网络进行真实训练，并通过所述验证集在真实训练过程中调整生成对抗网络的超参数；S4、真实训练结束后，通过所述测试集对生成对抗网络的泛化能力进行评估，若达到预设的标准，进入S5；S5、将实际街道图像输入经过真实训练的生成器网络，得到实际街道图像的实际车道线；将所述实际车道线叠加到实际街道图像上，完成车道线检测。本发明能提高车道线识别的精度。

Description

一种基于半监督生成对抗网络的车道线检测方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于半监督生成对抗网络的车道线检测方法。
背景技术
传统的车道线检测方法依靠高度专业化、手工制作的特征和启发式的组合来识别车道段。包括基于颜色的特征、结构张量、条形过滤器、山脊特征等，这些特征可能组合在一起用Hough变换和粒子或卡尔曼过滤器。识别车道段后采用后处理技术过滤掉错误检测，并将片段组合在一起形成最终结果车道。一般来说，这些传统的方法由于道路场景的变化，容易出现鲁棒性问题，这种基于模型的系统很难对其进行建模。因此传统的车道线检测方法难以应用于自主驾驶系统或驾驶辅助系统实时检测效果要求比较高的环境。
目前有很多基于卷积神经网络的语义分割算法，但对于车道线的识别，它们存在分割结果不精确，不连续等问题。
生成对抗网络(Generative Adversarial NetworksGAN)，是Ian J.Goodfellow等于2014年提出的一种生成式模型，由一个生成器和一个判别器构成，生成器用于估测数据的潜在分布，并生成新的数据；判别器用于判别输入的是真实数据还是生成的假数据。GAN的优化过程是一个极大极小博弈的过程，通过训练最终达到纳什均衡，使生成器估测到数据的潜在分布，而判别器无法区分真实图像和生成图像。GAN自提出来一直受到业界的持续关注，并在近几年得到越来越广泛的应用，包括图像超分辨率、人脸合成、图像风格迁移、数据增强等。
发明内容
本发明的目的是提供一种基于半监督生成对抗网络的车道线检测方法，所述生成对抗网络包含生成器网络和判别器网络。生成器网络主要作用对输入的包含车道线的图像生成对应的语义分割图，判别器网络与生成网络进行对抗性训练。本发明通过训练集中带标签的数据对所述生成对抗网络进行预训练后，依序对训练集中的带标签数据进行有监督的训练、对训练集中未带标签的图像进行无监督的训练，并将判别器网络输出的置信图作为生成器网络的监督信号，实现生成器网络从输入图像中分割出精确的车道线图像。
为了达到上述目的，本发明提供一种基于半监督生成对抗网络的车道线检测方法，包括步骤：
S1、构建生成对抗网络，其包含生成器网络和基于全卷积的判别器网络；选取Tusimple车道线数据集中的若干数据，建立所述生成对抗网络的训练集、验证集、测试集；
S2、通过所述训练集中的带标签数据对所述生成对抗网络进行预训练；
S3、使用所述训练集中的带标签数据和未带标签数据对所述生成对抗网络进行真实训练，并通过所述验证集在真实训练过程中调整生成对抗网络的超参数；
S4、真实训练结束后，通过所述测试集对生成对抗网络的泛化能力进行评估，若达到预设的标准，进入S5；
S5、将实际街道图像输入经过真实训练的生成器网络，得到实际街道图像的实际车道线；将所述实际车道线叠加到实际街道图像上，完成车道线检测。
所述步骤S2具体包含：
S21、用训练集中带标签的数据对所述生成器网络进行M次训练，判别器网络保持不变；
S22、用训练集中带标签的数据对所述判别器网络进行N次训练，生成器网络保持不变。
所述步骤S3具体包含：
S31、通过程序处理训练集中带标签的数据，生成对应的标签图；对所述标签图中的像素进行编码，转换标签图为对应的标签概率图；
S32、将训练集中带标签的数据输入生成器网络，对生成器网络进行m此训练，通过生成器网络输出对应的预测图；通过条件随机场模型对所述预测图中的每个像素求取该像素为车道线像素的概率，生成与所述预测图对应的预测概率图；
S33、将所述预测概率图或标签概率图输入判别器网络，对判别器网络进行n次训练，判别器网络生成对应的置信图，并通过随机梯度下降优化方法，利用误差反向传播更新自身参数；
S34、判别器向生成器网络进行梯度反馈，生成器网络将所述置信图作为监督信号，判断所述预测图中的可信区域，并通过Adam优化算法，利用误差反向传播来更新自身参数；重复步骤S31至S34，当判别器网络的损失函数不再减小时，停止训练判别器网络，进入S35；
S35、将训练集中不带标签的数据输入生成器网络进行半监督训练，生成器输出对应的预测图；通过条件随机场模型生成与预测图对应的预测概率图；判别器网络保持不变，将预测概率图输入判别器网络，由判别器网络生成对应的置信图；生成器网络通过所述置信图判断预测图中的可信区域，并通过通过Adam优化算法，利用误差反向传播算法更新自身参数；
S36、将步骤S35重复k次后，将验证集输入生成器网络，通过生成器网络生成对应的预测图，若该预测图的生成质量未达到预定的标准，调整所述生成对抗网络的超参数；重复步骤S35、S36直至生成器网络的损失函数达到最小值。
步骤S31中对所述标签图中的像素进行编码，转换标签图为对应的标签概率图，具体包含：若标签图中的像素属于车道线，设置该像素的编码值为1，否则为0；根据所述编码值生成标签概率图。
步骤S4中通过所述测试集对生成对抗网络的泛化能力进行评估，具体是指，将测试集输入生成器网络，生成器网络生成对应的预测图，通过对该预测图的准确率、精确率、召回率、F-measure评价判断生成对抗网络的泛化能力是否达到预设标准。
所述生成器网络为为Tiramisu DenseNet网络。
通过训练集中带标签的数据对生成器进行训练时，生成器的损失函数为LG，LG＝Lce+Ladv；通过训练集中未带标签的数据对生成器进行训练时，生成器的损失函数为L′G，L′G＝Ladv+Lsemi；其中G表示生成器，Lce表示二分类的像素级交叉熵损失，Ladv表示对抗性损失项；Lsemi表示半监督损失项。
所述判别器网络为七层结构，分别为判别器网络第一层至第七层；其中判别器网络第一层至第三层均为3×3卷积层，判别器网络的第四层至第六层均为2×2的反卷积层，判别器网络第七层为1×1的卷积层；判别器网络第i层的输出经过leaky Relu激活函数及Batch Normalization处理后作为判别器网络第i+1层的输入，其中i∈[1,6]。
判别器网络的损失函数LD为：
Figure BDA0002400120850000041
D表示判别器网络，
Figure BDA0002400120850000042
表示预测概率图，y表示标签概率图，yn表示像素值，w和h分别为向判别器网络中输入图像的宽度和高度。
与现有技术相比，本发明的优点在于：
(1)传统车道线检测方法需要手工提取特征，存在鲁棒性问题，造成车道线的分割效果不精确；通过本发明既能利用传统对抗网络的训练策略，又能充分利用训练集中实际标签的重要信息，不仅有效提高车道线的识别准确率，且没有增加额外的计算负担；
(2)现有技术的生成对抗网络因训练不稳定，存在着模式崩溃和梯度消失的问题。本发明在真实训练之前增加了预训练的步骤，以对本发明的生成对抗网络进行初始化，有效的加快生成对抗网络的收敛速度，降低训练误差，减少训练过程中梯度消失或者梯度爆炸问题；
(3)传统的生成对抗网络中，判别器网络输出的是一个概率值，只进行真、假的判定；本发明中对判别器网络进行了改进，判别器网络为一个全卷积的网络结构，判别器网络输出的是一个置信图，通过置信图向生成器网络反馈生成器网络生成的预测图的可信区域，实现向生成器提供梯度反馈，以弥补训练集中数据标注的不足。
附图说明
为了更清楚地说明本发明技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：
图1为本发明的基于半监督生成对抗网络的车道线检测方法的流程图；
图2为本发明的生成器网络结构示意图；
图3为本发明的生成器网络结构中的Blocklayer、TD、TU模块结构示意图；
图4为本发明的生成器网络中各个网络层数及输出通道数示意图；
图5为本发明的判别网络结构示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的生成对抗网络中，给判别器输入的图像既包括无标签的图像(所以无监督)，也包括有实际标签的图像(所以有监督)，因之称本发明的生成对抗网络为半监督对抗网络。
本发明提供一种基于半监督生成对抗网络的车道线检测方法，如图1所述，包括步骤：
S1、构建生成对抗网络，其包含生成器网络和基于全卷积的判别器网络；选取Tusimple车道线数据集中的若干数据，建立所述生成对抗网络的训练集、验证集、测试集；
如图2所示，本发明中生成器网络为Tiramisu DenseNet网络结构。生成器网络依序包含7个上采样层(分别为依序连接的卷积层、Dense Block层、连接层、TD层、DenseBlock层、连接层、TD层)、一个Dense Block层、7个下采样层(分别为依序连接的TU层、连接层、Dense Block层、TU层、连接层、Dense Block层、卷积层)。多个连续的Block layer构成一个Dense Block。每个Dense Bloc所包含的Block layer数量具体如图4所示。图4中的DB(12层)表示该Dense Block连续包含12个Block layer。
其中Blocklayer、TD(Transition Down)层、TU(Transition UP)层的结构如图3所示。Blocklayer中使用RELU(Rectified Linear Unit线性整流函数)作为激活函数。
向生成器网络中输入的图像经过卷积，过渡层，特征融合，跳跃连接的计算，进行特征提取，最后使用卷积层代替全连接层进行输出。最后一层的卷积核大小为1×1，得到具有2个通道的特征图，即车道和背景的分割图。输出层使用sigmoid激活函数，激活函数如式(1)所示：
Figure BDA0002400120850000061
式(1)中，x为随机变量；
对生成器网络进行训练时，更新模型参数，计算其损失函数，并接收来自判别器的梯度反馈。当生成器网络的损失函数的值最小时，保存其网络参数值(每个神经元的权重和偏置值)，结束训练。
如图5所示，所述基于全卷积的判别器网络为七层结构，分别为判别器网络第一层至第七层；其中判别器网络第一层至第三层均为3×3卷积层，判别器网络的第四层至第六层均为2×2的反卷积层，判别器网络第七层为1×1的卷积层；与现有技术不同的是，本发明的判别器网络不包含池化层和全连接层。判别器网络第i层的输出经过leaky Relu激活函数及Batch Normalization处理后作为判别器网络第i+1层的输入，其中i∈[1,6]。
选取Tusimple车道线数据集中的部分数据作为所述生成对抗网络的训练集，其余数据作为验证集。Tusimple车道线数据集包含从若干车道视频中提取的图像。其中每秒视频帧中共提取有20张图像，图像的分辨率为1280×720。在该数据集中，仅对每个视频帧中提取的第20张图像设置标签进行标记。采用固定的高度差20个像素进行均匀标注。Tusimple车道线数据集中的车道线标记格式的示例如下所示：
Figure BDA0002400120850000062
Figure BDA0002400120850000071
可以看出，车道线标记包含“lanes”、“h_samples”、“raw_file”三部分，“lanes”中列表的个数表示对应的视频帧中车道线的数目，列表中的值为对应的视频帧中车道线对应的横坐标，-2表示该位置没有车道线标注。“h_samples”表示对应的视频帧中车道线标注的纵坐标；“raw_file”里给出了标注的车道线标签对应的视频帧存储位置。
S2、通过所述训练集中的带标签数据对所述生成对抗网络进行预训练；
所述步骤S2具体包含：
S21、用训练集中带标签的数据对所述生成器网络进行M次训练，判别器网络保持不变；在本发明的实施例中，M＝300；
S22、用训练集中带标签的数据对所述判别器网络进行N次训练，生成器网络保持不变；在本发明的实施例中，N＝200；。
S3、使用所述训练集中的带标签数据和未带标签数据对所述生成对抗网络进行真实训练，并通过所述验证集在真实训练过程中调整生成对抗网络的超参数；
所述步骤S3具体包含：
S31、通过程序处理训练集中带标签的数据，生成对应的标签图(此为现有技术)；对所述标签图中的像素进行编码，转换标签图为对应的标签概率图；若标签图中的像素属于车道线，设置该像素的编码值为1，否则为0；根据所述编码值生成标签概率图；
S32、将训练集中带标签的数据输入生成器网络，对生成器网络进行m此训练，通过生成器网络输出对应的预测图；通过条件随机场模型对所述预测图中的每个像素求取该像素为车道线像素的概率，生成与所述预测图对应的预测概率图(此为现有技术)；在本发明的实施例中，m＝2；
通过训练集中带标签的数据对生成器进行训练时，生成器的损失函数为LG，LG＝Lce+Ladv；其中G表示生成器，Lce表示二分类的像素级交叉熵损失，Ladv表示对抗性损失项。
Figure BDA0002400120850000081
式(3)中
Figure BDA0002400120850000082
表示预测概率图，y表示标签概率图，c表示目标类别，在本发明中分割结果为背景和车道线，所以c的值为2，w和h分别为图像的宽度和高度，i和j表示某个像素。
Figure BDA0002400120850000083
式(4)中
Figure BDA0002400120850000084
表示判别器网络生成的置信图。
S33、将所述预测概率图或标签概率图输入判别器网络，对判别器网络进行n次训练，判别器网络生成对应的置信图，并通过随机梯度下降(Stochastic Gradient DescentSGD)优化方法，利用误差反向传播更新自身参数(此为现有技术)；在本发明的实施例中，n＝1；
S34、判别器向生成器网络进行梯度反馈，生成器网络将所述置信图作为监督信号，判断所述预测图中的可信区域，并通过Adam(亚当)优化算法，利用误差反向传播来更新自身参数；重复步骤S31至S34，当判别器网络的损失函数不再减小时，停止训练判别器网络，进入S35；
如图5所示，置信图中较亮部分表示它们更接近地面真值分布，生成器网络利用这些较亮区域进行半监督学习。置信图作为一个潜在分布的模型反馈给生成器网络，而生成器网络的输出则尽可能遵循这种潜在的分布。通过将置信图作为监控信号，弥补图像标注的不足。
具体的判别器网络的损失函数LD为：
Figure BDA0002400120850000085
D表示判别器网络，
Figure BDA0002400120850000086
表示预测概率图，y表示标签概率图，yn表示像素值，w和h分别为向判别器网络中输入图像的宽度和高度。
S35、将训练集中不带标签的数据输入生成器网络进行半监督训练，生成器输出对应的预测图；通过条件随机场模型生成与预测图对应的预测概率图；判别器网络保持不变，将预测概率图输入判别器网络，由判别器网络生成对应的置信图；生成器网络通过所述置信图判断预测图中的可信区域，并通过反向传播算法更新自身参数，具体为生成器网络的权值和偏重；
通过训练集中未带标签的数据对生成器进行训练时，生成器的损失函数为L′G，L′G＝Ladv+Lsemi；Lsemi表示半监督损失项。
Figure BDA0002400120850000091
式(5)中I(·)是指示函数，
Figure BDA0002400120850000092
表示预测结果接近真实标签分布的区域的置信图，Tsemi是控制生成器网络自学过程灵敏度的阈值，用该阈值对置信图进行二值化。生成器网络自学策略的思想是：通过训练过的判别器网络生成一个置信图，置信图推断出预测结果足够接近地面真实分布的区域，然后设置一个阈值对该置信图进行二值化，以突出可信区域。二值化置信度图可以衡量预测分割的质量，以便生成器网络知道训练期间要信任哪些区域，从而更好地训练生成器网络。
S36、将步骤S35重复k次后，将验证集输入生成器网络，通过生成器网络生成对应的预测图，若该预测图的生成质量未达到预定的标准，调整所述生成对抗网络的超参数(包含网络层数，网络节点数，迭代次数，学习率等)；重复步骤S35、S36直至生成器网络的损失函数达到最小值。
S4、真实训练结束后，将测试集输入生成器网络，生成器网络生成对应的预测图，通过对该预测图的准确率、精确率、召回率、F-measure评价判断生成对抗网络的泛化能力是否达到预设标准，若达到预设的标准，进入S5；
S5、将实际街道图像输入经过真实训练的生成器网络，得到实际街道图像的实际车道线；将所述实际车道线叠加到实际街道图像上，完成车道线检测。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于半监督生成对抗网络的车道线检测方法，其特征在于，包括步骤：
S1、构建生成对抗网络，其包含生成器网络和基于全卷积的判别器网络；选取Tusimple车道线数据集中的若干数据，建立所述生成对抗网络的训练集、验证集、测试集；
S2、通过所述训练集中的带标签数据对所述生成对抗网络进行预训练；
S3、使用所述训练集中的带标签数据和未带标签数据对所述生成对抗网络进行真实训练，并通过所述验证集在真实训练过程中调整生成对抗网络的超参数；
S4、真实训练结束后，通过所述测试集对生成对抗网络的泛化能力进行评估，若达到预设的标准，进入S5；
S5、将实际街道图像输入经过真实训练的生成器网络，得到实际街道图像的实际车道线；将所述实际车道线叠加到实际街道图像上，完成车道线检测。
2.如权利要求1所述的基于半监督生成对抗网络的车道线检测方法，其特征在于，所述步骤S2具体包含：
S21、用训练集中带标签的数据对所述生成器网络进行M次训练，判别器网络保持不变；
S22、用训练集中带标签的数据对所述判别器网络进行N次训练，生成器网络保持不变。
3.如权利要求1所述的基于半监督生成对抗网络的车道线检测方法，其特征在于，所述步骤S3具体包含：
S31、通过程序处理训练集中带标签的数据，生成对应的标签图；对所述标签图中的像素进行编码，转换标签图为对应的标签概率图；
S32、将训练集中带标签的数据输入生成器网络，对生成器网络进行m此训练，通过生成器网络输出对应的预测图；通过条件随机场模型对所述预测图中的每个像素求取该像素为车道线像素的概率，生成与所述预测图对应的预测概率图；
S33、将所述预测概率图或标签概率图输入判别器网络，对判别器网络进行n次训练，判别器网络生成对应的置信图，并通过随机梯度下降优化方法，利用误差反向传播更新自身参数；
S34、判别器向生成器网络进行梯度反馈，生成器网络将所述置信图作为监督信号，判断所述预测图中的可信区域，并通过Adam优化算法，利用误差反向传播来更新自身参数；重复步骤S31至S34，当判别器网络的损失函数不再减小时，停止训练判别器网络，进入S35；
S35、将训练集中不带标签的数据输入生成器网络进行半监督训练，生成器输出对应的预测图；通过条件随机场模型生成与预测图对应的预测概率图；判别器网络保持不变，将预测概率图输入判别器网络，由判别器网络生成对应的置信图；生成器网络通过所述置信图判断预测图中的可信区域，并通过通过Adam优化算法，利用误差反向传播算法更新自身参数；
S36、将步骤S35重复k次后，将验证集输入生成器网络，通过生成器网络生成对应的预测图，若该预测图的生成质量未达到预定的标准，调整所述生成对抗网络的超参数；重复步骤S35、S36直至生成器网络的损失函数达到最小值。
4.如权利要求3所述的基于半监督生成对抗网络的车道线检测方法，其特征在于，步骤S31中对所述标签图中的像素进行编码，转换标签图为对应的标签概率图，具体包含：若标签图中的像素属于车道线，设置该像素的编码值为1，否则为0；根据所述编码值生成标签概率图。
5.如权利要求1所述的基于半监督生成对抗网络的车道线检测方法，其特征在于，步骤S4中通过所述测试集对生成对抗网络的泛化能力进行评估，具体是指，将测试集输入生成器网络，生成器网络生成对应的预测图，通过对该预测图的准确率、精确率、召回率、F-measure评价判断生成对抗网络的泛化能力是否达到预设标准。
6.如权利要求5所述的基于半监督生成对抗网络的车道线检测方法，其特征在于，所述生成器网络为为Tiramisu DenseNet网络。
7.如权利要6所述的基于半监督生成对抗网络的车道线检测方法，其特征在于，通过训练集中带标签的数据对生成器进行训练时，生成器的损失函数为LG，LG＝Lce+Ladv；通过训练集中未带标签的数据对生成器进行训练时，生成器的损失函数为L′G，L′G＝Ladv+Lsemi；其中G表示生成器，Lce表示二分类的像素级交叉熵损失，Ladv表示对抗性损失项；Lsemi表示半监督损失项。
8.如权利要求1所述的基于半监督生成对抗网络的车道线检测方法，其特征在于，所述判别器网络为七层结构，分别为判别器网络第一层至第七层；其中判别器网络第一层至第三层均为3×3卷积层，判别器网络的第四层至第六层均为2×2的反卷积层，判别器网络第七层为1×1的卷积层；判别器网络第i层的输出经过leaky Relu激活函数及BatchNormalization处理后作为判别器网络第i+1层的输入，其中i∈[1,6]。
9.如权利要求8所述的基于半监督生成对抗网络的车道线检测方法，其特征在于，判别器网络的损失函数LD为：
Figure FDA0002400120840000031
D表示判别器网络，
Figure FDA0002400120840000032
表示预测概率图，y表示标签概率图，yn表示像素值，w和h分别为向判别器网络中输入图像的宽度和高度。
CN202010144105.XA 2020-03-04 2020-03-04 一种基于半监督生成对抗网络的车道线检测方法 Active CN111382686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010144105.XA CN111382686B (zh) 2020-03-04 2020-03-04 一种基于半监督生成对抗网络的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010144105.XA CN111382686B (zh) 2020-03-04 2020-03-04 一种基于半监督生成对抗网络的车道线检测方法

Publications (2)

Publication Number Publication Date
CN111382686A true CN111382686A (zh) 2020-07-07
CN111382686B CN111382686B (zh) 2023-03-24

Family

ID=71215219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010144105.XA Active CN111382686B (zh) 2020-03-04 2020-03-04 一种基于半监督生成对抗网络的车道线检测方法

Country Status (1)

Country Link
CN (1) CN111382686B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215803A (zh) * 2020-09-15 2021-01-12 昆明理工大学 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法
CN112507618A (zh) * 2020-12-03 2021-03-16 中国石油大学(华东) 一种基于生成对抗网络的油藏自动历史拟合方法
CN112758107A (zh) * 2021-02-07 2021-05-07 的卢技术有限公司 一种车辆自动变道方法、控制装置、电子设备及汽车
CN112927310A (zh) * 2021-01-29 2021-06-08 上海工程技术大学 一种基于轻量级神经网络的车道图像分割方法
CN112950617A (zh) * 2021-03-24 2021-06-11 上海海事大学 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法
CN113177950A (zh) * 2021-04-22 2021-07-27 燕山大学 基于半监督对抗学习的冠脉造影血管图像分割的方法
CN113222114A (zh) * 2021-04-22 2021-08-06 北京科技大学 一种图像数据增广方法及装置
CN113223000A (zh) * 2021-04-14 2021-08-06 江苏省基础地理信息中心 一种提高小目标分割精度的综合方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180154899A1 (en) * 2016-12-02 2018-06-07 Starsky Robotics, Inc. Vehicle control system and method of use
CN109886200A (zh) * 2019-02-22 2019-06-14 南京邮电大学 一种基于生成式对抗网络的无人驾驶车道线检测方法
CN109993074A (zh) * 2019-03-14 2019-07-09 杭州飞步科技有限公司 辅助驾驶的处理方法、装置、设备及存储介质
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110569796A (zh) * 2019-09-09 2019-12-13 南京东控智能交通研究院有限公司 一种车道线动态检测和车道分界线的拟合方法
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180154899A1 (en) * 2016-12-02 2018-06-07 Starsky Robotics, Inc. Vehicle control system and method of use
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109886200A (zh) * 2019-02-22 2019-06-14 南京邮电大学 一种基于生成式对抗网络的无人驾驶车道线检测方法
CN109993074A (zh) * 2019-03-14 2019-07-09 杭州飞步科技有限公司 辅助驾驶的处理方法、装置、设备及存储介质
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110569796A (zh) * 2019-09-09 2019-12-13 南京东控智能交通研究院有限公司 一种车道线动态检测和车道分界线的拟合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐贤伦等: "基于条件深度卷积生成对抗网络的图像识别方法", 《自动化学报》 *
袁帅等: "应用残差生成对抗网络的路况视频帧预测模型", 《西安交通大学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215803A (zh) * 2020-09-15 2021-01-12 昆明理工大学 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法
CN112215803B (zh) * 2020-09-15 2022-07-12 昆明理工大学 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法
CN112507618A (zh) * 2020-12-03 2021-03-16 中国石油大学(华东) 一种基于生成对抗网络的油藏自动历史拟合方法
CN112507618B (zh) * 2020-12-03 2023-10-27 中国石油大学(华东) 一种基于生成对抗网络的油藏自动历史拟合方法
CN112927310A (zh) * 2021-01-29 2021-06-08 上海工程技术大学 一种基于轻量级神经网络的车道图像分割方法
CN112758107A (zh) * 2021-02-07 2021-05-07 的卢技术有限公司 一种车辆自动变道方法、控制装置、电子设备及汽车
CN112950617A (zh) * 2021-03-24 2021-06-11 上海海事大学 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法
CN112950617B (zh) * 2021-03-24 2024-05-10 上海海事大学 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法
CN113223000A (zh) * 2021-04-14 2021-08-06 江苏省基础地理信息中心 一种提高小目标分割精度的综合方法
CN113177950A (zh) * 2021-04-22 2021-07-27 燕山大学 基于半监督对抗学习的冠脉造影血管图像分割的方法
CN113222114A (zh) * 2021-04-22 2021-08-06 北京科技大学 一种图像数据增广方法及装置
CN113222114B (zh) * 2021-04-22 2023-08-15 北京科技大学 一种图像数据增广方法及装置

Also Published As

Publication number Publication date
CN111382686B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111382686B (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN110781838B (zh) 一种复杂场景下行人的多模态轨迹预测方法
Yang et al. ST-LBAGAN: Spatio-temporal learnable bidirectional attention generative adversarial networks for missing traffic data imputation
Zhang et al. Understanding traffic density from large-scale web camera data
EP4152204A1 (en) Lane line detection method, and related apparatus
CN107330357A (zh) 基于深度神经网络的视觉slam闭环检测方法
CN111767847B (zh) 一种集成目标检测和关联的行人多目标跟踪方法
CN110781776A (zh) 一种基于预测和残差细化网络的道路提取方法
TW201835788A (zh) 用於多維序列預測的方法和裝置
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
Tao et al. Scene context-driven vehicle detection in high-resolution aerial images
US20220301173A1 (en) Method and system for graph-based panoptic segmentation
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
CN115273244B (zh) 基于图神经网络的人体动作识别方法和系统
CN113297972B (zh) 一种基于数据融合深度学习的变电站设备缺陷智能分析方法
CN116110022B (zh) 基于响应知识蒸馏的轻量化交通标志检测方法及系统
CN113591617B (zh) 基于深度学习的水面小目标检测与分类方法
Xu et al. Consistency-regularized region-growing network for semantic segmentation of urban scenes with point-level annotations
CN111047078A (zh) 交通特征预测方法、系统及存储介质
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
CN114742280B (zh) 路况预测方法及相应的模型训练方法、装置、设备及介质
CN115936069A (zh) 一种基于时空注意力网络的交通流预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant