CN116997940A - 一种车道线检测方法及装置 - Google Patents
一种车道线检测方法及装置 Download PDFInfo
- Publication number
- CN116997940A CN116997940A CN202180095662.XA CN202180095662A CN116997940A CN 116997940 A CN116997940 A CN 116997940A CN 202180095662 A CN202180095662 A CN 202180095662A CN 116997940 A CN116997940 A CN 116997940A
- Authority
- CN
- China
- Prior art keywords
- image
- lane line
- lane
- feature
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000006870 function Effects 0.000 claims description 249
- 238000012549 training Methods 0.000 claims description 45
- 238000004891 communication Methods 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 abstract description 11
- 210000002569 neuron Anatomy 0.000 description 35
- 238000013461 design Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Abstract
一种车道线检测方法及装置(700,800)，适用于智能驾驶或者自动驾驶领域，方法包括：获取第一图像，第一图像为环境图像(300)，根据第一图像获取第一车道线集合和第二车道线集合(310)，根据第一车道线集合和第二车道线集合获取第三车道线集合(320)。其中，第一车道线集合和第二车道线集合的获取方式不同。采用车道线检测方法，在获取第一图像后，根据第一图像确定两个车道线集合，然后由两个车道线集合确定一个最终的车道线集合，可以实现在复杂场景下的车道线检测效果的提升。
Description
本申请实施例涉及智能驾驶或者自动驾驶领域，尤其涉及一种车道线检测方法及装置。
车道线检测是自动驾驶辅助系统(advanced driver assistance systems，ADAS)的重要任务，是实现自适应巡航控制(adaptive cruise control，ACC)、车道偏移预警(lane departure warning system，LDWS)等技术的关键环节。在针对智能车辆或无人车辆的研究中，车道线检测是一个复杂且具有挑战性的课题。车道线作为道路的一个主要部分，起到为无人驾驶车辆提供参考、指导安全驾驶的作用。同时，车道线检测还可以后续用于实现道路定位、确定车辆和道路之间的相对位置关系、以及辅助车辆的决策规划。
当前已有很多基于传统图像处理实现车道线检测算法，但是这些算法在场景明确，易于识别的道路上取得了不错的效果。但随着研究的深入，车道线检测任务所对应的场景越来越多样化，逐步已经脱离了对于车道线“白、黄色线条”这种理解。目前，当车道线是模糊的、被光照影响的、甚至是完全被障碍物遮挡时，如何提升车道线检测效果是一个难题。
如图1所示，1、2、9存在障碍物遮挡，3，5光线不足，4车道线模糊，6、8光线适宜不存在障碍物遮挡，7光线过强，其中，未能准确检测到的车道线用虚线表示，能够准确检测到的车道线用实线表示。对于图1中除上述6、8所示的场景，传统的图像处理方法均无法实现准确检测车道线。
发明内容
本申请实施例提供一种车道线检测方法及装置，用以提升在复杂场景下的车道线检测效果。
第一方面，本申请实施例提供一种车道线检测方法，该方法包括：获取第一图像，所述第一图像为环境图像，根据所述第一图像获取第一车道线集合和第二车道线集合，根据所述第一车道线集合和所述第二车道线集合获取第三车道线集合。其中，所述第一车道线集合和所述第二车道线集合的获取方式不同。采用上述方法，在获取第一图像后，根据第一图像确定两个车道线集合，然后由两个车道线集合确定一个最终的车道线集合，可以实现提升在复杂场景下的车道线检测效果。
在一种可能的设计中，在根据所述第一图像获取第一车道线集合和第二车道线集合，时，可以首先根据所述第一图像确定第二图像，所述第二图像用于确定所述第二车道线集合。采用上述设计，通过首先确定第二图像，然后由第二图像确定第二车道线检测集合，可以实现通过借助模板图像(即第二图像)提升车道线检测效果。
在一种可能的设计中，根据所述第一图像和所述第二图像确定第一损失值，所述第一损失值指示所述第一图像和所述第二图像的相似度。采用上述设计，可以输出第一图像和第二图像的相似度，进而可以为后续辅助车辆或用户的决策提供一定参考。
在一种可能的设计中，在根据第一图像确定第二图像时，可以根据所述第一图像采用 第一模型确定所述第二图像；所述第一模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；所述第一模型使第一损失函数满足第一预设条件，所述第一损失函数用于指示基于所述原始图像确定的预测模板图像与所述模板图像的差值。采用上述设计可以通过原始图像和模板图像训练获得用于生成预测模板图像的第一模型，且第一模型使第一损失函数满足对应的预设条件。
在一种可能的设计中，在根据所述第一图像确定第一车道线集合时，可以根据所述第一图像采用第二模型确定所述第一车道线检测集合，所述第二模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；其中，所述第二模型使第二损失函数、第三损失函数和第四损失函数中的至少两个损失函数满足对应的预设条件；其中，所述第二损失函数用于指示基于所述原始图像确定的预测车道线与所述原始图像对应的真实车道线的差值，所述第三损失函数用于指示第一特征与第二特征的差值，所述第四损失函数用于指示所述第一特征是否被鉴别为所述第二特征，所述第一特征为基于所述原始图像获取的特征，所述第二特征为基于所述模板图像获取的特征，所述第一特征与所述第二特征为相同类型的特征。
采用上述设计可以通过原始图像和模板图像训练获得用于生成预测车道线的第二模型，且第二模型使第二损失函数、第三损失函数和第四损失函数中的至少两个损失函数满足对应的预设条件。其中，第三损失函数和第四损失函数用于实现在第二模型的训练过程中约束基于原始图像获取的特征和基于模板图像获取的特征具有较好的一致性，进而可以提升第二模型的预测效果。
在一种可能的设计中，在根据所述第一图像确定第二图像和第一车道线集合时，可以根据所述第一图像采用第三模型确定所述第二图像和所述第一车道线集合，所述第三模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；其中，所述第三模型使第一损失函数满足第一预设条件，以及使第二损失函数满足第二预设条件，所述第一损失函数用于指示基于所述原始图像确定的预测模板图像与所述模板图像的差值，所述第二损失函数用于指示基于所述原始图像确定的预测车道线与所述原始图像对应的真实车道线的差值。
采用上述设计可以通过原始图像和模板图像训练获得用于生成预测车道线和预测模板图像的第三模型，且第三模型使第一损失函数和第二损失函数分别满足对应的预设条件。
在一种可能的设计中，所述第三模型使第一损失函数满足第一预设条件，使第二损失函数满足第二预设条件，以及所述第三模型使第三损失函数满足第三预设条件和/或使第四损失函数满足第四预设条件，其中，所述第三损失函数用于指示第一特征与第二特征的差值，所述第四损失函数用于指示所述第一特征是否被鉴别为所述第二特征，所述第一特征为基于所述原始图像获取的特征，所述第二特征为基于所述模板图像获取的特征，所述第一特征与所述第二特征为相同类型的特征。第三损失函数和第四损失函数用于实现在第二模型的训练过程中约束基于原始图像获取的特征和基于模板图像获取的特征具有较好的一致性，进而可以提升第二模型的预测效果。
在一种可能的设计中，所述第一损失值是根据所述第一图像和所述第二图像采用所述 第三损失函数获得的；或者，所述第一损失值是根据所述第一图像和所述第二图像采用所述第四损失函数获得的；或者，所述第一损失值是根据第二损失值和第三损失值确定的，所述第二损失值是根据所述第一图像和所述第二图像采用所述第三损失函数获得的，所述第三损失值是根据所述第一图像和所述第二图像采用所述第四损失函数获得的。
第一损失值可以表征第一图像和第二图像的相似度。
在一种可能的设计中，所述第三车道线集合包括所述第一车道线集合和所述第二车道线集合中至少一条相同的车道线。采用上述设计，在根据第一车道线集合和第二车道线集合确定第三车道线集合时，可以确定第一车道线集合中的第一车道线与第二车道线集合中的第二车道线指示环境中的同一条车道线，进而将第一车道线，或第二车道线，或第三车道线作为第三车道线集合中的车道线。其中，第三车道线是根据第一车道线和第二车道线确定的。
在一种可能的设计中，还包括：确定所述第三车道线集合包括的车道线数目小于预设车道线数目时，将所述第一车道线集合和/或所述第二车道线集合中除所述第三车道线集合已包括的车道线之外的车道线作为所述第三车道线集合中的车道线。此外，在确定第一车道线集合与第二车道线集合中匹配的车道线的过程中，若第三车道线集合包括的车道线数目等于预设车道线数目，则可以停止继续匹配第一车道线集合中的车道线和第二车道线集合中的车道线。因此，可以根据实际需要确定第三车道线集合包括的车道线数目。
在一种可能的设计中，还包括：确定所述第三车道线集合包括的车道线数目小于预设车道线数目时，将所述第一车道线集合和/或所述第二车道线集合中除所述第三车道线集合已包括的车道线之外的车道线作为所述第三车道线集合中的车道线，使得所述第三车道线集合包括的车道线数目等于所述预设车道线数目。因此，可以根据实际需要使第三车道线集合包括的车道线数目等于预设车道线数目。
第二方面，本申请实施例提供一种车道线检测装置，该装置包括：获取模块，用于获取第一图像，所述第一图像为环境图像；处理模块，用于根据所述第一图像获取第一车道线集合和第二车道线集合，其中，所述第一车道线集合和所述第二车道线集合的获取方式不同；根据所述第一车道线集合和所述第二车道线集合获取第三车道线集合。
在一种可能的设计中，所述处理模块用于：在根据所述第一图像获取第一车道线集合和第二车道线集合时，根据所述第一图像确定第二图像，所述第二图像用于确定所述第二车道线集合。
在一种可能的设计中，所述处理模块用于：根据所述第一图像和所述第二图像确定第一损失值，所述第一损失值指示所述第一图像和所述第二图像的相似度。
在一种可能的设计中，所述处理模块用于：在根据第一图像确定第二图像时，根据所述第一图像采用第一模型确定所述第二图像；所述第一模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；所述第一模型使第一损失函数满足第一预设条件，所述第一损失函数用于指示基于所述原始图像确定的预测模板图像与所述模板图像的差值。
在一种可能的设计中，所述处理模块用于：在根据所述第一图像确定第一车道线集合时，根据所述第一图像采用第二模型确定所述第一车道线检测集合，所述第二模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；其中，所述第二模型使第二损 失函数、第三损失函数和第四损失函数中的至少两个损失函数满足对应的预设条件；其中，所述第二损失函数用于指示基于所述原始图像确定的预测车道线与所述原始图像对应的真实车道线的差值，所述第三损失函数用于指示第一特征与第二特征的差值，所述第四损失函数用于指示所述第一特征是否被鉴别为所述第二特征，所述第一特征为基于所述原始图像获取的特征，所述第二特征为基于所述模板图像获取的特征，所述第一特征与所述第二特征为相同类型的特征。
在一种可能的设计中，所述处理模块用于：在根据所述第一图像确定第二图像和第一车道线集合时，根据所述第一图像采用第三模型确定所述第二图像和所述第一车道线集合，所述第三模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；其中，所述第三模型使第一损失函数满足第一预设条件，以及使第二损失函数满足第二预设条件，所述第一损失函数用于指示基于所述原始图像确定的预测模板图像与所述模板图像的差值，所述第二损失函数用于指示基于所述原始图像确定的预测车道线与所述原始图像对应的真实车道线的差值。
在一种可能的设计中，所述第三模型使第一损失函数满足第一预设条件，使第二损失函数满足第二预设条件，以及所述第三模型使第三损失函数满足第三预设条件和/或使第四损失函数满足第四预设条件，其中，所述第三损失函数用于指示第一特征与第二特征的差值，所述第四损失函数用于指示所述第一特征是否被鉴别为所述第二特征，所述第一特征为基于所述原始图像获取的特征，所述第二特征为基于所述模板图像获取的特征，所述第一特征与所述第二特征为相同类型的特征。
在一种可能的设计中，所述第一损失值是根据所述第一图像和所述第二图像采用所述第三损失函数获得的；或者，所述第一损失值是根据所述第一图像和所述第二图像采用所述第四损失函数获得的；或者，所述第一损失值是根据第二损失值和第三损失值确定的，所述第二损失值是根据所述第一图像和所述第二图像采用所述第三损失函数获得的，所述第三损失值是根据所述第一图像和所述第二图像采用所述第四损失函数获得的。
在一种可能的设计中，所述第三车道线集合包括所述第一车道线集合和所述第二车道线集合中至少一条相同的车道线。
在一种可能的设计中，所述处理模块用于：确定所述第三车道线集合包括的车道线数目小于预设车道线数目时，将所述第一车道线集合和/或所述第二车道线集合中除所述第三车道线集合已包括的车道线之外的车道线作为所述第三车道线集合中的车道线。
在一种可能的设计中，所述处理模块用于：确定所述第三车道线集合包括的车道线数目小于预设车道线数目时，将所述第一车道线集合和/或所述第二车道线集合中除所述第三车道线集合已包括的车道线之外的车道线作为所述第三车道线集合中的车道线，使得所述第三车道线集合包括的车道线数目等于所述预设车道线数目。
第三方面，本申请还提供一种装置。该装置可以执行上述方法设计。该装置可以是能够执行上述方法对应的功能的芯片或电路，或者是包括该芯片或电路的设备。
在一种可能的实现方式中，该装置包括：存储器，用于存储计算机可执行程序代码；以及处理器，处理器与存储器耦合。其中存储器所存储的程序代码包括指令，当处理器执行所述指令时，使该装置或者安装有该装置的设备执行上述第一方面或第一方面的任意一种可能的设计中的方法。
其中，该装置还可以包括通信接口，该通信接口可以是收发器，或者，如果该装置为芯片或电路，则通信接口可以是该芯片的输入/输出接口，例如输入/输出管脚等。
在一种可能的设计中，该装置包括相应的功能单元，分别用于实现以上方法中的步骤。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的单元。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在装置上运行时，执行如第一方面或第一方面的任意一种可能的设计中的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，当所述计算机程序在装置上运行时，执行如第一方面或第一方面的任意一种可能的设计中的方法。
图1为本申请实施例提供的车道线检测场景的示意图；
图2为本申请实施例提供的车辆系统的示意图；
图3为本申请实施例提供的车道线检测方法的概述流程图；
图4为本申请实施例提供的第一图像和第二图像的示意图；
图5为本申请实施例提供的第一特征和第二特征的处理示意图；
图6为本申请实施例提供的第一车道线集合和第二车道线集合的示意图；
图7为本申请实施例提供的装置结构示意图之一；
图8为本申请实施例提供的装置结构示意图之二。
下面将结合附图对本申请实施例作进一步地详细描述。
本申请实施例可以应用于车辆系统，示例性地，如图2中的车辆100。
车辆100的一种示例性功能框图。在一个实施例中，车辆100可以配置为完全或部分地自动驾驶模式。例如，车辆100可以在处于自动驾驶模式中同时控制自身，并且可以通过人为操作来确定车辆及其周边环境的当前状态，确定周边环境中的至少一个其他车辆的可能行为，并确定该其他车辆执行可能行为的可能性相对应的置信水平，并基于所确定的信息来控制车辆100。在车辆100处于自动驾驶模式中时，可以将车辆100置为在没有和人交互的情况下操作。
如图2所示，耦合到车辆100或包括在车辆100中的组件可以包括推进系统110、传感器系统120、控制系统130、外围设备140、电源150、计算机系统160以及用户接口170。车辆100的组件可以被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如，电源150可以向车辆100的所有组件提供电力。计算机系统160可以被配置为从推进系统110、传感器系统120、控制系统130和外围设备140接收数据并对它们进行控制。计算机系统160还可以被配置为在用户接口170上生成图像的显示并从用户接口170接收输入。
需要说明的是，在其它示例中，车辆100可以包括更多、更少或不同的系统，并且每 个系统可以包括更多、更少或不同的组件。此外，示出的系统和组件可以按任意种的方式进行组合或划分，本申请对此不做具体限定。
推进系统110可以为车辆100提供动力运动。如图2所示，推进系统110可以包括引擎/发动机114、能量源113、传动装置(transmission)112和车轮/轮胎111。另外，推进系统110可以额外地或可替换地包括除了图2所示出的组件以外的其他组件。本申请对此不做具体限定。
传感器系统120可以包括用于感测关于车辆100所位于的环境的信息的若干个传感器。如图2所示，传感器系统120的传感器包括全球定位系统(Global PositioningSystem，GPS)126、惯性测量单元(Inertial Measurement Unit，IMU)125、激光雷达传感器、相机传感器123、毫米波雷达传感器以及用于修改传感器的位置和/或朝向的制动器121。毫米波雷达传感器可利用无线电信号来感测车辆100的周边环境内的目标。在一些实施例中，除了感测目标以外，毫米波雷达124还可用于感测目标的速度和/或前进方向。激光雷达122可利用激光来感测车辆100所位于的环境中的目标。在一些实施例中，激光雷达122可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机传感器123可用于捕捉车辆100的周边环境的多个图像。相机传感器123可以是静态相机或视频相机。
GPS 126可以为用于估计车辆100的地理位置的任何传感器。为此，GPS 126可以包括收发器，基于卫星定位数据估计车辆100相对于地球的位置。在示例中，计算机系统160可以用于结合地图数据使用GPS 126来估计车辆100行驶的道路。IMU 125可以用于基于惯性加速度及其任意组合来感测车辆100的位置和朝向变化。在一些示例中，IMU125中传感器的组合可包括例如加速度计和陀螺仪。另外，IMU 125中传感器的其它组合也是可能的。
传感器系统120还可包括被监视车辆100的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆100的安全操作的关键功能。传感器系统120还可以包括其它传感器。本申请对此不做具体限定。
控制系统130为控制车辆100及其组件的操作。控制系统130可包括各种元件，其中包括转向单元136、油门135、制动单元134、传感器融合算法133、计算机视觉系统132、路线控制系统131以及障碍物避免系统137。转向单元136可操作来调整车辆100的前进方向。例如在一个实施例中可以为方向盘系统。油门135用于控制引擎114的操作速度并进而控制车辆100的速度。控制系统130可以额外地或可替换地包括除了图2所示出的组件以外的其他组件。本申请对此不做具体限定。
制动单元134用于控制车辆100减速。制动单元134可使用摩擦力来减慢车轮111。在其他实施例中，制动单元134可将车轮111的动能转换为电流。制动单元134也可采取其他形式来减慢车轮111转速从而控制车辆100的速度。计算机视觉系统132可以操作来处理和分析由相机传感器123捕捉的图像以便识别车辆100周边环境中的目标和/或特征。所述目标和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统132可使用目标识别算法、运动中恢复结构(structure from motion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统132可以用于为环境绘制地图、跟踪目标、估计目标的速度等等。路线控制系统131用于确定车辆100的行驶路线。在一些实施例中，路线控制系统131可结合来自传感器系统120、GPS 126和一个或多个预定地图的数据以 为车辆100确定行驶路线。障碍物避免系统137用于识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物。当然，在一个实例中，控制系统130可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
外围设备140可以被配置为允许车辆100与外部传感器、其它车辆和/或用户交互。为此，外围设备140可以包括例如无线通信系统144、触摸屏143、麦克风142和/或扬声器141。外围设备140可以额外地或可替换地包括除了图2所示出的组件以外的其他组件。本申请对此不做具体限定。
在一些实施例中，外围设备140提供车辆100的用户与用户接口170交互的手段。例如，触摸屏143可向车辆100的用户提供信息。用户接口170还可操作触摸屏143来接收用户的输入。在其他情况中，外围设备140可提供用于车辆100与位于车内的其它设备通信的手段。例如，麦克风142可从车辆100的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器141可向车辆100的用户输出音频。
无线通信系统144可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统144可使用3G蜂窝通信，例如码分多址(code division multiple access，CDMA)、EVD0、全球移动通信系统(global system for mobile communications，GSM)/通用分组无线服务技术(general packet radio service，GPRS)，或者4G蜂窝通信，例如长期演进(long term evolution，LTE)，或者5G蜂窝通信。无线通信系统144可利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统144可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统144可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源150可以被配置为向车辆100的一些或全部组件提供电力。为此，电源150可以包括例如可再充电锂离子或铅酸电池。在一些示例中，一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些示例中，电源150和能量源113可以一起实现，如一些全电动车中那样。车辆100的组件可以被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此，车辆100的组件和系统可以通过系统总线、网络和/或其它连接机制通信地链接在一起。
车辆100的部分或所有功能受计算机系统160控制。计算机系统160可包括收发器162和至少一个处理器161。收发器162可以为独立的接收器、独立的发射器、集成收发功能的收发器、或者是接口电路。处理器161执行存储在例如存储器163这样的非暂态计算机可读介质中的指令1631。计算机系统160还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。
处理器161可以是任何常规的处理器，诸如商业可获得的中央处理器(central processing unit，CPU)。替选地，该处理器可以是诸如专用集成电路(application specific integrated circuits,ASIC)或其它基于硬件的处理器的专用设备。尽管图2功能性地图示了处理器、存储器、和在相同块中的计算机系统160的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机系统160的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处 理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中，处理器可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在一些实施例中，存储器163可包含指令1631(例如，程序逻辑)，指令1631可被处理器161执行来执行车辆100的各种功能，包括以上描述的那些功能。存储器214也可包含额外的指令，包括向推进系统110、传感器系统120、控制系统130和外围设备140中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令1631以外，存储器163还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100和计算机系统160使用。
用户接口170，用于向车辆100的用户提供信息或从其接收信息。可选地，用户接口170可包括在外围设备140的集合内的一个或多个输入/输出设备，例如无线通信系统144、触摸屏143、麦克风142和扬声器141。
计算机系统160可基于从各种子系统(例如，推进系统110、传感器系统120和控制系统130)以及从用户接口170接收的输入来控制车辆100的功能。例如，计算机系统160可利用来自控制系统130的输入以便控制转向单元136来避免由传感器系统120和障碍物避免系统137检测到的障碍物。在一些实施例中，计算机系统160可操作来对车辆100及其子系统的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与车辆100分开安装或关联。例如，存储器163可以部分或完全地与车辆100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图2不应理解为对本申请实施例的限制。
上述车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等，本申请实施例不做特别的限定。
目前，在车道线检测的执行过程中，车道线检测结果可以基于当前的车道线图像数据(即针对当前场景采集的图像数据)和车道线模板数据确定，其中，车道线模板数据是前帧的车道线检测结果。因此，车道线检测结果依赖于前帧的车道线检测结果。基于前帧的车道线检测结果可以针对当前的车道线图像数据得到的车道线检测结果进行纠正。例如，当车道线图像数据指示某个车道线被障碍物遮挡，而前帧的车道线检测结果指示该车道线未被障碍物遮挡时，可以根据前帧的车道线检测结果对该车道线检测结果进行修正。但是，如果存在较长时间的压线遮挡或受光照影响或车道线模糊的情况，则很可能会导致车道线模板数据无法发挥修正作用，从而无法获得较好的车道线检测结果。同时，随着基于深度学习的处理方法越来越成为主流，如何在车道线被遮挡、天气情况差等复杂情况下构建合适的模型也成为了一个热点。
基于此，本申请实施例提供一种车道线检测方法，用以提升在复杂场景下的车道线检 测效果。示例性地，以下方法的执行主体可以为车辆100中的处理器161，或者车辆100中的一个芯片。如图3所示，仅以执行主体为处理器为例进行说明。
步骤300：处理器获取第一图像，第一图像为环境图像。
示例性地，处理器可以通过通信接口或通信接口相关电路组件获取来自摄像头的第一图像。
示例性地，第一图像可以为车辆所在驾驶环境的图像，或者第一图像还可以是车辆静止状态下周围环境的图像。
例如，第一图像可以由上述车辆100中的相机传感器123拍摄，处理器161通过通信接口或通信接口相关电路组件获取来自于相机传感器123的第一图像。例如，第一图像可以为图1所示的1-9。
步骤310：处理器根据第一图像确定第一车道线集合和第二车道线集合，其中，其中，第一车道线集合和第二车道线集合的获取方式不同。
在一些实施例中，处理器根据第一图像确定第一车道线集合，根据第一图像确定第二图像，根据第二图像确定第一车道线集合。其中，第一车道线集合包括至少一条车道线，第一车道线集合是基于第一图像确定的车道线检测结果。第二车道线集合包括至少一条车道线，第二车道线集合是基于第二图像确定的车道线检测结果。
其中，第二图像又可称为第一图像的模板图像。第二图像与第一图像相似度较高，例如大于预设相似度阈值。第一图像和第二图像的相似度可以通过通用图像相似度算法或人工方式等确定，此处不再赘述。第二图像的车道线检测难度低于第一图像的车道线检测难度。例如，若第一图像中的车道线被遮挡，第二图像中的车道线未被遮挡，则第二图像的车道线检测难度低于第一图像的车道线检测难度。如图4所示，图4左侧为第一图像。图4右侧为第二图像。又例如，若第一图像所示场景的光线较弱，第二图像所示场景的光线较好，则第二图像的车道线检测难度低于第一图像的车道线检测难度。
示例性地，每个图像的车道线检测难度可以通过该图像对应的车道线的置信度或人工方式等确定。其中，车道线的置信度可以用于表征车道线检测难度。其中，车道线的置信度越大，则车道线的检测难度越低，车道线的检测效果越好。例如，车道线的置信度可以由预测正确的车道线数目的概率与预测正确的车道线所对应的概率的平均值之和构成。其中，一些通用车道线检测算法均可以输出预测出的车道线的数目，以及预测出的车道线中的每个车道线为正确车道线的概率。例如，可以通过人工方法确定采用通用车道线检测算法输出的预测出的车道线中哪些车道线为正确的车道线，进一步从通用车道线检测算法输出的预测出的车道线中的每个车道线为正确车道线的概率中筛选出哪些概率是预测正确的车道线所对应的概率。具体的，预测正确的车道线数目为n，预测出的车道线数目为m，预测车道线数目正确的概率用n/m表示，n，m为大于等于1的正整数，上述预测正确的n个车道线中的每个车道线为正确车道线的概率分别为P1，P2，…，Pn，预测正确的车道线所对应的概率的平均值为(P1+P2+…+Pn)/n＝P’，则车道线的置信度为S1*n/m+S2*P’，其中，S1和S2为预设系数。
针对步骤310，处理器根据第一图像确定第一车道线集合和第二车道线集合可以采用但不限于以下方案：
方案1：处理器根据第一图像采用第一模型确定第二图像，根据第一图像采用第二模型确定第一车道线集合，根据第二图像采用第二模型确定第二车道线集合。
示例性地，第一模型用于基于图像预测相应的模板图像，第二模型用于基于图像预测该图像中包括的车道线。
其中，第一模型是根据原始图像和模板图像训练获得的，其中，模板图像与原始图像关联，模板图像的车道线检测难度低于原始图像的车道线检测难度。其中，第一模型使第一损失函数满足第一预设条件，第一损失函数用于指示基于原始图像确定的预测模板图像与模板图像的差值。
第二模型是根据原始图像和模板图像训练获得的，其中，模板图像与原始图像关联，模板图像与原始图像的相似度较高，模板图像的车道线检测难度低于原始图像的车道线检测难度。其中，第二模型使第二损失函数、第三损失函数和第四损失函数中的至少两个损失函数满足对应的预设条件。示例性地，第二模型使第二损失函数满足第二预设条件，以及使第三损失函数满足第三预设条件。或者第二模型使第二损失函数满足第二预设条件，以及使第四损失函数满足第四预设条件。或者第二模型使第二损失函数满足第二预设条件、使第三损失函数满足第三预设条件以及使第四损失函数满足第四预设条件。
又或者，第二模型使第二损失函数与第三损失函数的加权和满足第五预设条件。或者第二模型使第二损失函数与第四损失函数的加权和满足第六预设条件。或者第二模型使第二损失函数、第三损失函数和第四损失函数的加权和满足第七预设条件。或者第二模型使第二损失函数满足第二预设条件，使第三损失函数和第四损失函数的加权和满足第八预设条件。
其中，第二损失函数用于指示基于原始图像确定的预测车道线与原始图像对应的真实车道线的差值，第三损失函数用于指示第一特征与第二特征的差值，第四损失函数用于指示第一特征是否被鉴别为第二特征，第一特征为基于原始图像获取的特征，第二特征为基于模板图像获取的特征，第一特征与第二特征为相同类型的特征。示例性地，第一特征可以是指从原始图像中直接提取的特征，或者基于原始图像生成的特征。第二特征可以是指从模板图像直接提取的特征，或者基于模板图像生成的特征。
方案2：处理器根据第一图像采用第三模型确定第二图像和第一车道线集合，根据第二图像采用第三模型确定第二车道线集合。
示例性地，第三模型用于基于图像预测相应的模板图像和该图像中包括的车道线。其中，第三模型是根据原始图像和模板图像训练获得的，其中，模板图像与原始图像关联，模板图像与原始图像的相似度较高，模板图像的车道线检测难度低于原始图像的车道线检测难度。
在一些实施例中，第三模型使第一损失函数满足第一预设条件，以及使第二损失函数满足第二预设条件。
在一些实施例中，第三模型使第一损失函数满足第一预设条件，使第二损失函数满足第二预设条件，以及第三模型使第三损失函数满足第三预设条件。或者，第三模型使第一损失函数满足第一预设条件，使第二损失函数满足第二预设条件，以及第三模型使第四损失函数满足第四预设条件。或者，第三模型使第一损失函数满足第一预设条件，使第二损失函数满足第二预设条件，第三模型使第三损失函数满足第三预设条件，以及第三模型使第四损失函数满足第四预设条件。
在一些实施例中，第三模型使第一损失函数满足第一预设条件和第二损失函数的加权和满足第九预设条件。或者，第三模型使第一损失函数、第二损失函数、第三损失函数和 第四损失函数的加权和满足第十预设条件。或者，第三模型使第一损失函数与第二损失函数的加权和满足第十一预设条件，以及使第三损失函数和第四损失函数的加权和满足第八预设条件。或者，第三模型使第一损失函数满足第一预设条件，以及使第二损失函数满足第二预设条件以及使第三损失函数和第四损失函数的加权和满足第八预设条件。
第一损失函数用于指示基于原始图像确定的预测模板图像与模板图像的差值，第二损失函数用于指示基于原始图像确定的预测车道线与原始图像对应的真实车道线的差值。第三损失函数用于指示第一特征与第二特征的差值，第四损失函数用于指示第一特征是否被鉴别为第二特征。第一特征为基于原始图像获取的特征，第二特征为基于模板图像获取的特征，第一特征与第二特征为相同类型的特征。示例性地，第一特征可以是指从原始图像中直接提取的特征，或者基于原始图像生成的特征。第二特征可以是指从模板图像直接提取的特征，或者基于模板图像生成的特征。
针对上述方案1和方案2需要说明以下几点：
第一，针对上述第一模型、第二模型和第三模型所涉及的训练数据可以相同，也可以不同。其中，训练数据可以包括原始图像和模板图像。其中，原始图像是指收集环境图像。例如，原始图像是指车辆所处的环境图像，这里的车辆可以是指使用上述模型的指定车辆(例如车辆100)或者任意车辆。模板图像与原始图像关联，其中，模板图像与原始图像的相似度较高，模板图像的车道线检测难度低于原始图像的车道线检测难度。
其中，模板图像与原始图像的相似度可以通过通用图像相似度算法或人工方式等确定，此处不再赘述。每个图像的车道线检测难度可以通过该图像对应的车道线的置信度或人工方式等确定。具体可以参阅上述关于车道线的置信度的相关描述。示例性地，对于有标签的原始图像(或模板图像)，可以通过标签确定采用通用车道线检测算法输出的预测出的车道线中哪些车道线为正确的车道线，得到预测出的车道线中预测正确的车道线数目，还可以进一步从通用车道线检测算法输出的预测出的车道线中的每个车道线为正确车道线的概率中筛选出哪些概率是预测正确的车道线所对应的概率，计算原始图像(或模板图像)对应的车道线的置信度。这里的标签用于标识原始图像(或模板图像)中的车道线。对于无标签的原始图像(或模板图像)，可以通过人工方法确定采用通用车道线检测算法输出的预测出的车道线中哪些车道线为正确的车道线，进一步从通用车道线检测算法输出的预测出的车道线中的每个车道线为正确车道线的概率中筛选出哪些概率是预测正确的车道线所对应的概率，计算原始图像(或模板图像)对应的车道线的置信度。
其中，模板图像可以采用但不限于以下方法获得：
方式1：利用原始图像生成模板图像。
示例性地，生成模板图像可以采用但不限于以下方式：利用图像增强消除原始图像中的影响生成模板图像，或者利用图像分割去除原始图像中的干扰对象生成模板图像，或者利用生成对抗生成相似图像作为模板图像等。
方式2：通过人工方式从同一地理区域的多个原始图像中筛选出模板图像。示例性地，结合一个原始图像的全球定位系统(global positioning syetem，GPS)信息，可以搜索与该GPS信息有关的图像，获得同一地理区域的多个原始图像。这里的地理区域可以是指针对某个地理标志建筑(例如，商城或银行)所确定的区域。
例如，同一地理区域的多个原始图像包括N个图像，N为大于2的正整数，可以通过人工方式从N个图像中筛选出一个模板图像，例如可以选择障碍物较少的图像，或光线适 合的图像。
方式3：结合一个原始图像的GPS信息，可以搜索与该GPS信息有关的图像作为待选图像，进一步地选择与该原始图像的相似度较高且车道线检测难度最低的待选图像作为与该原始图像关联的模板图像。
可以理解的是，方式2和方式3中所指的GPS信息还可以替换为其他传感器信息，本申请实施例对此不做限定。
方式4：利用图像检索可以获得大量与该原始图像相似的图像作为待选图像，并进一步选择与该原始图像相似度较高且车道线检测难度最低的待选图像作为与该原始图像关联的模板图像。
针对上述方式3和方式4，可以计算每个待选图像对应的车道线的置信度，以及每个待选图像与原始图像的相似度，选择置信度最高且相似度大于预设相似度阈值的待选图像作为模板图像。或者，选择置信度大于预设置信度阈值且相似度大于预设相似度阈值的待选图像作为模板图像。
此外，还可以采用其他方式确定与原始图像关联的模板图像，且上述方式1至方式4还可以结合使用，例如，方式1与方式2或方式3或方式4结合，本申请对此不做限定。
第二，第一损失函数用于指示基于原始图像确定的预测模板图像与模板图像的差值。示例性地，预测模板图像和模板图像的差值可以通过预测模板图像所对应的矩阵和模板图像所对应的矩阵之间的差值确定。
第一损失函数又可称为模板图像预测损失函数，其中，预测模板图像可以用f
template(image)，模板图像可以用template
gt表示，则第一损失函数可以表示为：
f
template(image)-template
gt
或者，第一损失函数可以表示为：
min(f
template(image)-template
gt)
第三，第二损失函数用于指示基于原始图像确定的预测车道线与原始图像对应的真实车道线的差值。示例性地，预测车道线和原始图像对应的真实车道线的差值可以通过预测的车道线所对应的矩阵和原始图像对应的真实车道线所对应的矩阵之间的差值确定。
第二损失函数又可称为车道线检测损失函数，其中，预测车道线可以用f
lane(image)表示，原始图像对应的真实车道线可以用lane
gt表示，则第二损失函数可以表示为：
f
template(image)-template
gt
或者，第二损失函数可以表示为：
min(f
template(image)-template
gt)
第四，第三损失函数和第四损失函数。
首先，需要首先基于原始图像获取的特征(即第一特征)，以及基于模板图像获取的特征(即第二特征)，第一特征与第二特征为相同类型的特征。示例性地，第一特征可以是指从原始图像中直接提取的特征，或者基于原始图像生成的特征。例如，G表示生成器，G(image)表示根据原始图像生成新的图像，可以从G(image)中提取特征作为第一特征。第二特征可以是指从模板图像直接提取的特征，或者基于模板图像生成的特征。例如，这里的特征可以为颜色特征或纹理特征等。
第三损失函数又可称为相似度量损失函数：第一特征可以用feature
original表示，第 二特征可以用feature
template表示，则第三损失函数可以表示为：
cos(feature
original,feature
template)，
或者，第三损失函数可以表示为：
min(cos(feature
original,feature
template))
第四损失函数又可称为鉴别器损失函数，鉴别器又可称为二分类器，鉴别器是一种分类是否的算法。第四损失函数可以表示为：
f(logD(feature
template))+f(1-logD(G(image)))
或者，第四损失函数可以表示为：
其中，上述第四损失函数可以理解为最小化生成器基于原始图像生成的特征与基于模板图像生成的特征的差别，同时最大化通过鉴别器鉴别出的生成器基于原始图像生成的特征与基于模板图像生成的特征不同。
其中，D表示鉴别器，D用于判断基于G(image)生成的特征(即第一特征)是否为feature
template(第二特征)。
通过第三损失函数和第四损失函数可以实现在模型训练过程中约束基于原始图像获取的特征和基于模板图像获取的特征具有较好的一致性，进而可以提升第二模型和第三模型的预测效果。
进一步地，将第一特征和第二特征输入至第三损失函数，以及将第一特征和第二特征输入至第四损失函数，如图5所示。其中，第三损失函数输出第二损失值，第四损失函数输出第三损失值，根据第一损失值和第二损失值可以计算第一损失值。示例性地，第一损失值可以是第二损失值和第三损失值的加权和。例如，第一损失值＝K1*第二损失值+K2*第三损失值，K1＞0，K2＞0。例如，K1+K2＝1。
由于训练数据中可能存在异常样本，对异常样本的过度关注容易造成过拟合，为此对于异常样本本申请使用较宽松的约束，对于普通样本使用较严格的约束。示例性地，定义T
lower与T
high，其中，T
lower＜T
high，样本的异常程度通过第三损失函数输出的第二损失值loss
s来判断，当loss
s<T
lower,则降低第四损失函数输出的第三损失值的权重，当loss
s>T
high,则降低loss
s的权重，甚至可以不使用loss
s。
因此，在loss
s大于T
high时，第一损失值＝K3*loss
s+K4*第三损失值，K3≥0，K4＞0，K1＞K3，例如，K3＝0，K4＝1，K3+K4＝1。在loss
s小于T
lower时，第一损失值＝K5*loss
s+K6*第三损失值，K5＞0，K6＞0，K2＞K6，K5+K6＝1。
以下对第一模型，第二模型和第三模型的训练过程进行简要说明。
本申请实施例所涉及的第一模型、第二模型和第三模型可以采用上述训练数据通过自动编码器或其他神经网络系统获得，本申请实施例不限定训练模型采用的具体方式。
示例性地，一般的神经网络系统包括输入层、隐藏层和输出层，相应的包括三种神经元(神经网络的基本单元)：输入层神经元、隐藏层神经元和输出层神经元。其中，输入层神经元从外部世界获取信息，隐藏层神经元和外部世界没有直接联系，隐藏层神经元执行预设函数的计算，并将信息从输入层神经元传递到输出层神经元。输出层神经元用于向外部世界传递信息。
示例性地，自编码器是一个3层或大于3层的神经网络，自编码器属于无监督学习，一般的自动编码可以看作由两部分组成：编码器和解码器，其中，编码器用于将输入压缩成潜在空间表征，可以用编码函数h＝f(x)表示。解码器用于重构来自潜在空间表征的输入，可以用解器码函数r＝g(h)表示。自动编码器可以被用于降维或特征学习。
自编码网络器的作用在于将输入样本压缩到隐藏层，再在输出端重建样本，其中，隐藏层神经元数目小于输入层神经元数目，输出层神经元数目等于输入层神经元数目，例如，自编码器可将n维数据压缩成m维数据，n＝输入层神经元数目＝输出层神经元数目，m＝隐藏层神经元数目，n＞m，n和m为正整数，然后再用损失尽量小的方式将n维数据恢复出来。
示例1：以下对第三模型的训练过程进行简要说明。
步骤1：获取训练数据。训练数据可以包括原始图像和模板图像。具体可以参阅上述关于训练数据的相关内容，重复之处不再赘述。
步骤2：将原始图像和模板图像输入至预设系统，经过预设系统中隐藏层神经元对应的预设函数进行计算，输出预测车道线和预测模板图像。这里的预设系统可以是指上述介绍的神经网络系统或自动编码器等，本申请实施例对此不做限定。
步骤3：根据第一损失函数计算预测模板图像和模板图像的差值(记为第一差值)，根据第二损失函数计算预测车道线和原始图像对应的真实车道线的差值(记为第二差值)。
步骤4：多次调整预设系统中隐藏层神经元对应的预设函数的参数，使第一损失函数计算得到的第一差值满足第一预设条件，使第二损失函数计算得到的第二差值满足第二预设条件，停止训练过程，获得第三模型。
在一些实施例中，多次调整预设系统中隐藏层神经元对应的预设函数的参数，直至第一差值在第一预设误差范围内且第二差值在第二预设误差范围内。其中，第一预设误差范围和第二预设误差范围可以根据经验值设定。
在一些实施例中，多次调整预设系统中隐藏层神经元对应的预设函数的参数，直至第一差值最小且第二差值在第二预设误差范围内。其中，第二预设误差范围可以根据经验值设定。
在一些实施例中，多次调整预设系统中隐藏层神经元对应的预设函数的参数，直至第一差值在第一预设误差范围内且第二差值最小。其中，第一预设误差范围可以根据经验值设定。
通过上述过程能够获得具有较好模板图像预测结果和较好车道线检测结果的第三模型。
示例2：以下对第三模型的训练过程进行简要说明。
步骤1：获取训练数据。训练数据可以包括原始图像和模板图像。具体可以参阅上述关于训练数据的相关内容，重复之处不再赘述。
步骤2：将原始图像和模板图像输入至预设系统，经过预设系统中隐藏层神经元对应的预设函数进行计算，输出预测车道线和预测模板图像。这里的预设系统可以是指上述介绍的神经网络系统或自动编码器等，本申请实施例对此不做限定。
步骤3：根据第一损失函数计算预测模板图像和模板图像的差值(记为第一差值)，根据第二损失函数计算预测车道线和原始图像对应的真实车道线的差值(记为第二差值)。
步骤4：获取第一特征和第二特征，根据第三损失函数和第四损失函数分别输出第二损失值和第三损失值。
这里步骤4可以在步骤2之后，也可以在步骤2之前，本申请实施例对此不做限定。
步骤5：多次调整预设系统中隐藏层神经元对应的预设函数的参数，使第一损失函数计算得到的第一差值满足第一预设条件，使第二损失函数计算得到的第二差值满足第二预 设条件，以及使第三损失函数计算得到的第二损失值满足第三预设条件，使第四损失函数计算得到的第四损失值满足第四预设条件，停止训练过程，获得第三模型。
在一些实施例中，首先，多次调整预设系统中隐藏层中一部分神经元对应的预设函数的参数，直至第二损失值在第三预设误差范围内，且第三损失值在第四预设误差范围内。然后，多次调整预设系统中隐藏层中另一部分神经元对应的预设函数的参数，直至第一差值在第一预设误差范围内且第二差值在第二预设误差范围内。
在一些实施例中，多次调整预设系统中隐藏层神经元对应的预设函数的参数，直至第一差值在第一预设误差范围内，且第二差值最小，且第二损失值在第三预设误差范围内，且第三损失值在第四预设误差范围内。其中，第三预设误差范围和第四预设误差范围可以根据经验值设定。
在一些实施例中，多次调整预设系统中隐藏层神经元对应的预设函数的参数，直至第一差值最小，且第二差值在第二预设误差范围内，且第一损失值在第五预设误差范围内，示例性地，第一损失值可以是第二损失值和第三损失值的加权和。其中，第五预设误差范围可以根据经验值设定。
通过上述过程能够获得具有较好模板图像预测结果和较好车道线检测结果的第三模型。
示例3：以下对第一模型的训练过程进行简要说明。
步骤1：获取训练数据。训练数据可以包括原始图像和模板图像。具体可以参阅上述关于训练数据的相关内容，重复之处不再赘述。
步骤2：将原始图像和模板图像输入至预设系统，经过预设系统中隐藏层各神经元对应的预设函数进行计算，输出预测模板图像。这里的预设系统可以是指上述介绍的神经网络系统或自动编码器等，本申请实施例对此不做限定。
步骤3：根据第一损失函数计算预测模板图像和模板图像的差值(记为第一差值)。
步骤4：多次调整预设系统中隐藏层各神经元对应的预设函数的参数，使第一损失函数计算得到的第一差值满足第一预设条件，停止训练过程，获得第一模型。
在一些实施例中，多次调整预设系统中隐藏层各神经元对应的预设函数的参数，直至第一损失函数计算得到的第一差值满足第一预设条件或者最小。其中，第一预设误差范围可以根据经验值设定。
通过上述过程能够获得具有较好模板图像预测结果的第一模型。
示例4：以下对第二模型的训练过程进行简要说明。
步骤1：获取训练数据。第一损失函数计算得到的第一差值满足第一预设条件具体可以参阅上述关于训练数据的相关内容，重复之处不再赘述。
步骤2：将原始图像和模板图像输入至预设系统，经过预设系统中隐藏层各神经元对应的预设函数进行计算，输出预测的车道线。这里的预设系统可以是指上述介绍的神经网络系统或自动编码器等，本申请实施例对此不做限定。
步骤3：根据第二损失函数计算预测车道线和原始图像对应的真实车道线的差值(记为第二差值)。
步骤4：获取第一特征和第二特征，根据第三损失函数和第四损失函数分别输出第二损失值和第三损失值。
这里步骤4可以在步骤2之后，也可以在步骤2之前，本申请实施例对此不做限定。
步骤5：多次调整预设系统中隐藏层各神经元对应的预设函数的参数，使第二损失函数计算得到的第二差值满足第二预设条件，以及使第三损失函数计算得到的第二损失值满足第三预设条件，使第四损失函数计算得到的第四损失值满足第四预设条件，停止训练过程，获得第二模型。
在一些实施例中，多次调整预设系统中隐藏层各神经元对应的预设函数的参数，直至第二差值最小，且第二损失值在第三预设误差范围内，且第三损失值在第四预设误差范围内。其中，第三预设误差范围和第四预设误差范围可以根据经验值设定。
在一些实施例中，多次调整预设系统中隐藏层各神经元对应的预设函数的参数，直至第二差值在第二预设误差范围内，且第一损失值在第五预设误差范围内，示例性地，第一损失值可以是第二损失值和第三损失值的加权和。其中，第五预设误差范围可以根据经验值设定。
通过上述过程能够获得具有较好车道线检测结果的第二模型。
步骤320：处理器根据第一车道线集合和第二车道线集合确定第三车道线集合。
在一些实施例中，第三车道线集合可以作为最终的车道线检测结果，并在显示界面(例如车辆100中的触摸屏143)上呈现。
具体的，在处理器根据第一车道线集合和第二车道线集合确定第三车道线集合时，处理器可以确定第一车道线集合中的第一车道线与第二车道线集合中的第二车道线指示环境中的同一条车道线，处理器将第一车道线，或第二车道线，或第三车道线作为第三车道线集合中的车道线。其中，第三车道线是根据第一车道线和第二车道线确定的。
如图6所示，对于第一车道线集合中的车道线1与第二车道线集合中的车道线2，在相同的y值下，车道线1对应的x值与车道线2对应的x值不同，进而可以计算x值的差值，进一步地，每隔预设间隔求取一次车道线1对应的x值与车道线2对应的x值的差值，可以获得车道线1和车道线2的差值集合，进而可以根据该差值集合计算各个差值之和，得到车道线1和车道线2的差值和。同理，可以求得车道线1和车道线3的差值和，以及车道线1与车道线4的差值和，并进一步选择差值和最小的车道线(即车道线2)作为与车道线1匹配的车道线，即车道线1与车道线2为环境中的同一条车道线。
可以理解的是，处理器可以将车道线1或车道线2作为第三车道线集合中的车道线，或者，根据车道线1和车道线2的差值集合中的每个差值的1/2确定一个新的车道线作为第三车道线集合中的车道线。
此外，在一些实施例中，在确定第一车道线集合与第二车道线集合中匹配的车道线的过程中，若第三车道线集合包括的车道线数目等于预设车道线数目，则可以停止继续匹配第一车道线集合中的车道线和第二车道线集合中的车道线。
或者，在确定第一车道线集合与第二车道线集合中匹配的车道线之后，若第三车道线集合包括的车道线数目小于预设车道线数目，假设第一车道线集合中的第一车道线与第二车道线集合中的第二车道线指示环境中的同一条车道线，则处理器将第一车道线集合中除第一车道线和/或第二车道线集合中除第二车道线之外的车道线作为第三车道线集合中的车道线。例如，处理器可以随机选择第一车道线集合中除第一车道线外的车道线作为第三车道线集合中的车道线。或者，处理器可以随机选择第二车道线集合中除第二车道线外的车道线作为第三车道线集合中的车道线。或者，处理器可以随机选择第一车道线集合中除 第一车道线外的车道线作为第三车道线集合中的车道线，以及随机选择第二车道线集合中除第二车道线外的车道线作为第三车道线集合中的车道线。又例如，处理器可以根据第二模型或第三模型确定第一车道线集合中包括的每个车道线为正确车道线的概率，排除第一车道线集合中的第一车道线，选择剩余车道线中车道线为正确车道线的概率最大的车道线作为第三车道线集合中的车道线。或者，处理器可以根据第二模型或第三模型确定第二车道线集合中包括的每个车道为正确车道线的概率，排除第二车道线集合中的第二车道线，选择剩余车道线中车道线为正确车道线的概率最大的车道线作为第三车道线集合中的车道线。或者，处理器可以根据第二模型或第三模型确定第一车道线集合中包括的每个车道为正确车道线的概率以及第二车道线集合中包括的每个车道为正确车道线的概率，排除第一车道线集合中的第一车道线，选择第一车道线集合中剩余车道线中车道线为正确车道线的概率最大的车道线作为第三车道线集合中的车道线，同时，排除第二车道线集合中的第二车道线，选择第二车道线集合中剩余车道线中车道线为正确车道线的概率最大的车道线作为第三车道线集合中的车道线。
进一步地，在确定第三车道线集合包括的车道线数目小于预设车道线数目时，将第一车道线集合中除第一车道线和/或第二车道线集合中除第二车道线之外的车道线作为第三车道线集合中的车道线，需要使得第三车道线集合包括的车道线数目等于第二阈值，其中，第二阈值是根据车辆所处环境确定的。
例如，在跟车的使用场景下，本车需要确定左右两侧的车道线，因此，预设车道线数目为2，当第三车道线集合仅确定一个车道线时，此时需要根据第一车道线集合或第二车道线集合再确定一条车道线作为第三车道线集合中的车道线。例如，处理器已确定第三车道线集合包括一条本车左侧的车道线，进一步地，处理器可以根据第二模型或第三模型确定第一车道线集合中包括的本车右侧的车道线为正确车道线的概率，以及第二车道线集合中包括的本车右侧的车道线为正确车道线的概率，将上述两条车道线中概率较高的车道线作为第三车道线集合中的车道线。
在一些实施例中，基于步骤320可知，在处理器可以根据第二图像采用上述第三模型确定第二车道线集合时，处理器还可以同时获得第三图像，其中，第三图像是第二图像的模板图像，第三图像与第二图像相似，第三图像的车道线检测难度低于第二图像的车道线检测难度。进一步地，处理器可以根据第三图像采用第三模型确定第四车道线集合。
因此，处理器还可以根据第一车道线集合和第四车道线集合确定第三车道线集合。或者，处理器首先基于第二车道线集合和第四车道线集合确定第五车道线集合，根据第一车道线集合和第五车道线集合确定第三车道线集合。其中，基于第二车道线集合和第四车道线集合确定第五车道线集合的方式可以参考上述根据第一车道线集合和第二车道线集合确定第三车道线集合的方式，重复之处不再赘述。
通过上述过程，可以实现在进一步优化的模板图像(即第三图像)的基础上确定一个车道线集合，然后根据该车道线集合和第一车道线集合确定最终的车道线集合，进而可以优化最终获得的车道线检测结果。
此外，基于上述对第三损失函数和第四损失函数的相关说明，在一些实施例中，处理器还可以根据第二损失值和第三损失值确定第一损失值，第一损失值用于表征第二图像和第一图像的相似度，处理器可以在显示界面(例如车辆100中的触摸屏143)上呈现第一 损失值。其中，第二损失值是根据第一图像和第二图像采用第三损失函数获得的，第三损失值是根据第一图像和第二图像采用第四损失函数获得的。
示例性地，第一损失值＝K1*第二损失值+K2*第三损失值，K1＞0，K2＞0。例如，K1+K2＝1。
此外，在第二损失值大于第一阈值(对应于上述T
high)时，第一损失值＝K3*第二损失值+K4*第三损失值，K3≥0，K4＞0，K1＞K3。例如，K3＝0，K4＝1。在第二损失值小于第二阈值(对应于上述T
lower)时，第一损失值＝K5*第二损失值+K6*第三损失值，K5＞0，K6＞0，K2＞K6，例如，K5+K6＝1，其中，第一阈值大于第二阈值。
上述主要从方法流程的角度对本申请实施例提供的方案进行了介绍。下面结合附图介绍本申请实施例中用来实现上述方法的装置。因此，上文中的内容均可以用于后续实施例中，重复的内容不再赘述。
为了实现上述本申请实施例提供的方法中的各功能，本申请实施例还提供一种装置用于实现上述方法。该装置可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。
本申请实施例提供的装置可以是能够执行上述方法对应的功能的芯片或电路，该芯片或电路可以设置在处理器等设备中。进一步的，本申请实施例提供的装置，还能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
本申请实施例提供的装置可以进行功能模块的划分，例如，可对应各个功能划分各个功能模块，也可将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
一种可能的实现方式中，如图7所示，为本申请实施例提供一种车道线检测装置的结构示意图。该装置可以是处理器，也可以是处理器中的装置。该装置700可以包括：处理模块71和获取模块72。当然，该装置700还可能包括其他模块，本申请实施例并不限定，仅示出主要的功能模块。
其中，获取模块72，用于获取第一图像，所述第一图像为环境图像。
处理模块71，用于，根据所述第一图像获取第一车道线集合和第二车道线集合，根据所述第一车道线集合和所述第二车道线集合获取第三车道线集合。其中，所述第一车道线集合和所述第二车道线集合的获取方式不同。
应理解，本申请实施例中的处理模块71可以由处理器或处理器相关电路组件实现，获取模块72可以由通信接口或通信接口相关电路组件实现。应理解，通信接口可以包括例如发射器和接收器，处理器、发射器和接收器相互耦合，其中，发射器和接收器例如通过天线、馈线和编解码器等实现，或者，如果所述装置为设置在设备中的芯片，那么发射 器和接收器例如为芯片中的通信接口，该通信接口与设备中的射频收发组件连接，以通过射频收发组件实现信息的收发。
例如，如图8所示为本申请实施例提供的装置800，图8所示的装置可以为图7所示的装置的一种硬件电路的实现方式。该装置可用于执行图3所示出的流程图中的处理器功能。为了便于说明，图8仅示出了该装置的主要部件。
需要说明的是，图8所示的装置可以是能够执行上述方法对应的功能的芯片或电路，也可以是包括上述芯片或电路的设备，本申请实施例对此并不限定。
图8所示的装置800包括至少一个处理器820，用于实现本申请实施例提供的图3中处理器的功能。
装置800还可以包括至少一个存储器830，用于存储程序指令和/或数据。存储器830和处理器820耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器820可能和存储器830协同操作。处理器820可能执行存储器830中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。
可选地，若该装置800为芯片或电路，该装置800也可以不包括存储器830，处理器820可以读取该芯片或电路外部的存储器中的指令(程序或代码)以实现图3所示的实施例所提供的处理器的功能。
装置800还可以包括通信接口810，用于通过传输介质和其它设备进行通信，从而用于装置800中的装置可以和其它设备进行通信。在本申请实施例中，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。在本申请实施例中，收发器可以为独立的接收器、独立的发射器、集成收发功能的收发器、或者是接口电路。处理器820利用通信接口810收发数据，并用于实现图3所示实施例中处理器的功能，具体可以参考前面的描述，在此不再赘述。
装置800还可以包括通信总线840。其中，通信接口810、处理器820以及存储器830可以通过通信总线840相互连接；通信总线840可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。所述通信总线840可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
再一种可选的方式，本申请实施例提供的装置使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地实现本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
需要说明的是，用于执行本申请实施例提供的方法的上述装置中所包含的处理器可以是中央处理器(central processing unit，CPU)，通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。
结合本申请实施例所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)存储器、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(compact disc read-only memory，CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于雷达装置或者安装雷达装置的探测设备中。当然，处理器和存储介质也可以作为分立组件存在于雷达装置或者安装雷达装置的探测设备中。
可以理解的是，图7～图8仅仅示出了该装置的简化设计。在实际应用中，本申请实施例提供的装置可以包含任意数量的发射器，接收器，处理器，控制器，存储器以及其他可能存在的元件。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
本申请实施例还提供一种芯片，所述芯片与存储器相连，用于读取并执行所述存储器中存储的软件程序，当在所述芯片上运行所述软件程序时，使得所述芯片实现图3中处理器的功能。
本申请实施例还提供一种计算机可读存储介质，包括指令，当在计算机上运行所述指令时，使得计算机实现图3中处理器的功能。
本申请实施例还提供一种终端设备，所述终端设备包括本申请上述实施例提到的车道线检测装置。这里的终端设备可以为机器人，车辆或车载设备等。
本申请实施例还提供一种车辆，所述车辆包括至少一个本申请上述实施例提到的车道线检测装置。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (27)
- 一种车道线检测方法，其特征在于，该方法包括：获取第一图像，所述第一图像为环境图像；根据所述第一图像获取第一车道线集合和第二车道线集合，其中，所述第一车道线集合和所述第二车道线集合的获取方式不同；根据所述第一车道线集合和所述第二车道线集合获取第三车道线集合。
- 如权利要求1所述的方法，其特征在于，根据所述第一图像获取第一车道线集合和第二车道线集合，包括：根据所述第一图像确定第二图像，所述第二图像用于确定所述第二车道线集合。
- 如权利要求2所述的方法，其特征在于，还包括：根据所述第一图像和所述第二图像确定第一损失值，所述第一损失值指示所述第一图像和所述第二图像的相似度。
- 如权利要求2或3所述的方法，其特征在于，所述根据第一图像确定第二图像，包括：根据所述第一图像采用第一模型确定所述第二图像；所述第一模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；所述第一模型使第一损失函数满足第一预设条件，所述第一损失函数用于指示基于所述原始图像确定的预测模板图像与所述模板图像的差值。
- 如权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一图像确定第一车道线集合，包括：根据所述第一图像采用第二模型确定所述第一车道线检测集合，所述第二模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；其中，所述第二模型使第二损失函数、第三损失函数和第四损失函数中的至少两个损失函数满足对应的预设条件；其中，所述第二损失函数用于指示基于所述原始图像确定的预测车道线与所述原始图像对应的真实车道线的差值，所述第三损失函数用于指示第一特征与第二特征的差值，所述第四损失函数用于指示所述第一特征是否被鉴别为所述第二特征，所述第一特征为基于所述原始图像获取的特征，所述第二特征为基于所述模板图像获取的特征，所述第一特征与所述第二特征为相同类型的特征。
- 如权利要求2或3所述的方法，其特征在于，根据所述第一图像确定第二图像和第一车道线集合，包括：根据所述第一图像采用第三模型确定所述第二图像和所述第一车道线集合，所述第三模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；其中，所述第三模型使第一损失函数满足第一预设条件，以及使第二损失函数满足第二预设条件，所述第一损失函数用于指示基于所述原始图像确定的预测模板图像与所述模板图像的差值，所述第二损失函数用于指示基于所述原始图像确定的预测车道线与所述原始图像对应的真实车道线的差值。
- 如权利要求6所述的方法，其特征在于，所述第三模型使第一损失函数满足第一预设条件，使第二损失函数满足第二预设条件，以及所述第三模型使第三损失函数满足第三预设条件和/或使第四损失函数满足第四预设条件，其中，所述第三损失函数用于指示第一特征与第二特征的差值，所述第四损失函数用于指示所述第一特征是否被鉴别为所述第二特征，所述第一特征为基于所述原始图像获取的特征，所述第二特征为基于所述模板图像获取的特征，所述第一特征与所述第二特征为相同类型的特征。
- 如权利要求5或7所述的方法，其特征在于，所述第一损失值是根据所述第一图像和所述第二图像采用所述第三损失函数获得的；或者，所述第一损失值是根据所述第一图像和所述第二图像采用所述第四损失函数获得的；或者，所述第一损失值是根据第二损失值和第三损失值确定的，所述第二损失值是根据所述第一图像和所述第二图像采用所述第三损失函数获得的，所述第三损失值是根据所述第一图像和所述第二图像采用所述第四损失函数获得的。
- 如权利要求1-8任一项所述的方法，其特征在于，所述第三车道线集合包括所述第一车道线集合和所述第二车道线集合中至少一条相同的车道线。
- 如权利要求1-9任一项所述的方法，其特征在于，还包括：确定所述第三车道线集合包括的车道线数目小于预设车道线数目时，将所述第一车道线集合和/或所述第二车道线集合中除所述第三车道线集合已包括的车道线之外的车道线作为所述第三车道线集合中的车道线。
- 如权利要求10所述的方法，其特征在于，还包括：确定所述第三车道线集合包括的车道线数目小于预设车道线数目时，将所述第一车道线集合和/或所述第二车道线集合中除所述第三车道线集合已包括的车道线之外的车道线作为所述第三车道线集合中的车道线，使得所述第三车道线集合包括的车道线数目等于所述预设车道线数目。
- 一种车道线检测装置，其特征在于，该装置包括：获取模块，用于获取第一图像，所述第一图像为环境图像；处理模块，用于根据所述第一图像获取第一车道线集合和第二车道线集合，其中，所述第一车道线集合和所述第二车道线集合的获取方式不同；根据所述第一车道线集合和所述第二车道线集合获取第三车道线集合。
- 如权利要求12所述的装置，其特征在于，所述处理模块用于：在根据所述第一图像获取第一车道线集合和第二车道线集合时，根据所述第一图像确定第二图像，所述第二图像用于确定所述第二车道线集合。
- 如权利要求13所述的装置，其特征在于，所述处理模块用于：根据所述第一图像和所述第二图像确定第一损失值，所述第一损失值指示所述第一图像和所述第二图像的相似度。
- 如权利要求13或14所述的装置，其特征在于，所述处理模块用于：在根据第一图像确定第二图像时，根据所述第一图像采用第一模型确定所述第二图像；所述第一模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；所述第一模型使第一损失函数满足第一预设条件，所述第一损失函数用于指示基于所 述原始图像确定的预测模板图像与所述模板图像的差值。
- 如权利要求12-15任一项所述的装置，其特征在于，所述处理模块用于：在根据所述第一图像确定第一车道线集合时，根据所述第一图像采用第二模型确定所述第一车道线检测集合，所述第二模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；其中，所述第二模型使第二损失函数、第三损失函数和第四损失函数中的至少两个损失函数满足对应的预设条件；其中，所述第二损失函数用于指示基于所述原始图像确定的预测车道线与所述原始图像对应的真实车道线的差值，所述第三损失函数用于指示第一特征与第二特征的差值，所述第四损失函数用于指示所述第一特征是否被鉴别为所述第二特征，所述第一特征为基于所述原始图像获取的特征，所述第二特征为基于所述模板图像获取的特征，所述第一特征与所述第二特征为相同类型的特征。
- 如权利要求13或14所述的装置，其特征在于，所述处理模块用于：在根据所述第一图像确定第二图像和第一车道线集合时，根据所述第一图像采用第三模型确定所述第二图像和所述第一车道线集合，所述第三模型是根据原始图像和模板图像训练获得的，其中，所述模板图像与所述原始图像关联，所述模板图像的车道线检测难度低于所述原始图像的车道线检测难度；其中，所述第三模型使第一损失函数满足第一预设条件，以及使第二损失函数满足第二预设条件，所述第一损失函数用于指示基于所述原始图像确定的预测模板图像与所述模板图像的差值，所述第二损失函数用于指示基于所述原始图像确定的预测车道线与所述原始图像对应的真实车道线的差值。
- 如权利要求17所述的装置，其特征在于，所述第三模型使第一损失函数满足第一预设条件，使第二损失函数满足第二预设条件，以及所述第三模型使第三损失函数满足第三预设条件和/或使第四损失函数满足第四预设条件，其中，所述第三损失函数用于指示第一特征与第二特征的差值，所述第四损失函数用于指示所述第一特征是否被鉴别为所述第二特征，所述第一特征为基于所述原始图像获取的特征，所述第二特征为基于所述模板图像获取的特征，所述第一特征与所述第二特征为相同类型的特征。
- 如权利要求16或18所述的装置，其特征在于，所述第一损失值是根据所述第一图像和所述第二图像采用所述第三损失函数获得的；或者，所述第一损失值是根据所述第一图像和所述第二图像采用所述第四损失函数获得的；或者，所述第一损失值是根据第二损失值和第三损失值确定的，所述第二损失值是根据所述第一图像和所述第二图像采用所述第三损失函数获得的，所述第三损失值是根据所述第一图像和所述第二图像采用所述第四损失函数获得的。
- 如权利要求12-19任一项所述的装置，其特征在于，所述第三车道线集合包括所述第一车道线集合和所述第二车道线集合中至少一条相同的车道线。
- 如权利要求12-20任一项所述的装置，其特征在于，所述处理模块用于：确定所述第三车道线集合包括的车道线数目小于预设车道线数目时，将所述第一车道线集合和/或所述第二车道线集合中除所述第三车道线集合已包括的车道线之外的车道线作为所述第三车道线集合中的车道线。
- 如权利要求21所述的装置，其特征在于，所述处理模块用于：确定所述第三车道 线集合包括的车道线数目小于预设车道线数目时，将所述第一车道线集合和/或所述第二车道线集合中除所述第三车道线集合已包括的车道线之外的车道线作为所述第三车道线集合中的车道线，使得所述第三车道线集合包括的车道线数目等于所述预设车道线数目。
- 一种车道线检测装置，其特征在于，所述装置包括：存储器：用于存储指令；处理器，用于从所述存储器中调用并运行所述指令，使得所述装置或者安装有所述装置的设备执行如权利要求1～11中任意一项所述的方法。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在装置上运行时，执行如权利要求1～11中任意一项所述的方法。
- 一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，当所述计算机程序在装置上运行时，执行如权利要求1～11中任意一项所述的方法。
- 一种芯片，其特征在于，包括至少一个处理器和通信接口；所述通信接口，用于为所述至少一个处理器提供程序指令或者数据；所述至少一个处理器用于执行所述程序行指令，以实现如权利要求1～11中任意一项所述的方法。
- 一种终端设备，其特征在于，所述终端设备包括如权利要求12～22中任意一项所述的装置或如权利要求23所述的装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/083552 WO2022204867A1 (zh) | 2021-03-29 | 2021-03-29 | 一种车道线检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116997940A true CN116997940A (zh) | 2023-11-03 |
Family
ID=83456900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180095662.XA Pending CN116997940A (zh) | 2021-03-29 | 2021-03-29 | 一种车道线检测方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116997940A (zh) |
| WO (1) | WO2022204867A1 (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200349364A1 (en) * | 2019-04-30 | 2020-11-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for training lane line identifying model, device, and storage medium |
| CN112115857A (zh) * | 2020-09-17 | 2020-12-22 | 福建牧月科技有限公司 | 智能汽车的车道线识别方法、装置、电子设备及介质 |
| CN112461257A (zh) * | 2019-09-09 | 2021-03-09 | 华为技术有限公司 | 一种车道线信息的确定方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101225626B1 (ko) * | 2010-07-19 | 2013-01-24 | 포항공과대학교 산학협력단 | 차선 인식 시스템 및 방법 |
| CN108764187B (zh) * | 2018-06-01 | 2022-03-08 | 百度在线网络技术（北京）有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
| CN110766724B (zh) * | 2019-10-31 | 2023-01-24 | 北京市商汤科技开发有限公司 | 目标跟踪网络训练、跟踪方法及装置、电子设备及介质 |
| CN111860588A (zh) * | 2020-06-12 | 2020-10-30 | 华为技术有限公司 | 一种用于图神经网络的训练方法以及相关设备 |
| CN112287842A (zh) * | 2020-10-29 | 2021-01-29 | 恒大新能源汽车投资控股集团有限公司 | 一种车道线的识别方法、装置及电子设备 |
-
2021
- 2021-03-29 WO PCT/CN2021/083552 patent/WO2022204867A1/zh active Application Filing
- 2021-03-29 CN CN202180095662.XA patent/CN116997940A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200349364A1 (en) * | 2019-04-30 | 2020-11-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for training lane line identifying model, device, and storage medium |
| CN112461257A (zh) * | 2019-09-09 | 2021-03-09 | 华为技术有限公司 | 一种车道线信息的确定方法及装置 |
| CN112115857A (zh) * | 2020-09-17 | 2020-12-22 | 福建牧月科技有限公司 | 智能汽车的车道线识别方法、装置、电子设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| MEHDI REZAGHOLIZADEH, MD AKMAL HAIDAR: "REG-GAN: SEMI-SUPERVISED LEARNING BASED ON GENERATIVE ADVERSARIAL NETWORKS FOR REGRESSION", 《ICASSP2018》, pages 4 * |
| 宋扬，李竹: "基于深度图像增强的夜间车道线检测技术", 《计算机应用》, vol. 39, no. 2, pages 1 - 1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022204867A1 (zh) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109901574B (zh) | 自动驾驶方法及装置 | |
| CN110543814B (zh) | 一种交通灯的识别方法及装置 | |
| US20220332348A1 (en) | Autonomous driving method, related device, and computer-readable storage medium | |
| CN113879295B (zh) | 轨迹预测方法及装置 | |
| CN110371132B (zh) | 驾驶员接管评估方法及装置 | |
| CN113168708B (zh) | 车道线跟踪方法和装置 | |
| CN113460042B (zh) | 车辆驾驶行为的识别方法以及识别装置 | |
| CN110930323B (zh) | 图像去反光的方法、装置 | |
| US11294387B2 (en) | Systems and methods for training a vehicle to autonomously drive a route | |
| US20230257003A1 (en) | Method and system for graph neural network based pedestrian action prediction in autonomous driving systems | |
| CN112512887B (zh) | 一种行驶决策选择方法以及装置 | |
| CN113498529B (zh) | 一种目标跟踪方法及其装置 | |
| CN114693540A (zh) | 一种图像处理方法、装置以及智能汽车 | |
| CN114531913A (zh) | 车道线检测方法、相关设备及计算机可读存储介质 | |
| WO2022017307A1 (zh) | 自动驾驶场景生成方法、装置及系统 | |
| CN114708723B (zh) | 轨迹预测方法和装置 | |
| CN113859265B (zh) | 一种驾驶过程中的提醒方法及设备 | |
| CN113741384B (zh) | 检测自动驾驶系统的方法和装置 | |
| CN116997940A (zh) | 一种车道线检测方法及装置 | |
| CN113022573B (zh) | 道路结构检测方法及装置 | |
| CN115546781A (zh) | 一种点云数据的聚类方法以及装置 | |
| CN112654547A (zh) | 驾驶提醒的方法、装置及系统 | |
| CN114981138A (zh) | 车辆可行驶区域的检测方法以及检测装置 | |
| CN113614732A (zh) | 信息处理设备及信息处理方法 | |
| CN114556251B (zh) | 用于确定车辆可通行空间的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |