CN112528864A - 模型生成方法、装置、电子设备和存储介质 - Google Patents
模型生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112528864A CN112528864A CN202011467006.1A CN202011467006A CN112528864A CN 112528864 A CN112528864 A CN 112528864A CN 202011467006 A CN202011467006 A CN 202011467006A CN 112528864 A CN112528864 A CN 112528864A
- Authority
- CN
- China
- Prior art keywords
- road edge
- image
- detected
- road
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003708 edge detection Methods 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 39
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000012546 transfer Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Abstract
本申请公开了模型生成方法、装置、电子设备和存储介质，涉及深度学习和智能交通领域。具体实现方案为：确定样本图像中的路沿像素区域以及路沿像素区域中路沿可见的像素区域；根据路沿像素区域中路沿可见的像素区域与路沿像素区域的比例信息，标注样本图像的路沿置信度；基于样本图像以及路沿置信度，训练得到路沿检测模型。根据本申请的技术方案，有利于提高路沿检测的准确性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及深度学习和智能交通领域。
背景技术
路沿是道路两侧的边界，在不同的场景有不同的形式，例如路沿可以包括岩石、铁栅栏、塑料围栏等。在智能交通场景下，准确地检测路沿具有重要意义。
发明内容
本申请提供了一种模型生成方法、装置、电子设备和存储介质。
根据本申请的一方面，提供了一种模型生成方法，包括：
确定样本图像中的路沿像素区域以及路沿像素区域中路沿可见的像素区域；
根据路沿像素区域中路沿可见的像素区域与路沿像素区域的比例信息，标注样本图像的路沿置信度；
基于样本图像以及路沿置信度，训练得到路沿检测模型。
根据本申请的另一方面，提供了一种模型生成装置，包括：
区域确定模块，用于确定样本图像中的路沿像素区域以及路沿像素区域中路沿可见的像素区域；
置信度标注模块，用于根据路沿像素区域中路沿可见的像素区域与路沿像素区域的比例信息，标注样本图像的路沿置信度；
训练模块，用于基于样本图像以及路沿置信度，训练得到路沿检测模型。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请实施例提供的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请实施例提供的方法。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的技术方案，可以提高路沿检测模型检测路沿置信度的准确性，从而准确评估从图像中检测到的路沿信息的可信度，有利于提高路沿检测的准确性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请一个实施例提供的模型生成方法的示意图；
图2是本申请另一个实施例提供的模型生成方法的示意图；
图3是本申请模型生成方法的一个应用示例的示意图；
图4是本申请应用示例中空间信息传递单元的示意图；
图5是本申请一个实施例提供的模型生成装置的示意图；
图6是本申请另一个实施例提供的模型生成装置的示意图；
图7是用来实现本申请实施例的模型生成装置的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了本申请一个实施例提供的模型生成方法的示意图。如图1所示，该方法包括：
步骤S11，确定样本图像中的路沿像素区域以及路沿像素区域中路沿可见的像素区域；
步骤S12，根据路沿像素区域中路沿可见的像素区域与路沿像素区域的比例信息，标注样本图像的路沿置信度；
步骤S13，基于样本图像以及路沿置信度，训练得到路沿检测模型。
其中，样本图像可以包括在道路上或车辆上的图像采集装置所采集的道路图像。样本图像中可以包含路沿图像、车道线图像、路口停止线图像等至少一种。
本申请实施例中，像素区域为图像中包括至少一个像素的区域，像素区域包括像素位置和像素数量等信息。路沿像素区域可以指路沿整体在图像中所占的像素区域。实际应用中，存在道路图像中的路沿被车辆遮挡的情况，因此，在路沿像素区域中可能包括路沿可见的像素区域和/或路沿不可见的像素区域。
示例性地，在上述步骤S11中，可以采用人工标注的方式或基于预设规则进行判断的方式，确定样本图像中的路沿像素区域以及路沿像素区域中路沿可见的像素区域。例如，将人工指定的像素区域确定为路沿像素区域或路沿像素区域中路沿可见的像素区域。又如，已知某道路上路沿是白色的，将包围图像中连续相邻的多个白色像素的平行四边形外框确定为路沿轮廓，将路沿轮廓中的像素区域确定为路沿像素区域，将路沿像素区域中的白色像素区域确定为路沿像素区域中路沿可见的像素区域。
示例性地，在上述步骤S12中，可以将路沿可见的像素区域所对应的路沿长度与路沿像素区域所对应的路沿长度的比值，相当于样本图像中路沿未被遮挡部分的长度与路沿总长度的比值，标注为样本图像的路沿置信度。
示例性地，在上述步骤S12中，根据路沿像素区域中路沿可见的像素区域与路沿像素区域的比例信息，标注样本图像的路沿置信度，可以包括：
将路沿像素区域中路沿可见的像素区域的像素数量与路沿像素区域的像素数量的比值，标注为样本图像的路沿置信度。
根据该示例性实施方式，根据像素数量的比值标注样本图像的路沿置信度，可以简化计算过程，提高标注效率。
应当理解，本申请不限于上述示例性方式，还可以包括其他能够计算出路沿可见部分在路沿中的比例信息的方式。
本申请实施例中，路沿置信度可用于表征基于图像检测得到的路沿信息的准确程度。路沿检测模型可以用于检测路沿置信度。基于样本图像以及标注的路沿置信度，可以训练得到路沿检测模型。例如，将样本图像输入模型，得到模型输出的路沿置信度，基于模型输出的路沿置信度和标注的路沿置信度，计算损失函数。在损失函数达到最小的情况下，确认模型收敛，将收敛的模型确定为上述路沿检测模型。示例性地，上述损失函数可以是L2损失函数(L2 Loss)或L1损失函数(L1 Loss)等。
示例性地，路沿检测模型还可以用于检测路沿信息。基于样本图像以及路沿置信度，训练得到路沿检测模型，可以包括：基于样本图像、路沿像素区域和路沿置信度，训练得到路沿检测模型。例如，将样本图像输入模型，得到模型输出的路沿置信度、路沿像素区域；基于模型输出的路沿置信度和标注的路沿置信度，计算第一损失函数；基于模型输出的路沿像素区域和步骤S11确定的路沿像素区域，计算第二损失函数。基于第一损失函数和第二损失函数确认模型收敛，将收敛的模型确定为上述路沿检测模型。如此，路沿检测模型既能用于检测路沿置信度，又能用于检测路沿信息。
可见，根据本申请实施例的方法，通过预先标注路沿置信度，训练得到用于检测路沿置信度的模型。基于此，该模型输出的路沿置信度是针对从图像检测得到的路沿信息整体的可靠性分数。相比取路沿像素区域中各点的检测概率得分的平均值作为置信度，由该模型输出路沿置信度具有更高的准确度。并且，基于上述方法，理论上路沿检测模型在图像中路沿未被遮挡的情况下输出的路沿置信度相比在图像中路沿被遮挡的情况下输出的路沿置信度更高，因此，上述方法考虑了路沿的实际应用场景，能够更准确地评估从图像中检测到的路沿信息的可信度。在实际应用中，有利于提高路沿检测的准确性。
作为示例，在路沿检测模型的应用场景中，上述方法还包括：
利用路沿检测模型对待检测图像进行置信度检测，得到待检测图像的路沿置信度。
示例性地，可以将待检测图像输入至路沿检测模型，得到路沿检测模型输出的路沿置信度，作为待检测图像的路沿置信度。
根据该实施方式，可以准确评估基于待检测图像得到的路沿信息的可信度。基于此，可以对路沿信息进行相应的优化处理，有利于提高路沿检测的准确性。
作为示例，在路沿检测模型的应用场景中，上述方法还包括：
利用路沿检测模型对待检测图像进行路沿检测，得到待检测图像的路沿像素区域；
在待检测图像的路沿置信度大于等于预设阈值的情况下，将上述路沿像素区域确定为针对待检测图像的路沿检测结果。
在上述示例性方式中，路沿检测模型可以用于检测路沿置信度和路沿像素区域。例如，可以将待检测图像输入至路沿检测模型，得到路沿检测模型输出的路沿置信度和路沿像素区域。
示例性地，预设阈值可以是0.5、0.6或0.7等。在路沿置信度大于等于预设阈值的情况下，可以确定路沿像素区域的可信度高，将路沿像素区域确定为针对待检测图像的路沿检测结果；在路沿置信度小于预设阈值的情况下，可以确定路沿像素区域的可信度低，不输出路沿检测结果。如此，可以使针对待检测图像的路沿检测结果具有高准确性，基于准确的路沿检测结果，可以准确定位路沿。
本申请一些实施例中，为了准确确定待检测图像中的路沿像素区域，可以结合语义分割和示例特征编码两种方式对待检测图像进行处理。参见图2，上述利用路沿检测模型对待检测图像进行路沿检测，得到待检测图像的路沿像素区域的步骤，可以包括：
步骤S21，利用路沿检测模型对待检测图像进行语义分割，得到待检测图像中的至少一个路沿像素；
步骤S22，利用路沿检测模型针对至少一个路沿像素预测实例特征编码，得到至少一个路沿像素的实例特征编码；
步骤S23，基于至少一个路沿像素的实例特征编码，确定待检测图像中与至少一个路沿分别对应的至少一个路沿像素区域。
对待检测图像进行语义分割，可以从待检测图像的各像素确定出对应多个实例的像素区域中。例如，从待检测图像的各像素中确定出与路沿、车道、树木、天空等多个实例分别对应的多个像素区域。
一般来说，道路中包左、右侧的两个路沿。由于左右路沿容易在道路消失点或者说道路灭点处发生粘连，且利用语义分割难以对属于相同语义实例的像素进行分割，因此，本方案在基于语义分割得到待检测图像中至少一个路沿像素的基础上，还针对至少一个路沿像素预测实例特征编码，以将至少一个路沿像素分割为对应于不同路沿的不同路沿像素区域。
示例性地，可以在路沿检测模型中设置语义分割分支和实例特征分支。利用语义分割分支得到至少一个路沿像素。利用实例特征分支针对至少一个路沿像素中的每个路沿像素计算实例特征编码。再基于各路沿像素的实例特征编码对各路沿像素进行聚类，得到至少一个像素点簇，作为至少一个路沿像素区域，每个路沿像素区域对应于一个路沿。如此，在语义分割的基础上，将至少一个路沿像素分割为对应于不同路沿的不同路沿像素区域。
可选地，每个像素的实例特征编码可以包括E个维度的特征信息，也就是说，示例特征编码可以是E维度向量。其中，E为正整数。
应当理解，上述步骤S21和步骤S22可以有先后次序，也可以并行执行。在有先后次序的情况可以先执行步骤S21，再执行步骤S22，或者先执行步骤S22，再执行步骤S21。例如，实例特征分支可以先针对像素长度为H、像素宽度为W的待检测图像，得到(H*W*E)维度的输出信息。也就是说，实例特征分支的输出信息可以包括待检测图像中所有像素的实例特征编码。在利用路沿检测模型对待检测图像进行语义分割后，再从所有像素的实例特征编码中确定至少一个路沿像素的实例特征编码。
根据上述实施方式，可以从待检测图像中检测出不同路沿所对应的不同路沿像素区域。因此，在利用图像信息进行导航或自动驾驶的智能交通场景中，可以利用不同路沿的检测结果，提高信息准确性。
相应的，上述利用路沿检测模型对待检测图像进行置信度检测，得到待检测图像的路沿置信度的步骤，可以包括：利用路沿检测模型对待检测图像进行置信度检测，得到与至少一个路沿像素区域分别对应的至少一个置信度。
上述在置信度大于等于预设阈值的情况下，将路沿像素区域确定为针对待检测图像的路沿检测结果，可以包括：
在至少一个置信度中存在大于等于预设阈值的置信度的情况下，将大于等于预设阈值的置信度所对应的路沿像素区域确定为待检测图像的路沿检测结果。
也就是说，在存在多个路沿的情况下，可以得到多个路沿分别对应的多个路沿置信度，将其中符合要求的路沿置信度所对应的路沿像素区域确定为路沿检测结果。基于此，可以提高输出路沿检测结果的概率，使得在智能交通场景中能够得到尽可能多的准确的路沿检测结果。
作为一种在智能交通场景中的应用示例，上述方法还可以包括：
根据待检测图像的路沿检测结果，确定待检测图像中最外侧车道的检测结果；
基于最外侧车道的检测结果，确定待检测图像的采集装置所在的车道。
举例而言，可以对待检测图像进行车道线检测，得到车道线检测结果，结合路沿检测结果和车道线检测结果，确定待检测图像中最外侧车道的检测结果。例如，可以利用路沿检测结果中路沿像素区域和车道线检测结果中多个车道线的像素区域之间的位置关系，从多个车道线的像素区域中确定出最外侧车道的像素区域，作为最外侧车道的检测结果。基于此，可以提高最外侧车道的检测结果。基于准确的最外侧车道的检测结果，可以提高定位采集装置所在的车道的准确性。
实际应用中，待检测图像可以由车辆中的图像采集装置例如摄像头、行车记录仪等采集。因此，根据上述实施方式，可以定位车辆所在的车道。具体而言，可以确定车辆所在的车道的序号，实现车道级定位。
图3示出了本申请模型生成方法的一个完整的应用示例的示意图。如图3所示，在应用示例中，路沿检测模型可以包括骨干网络单元31、空间信息传递单元32、语义分割分支33、实例特征分支34、置信度检测分支35、实例输出单元36、拟合单元37和结果输出单元38。
其中，将待检测模型输入路沿检测模型后，路沿检测模型中骨干网络单元31对待检测图像进行特征提取，得到第一特征图，将第一特征图输入到空间信息传递单元32后，空间信息传递单元32对第一特征图进行从上到下和/或从下到上的特征信息传递，得到第二特征图。
进一步地，将第二特征图输入语义分割分支33、实例特征分支34和置信度检测分支35。其中，语义分割分支33输出至少一个路沿像素，实例特征分支34输出各像素的实例特征编码。实例输出单元36基于至少一个路沿像素及其的实例特征编码，得到与至少一个路沿分别对应的至少一个路沿像素区域。拟合单元37对各路沿像素区域进行拟合处理，得到各路沿像素区域所对应的参数表达式。置信度检测分支35用于预测各路沿像素区域对应的路沿置信度。拟合单元37将各路沿像素区域对应的参数表达式输入结果输出单元38，置信度检测分支35将各路沿像素区域对应的路沿置信度输入结果输出单元38。结果输出单元38将大于预设阈值的路沿置信度所对应的路沿像素区域确定为路沿检测结果，并输出路沿检测结果。
具体实施时，上述骨干网络单元31可以采用ShuffleNet(混洗网络)作为模型架构，以实现精度和性能之间的平衡。将尺寸为(H*W)的待检测图像输入骨干网络单元31，可以得到骨干网络输出的尺寸为(H*W*C)的第一特征图。其中，H为待检测图像的长度，W为待检测图像的宽度，C为通道数。
由于路沿的特点是细长结构，且常存在被车辆遮挡的情况。因此，往往需要很大的感受野才能够有良好的检测效果。本应用示例中，可以选用例如增大卷积核、空洞卷积等方式扩大感受野。此外，还可以利用空间信息传递单元32扩大感受野。空间信息传递单元32可以更好地适应细长类目标的检测任务。
示例性地，将尺寸为(H*W*C)的第一特征图输入空间信息传递单元32后，空间信息传递单元32对第一特征图进行从上到下和/或从下到上的特征信息传递，加强模型的表达能力，使预设方向上的特征信息具有较好的连续性和平滑性，提升模型在遮挡情况下的识别能力。具体而言，空间信息传递单元32将与待检测图像对应的第一特征图，切分为n等分，得到n个切片，其中，n为大于等于2的整数。具体而言，如图4所示，可以将(H*W*C)的第一特征图，切分为n个高度为h的切片，其中，h＝H/n，每个切片的尺寸为(h*W*C)。其中，每个切片的编号分别为0、1、…、(n-1)。
具体而言，可以设置核尺寸(kernel size)为[h,w,C,C]的卷积核，其中，[h,w,C,C]中h和w为卷积核的长和宽，两个C表示卷积前后的切片的通道数均为C。利用该卷积核基于预设步长，例如1或2，对第i个切片xi-1进行卷积后得到尺寸为(h*W*C)的第i个传递信息
将第i个传递信息
与第i个切片xi-1相加，得到新的第(i+1)个切片xi。执行(n-1)次上述操作，可以对全部切片进行处理，得到新的n个切片。对新的n个切片进行组合，可以得到尺寸为(H*W*C)的第二特征图。
语义分割分支33和实例特征分支34用于基于第二特征图，对待检测图像进行语义分割和预测实例特征编码。具体处理过程可参考上述实施例中的示例性方式，在此不进行赘述。
置信度检测分支35用于基于第二特征图，对待检测图像进行置信度检测，得到路沿置信度。具体而言，可以根据待检测图像中路沿数量，在路沿检测模型中全连接层中增加相应数量的输出节点。例如待检测图像一般包括2个路沿，则增加2个输出节点，用于输出路沿置信度。
可见，经过设置上述空间信息传递单元32、语义分割分支33、实例特征分支34和置信度检测分支35，可以提高路沿检测结果的准确性。
综上，根据本申请实施例的方法，可以提高路沿检测模型检测路沿置信度的准确性，从而准确评估从图像中检测到的路沿信息的可信度，有利于提高路沿检测的准确性。
作为上述各方法的实现，本申请还提供了一种模型生成装置。如图5所示，该装置可以包括：
区域确定模块510，用于确定样本图像中的路沿像素区域以及路沿像素区域中路沿可见的像素区域；
置信度标注模块520，用于根据路沿像素区域中路沿可见的像素区域与路沿像素区域的比例信息，标注样本图像的路沿置信度；
训练模块530，用于基于样本图像以及路沿置信度，训练得到路沿检测模型。
示例性地，如图6所示，该装置还可以包括：
置信度检测模块610，用于利用路沿检测模型对待检测图像进行置信度检测，得到待检测图像的路沿置信度；
示例性地，如图6所示，该装置还可以包括：
路沿检测模块620，用于利用路沿检测模型对待检测图像进行路沿检测，得到待检测图像的路沿像素区域；
结果输出模块630，用于在待检测图像的路沿置信度大于等于预设阈值的情况下，将路沿像素区域确定为针对待检测图像的路沿检测结果。
示例性地，如图6所示，路沿检测模块620包括：
语义分割单元621，用于利用路沿检测模型对待检测图像进行语义分割，得到待检测图像中的至少一个路沿像素；
实例分割单元622，用于利用路沿检测模型针对至少一个路沿像素预测实例特征编码，得到至少一个路沿像素的实例特征编码；
区域确定单元623，用于基于至少一个路沿像素的实例特征编码，确定待检测图像中与至少一个路沿分别对应的至少一个路沿像素区域。
示例性地，如图6所示，该装置还可以包括：
车道检测模块640，用于根据待检测图像的路沿检测结果，确定待检测图像中最外侧车道的检测结果；
车道定位模块650，用于基于最外侧车道的检测结果，确定待检测图像的采集装置所在的车道。
示例性地，置信度标注模块520用于将路沿像素区域中路沿可见的像素区域的像素数量与路沿像素区域的像素数量的比值，标注为样本图像的路沿置信度。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图7所示，是根据本申请实施例的模型生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的模型生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的模型生成方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的模型生成方法对应的程序指令/模块(例如，附图5所示的区域确定模块510、置信度标注模块520和训练模块530)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的模型生成方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据模型生成方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至模型生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
模型生成方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与模型生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请实施例的技术方案，可以提高路沿检测模型检测路沿置信度的准确性，从而准确评估从图像中检测到的路沿信息的可信度，有利于提高路沿检测的准确性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (15)
1.一种模型生成方法，包括：
确定样本图像中的路沿像素区域以及所述路沿像素区域中路沿可见的像素区域；
根据所述路沿像素区域中路沿可见的像素区域与所述路沿像素区域的比例信息，标注所述样本图像的路沿置信度；
基于所述样本图像以及所述路沿置信度，训练得到路沿检测模型。
2.根据权利要求1所述的方法，其中，所述根据所述路沿像素区域中路沿可见的像素区域与所述路沿像素区域的比例信息，标注所述样本图像的路沿置信度，包括：
将所述路沿像素区域中路沿可见的像素区域的像素数量与所述路沿像素区域的像素数量的比值，标注为所述样本图像的路沿置信度。
3.根据权利要求1或2所述的方法，还包括：
利用所述路沿检测模型对待检测图像进行置信度检测，得到所述待检测图像的路沿置信度。
4.根据权利要求3所述的方法，还包括：
利用所述路沿检测模型对所述待检测图像进行路沿检测，得到所述待检测图像的路沿像素区域；
在所述待检测图像的路沿置信度大于等于预设阈值的情况下，将所述路沿像素区域确定为针对所述待检测图像的路沿检测结果。
5.根据权利要求4所述的方法，其中，所述利用所述路沿检测模型对所述待检测图像进行路沿检测，得到所述待检测图像的路沿像素区域，包括：
利用所述路沿检测模型对所述待检测图像进行语义分割，得到所述待检测图像中的至少一个路沿像素；
利用所述路沿检测模型针对所述至少一个路沿像素预测实例特征编码，得到所述至少一个路沿像素的实例特征编码；
基于所述至少一个路沿像素的实例特征编码，确定所述待检测图像中与至少一个路沿分别对应的至少一个路沿像素区域。
6.根据权利要求4或5所述的方法，还包括：
根据所述待检测图像的路沿检测结果，确定所述待检测图像中最外侧车道的检测结果；
基于所述最外侧车道的检测结果，确定所述待检测图像的采集装置所在的车道。
7.一种模型生成装置，包括：
区域确定模块，用于确定样本图像中的路沿像素区域以及所述路沿像素区域中路沿可见的像素区域；
置信度标注模块，用于根据所述路沿像素区域中路沿可见的像素区域与所述路沿像素区域的比例信息，标注所述样本图像的路沿置信度；
训练模块，用于基于所述样本图像以及所述路沿置信度，训练得到路沿检测模型。
8.根据权利要求7所述的装置，其中，所述置信度标注模块用于将所述路沿像素区域中路沿可见的像素区域的像素数量与所述路沿像素区域的像素数量的比值，标注为所述样本图像的路沿置信度。
9.根据权利要求7或8所述的装置，还包括：
置信度检测模块，用于利用所述路沿检测模型对待检测图像进行置信度检测，得到所述待检测图像的路沿置信度。
10.根据权利要求9所述的装置，还包括：
路沿检测模块，用于利用所述路沿检测模型对所述待检测图像进行路沿检测，得到所述待检测图像的路沿像素区域；
结果输出模块，用于在所述待检测图像的路沿置信度大于等于预设阈值的情况下，将所述路沿像素区域确定为针对所述待检测图像的路沿检测结果。
11.根据权利要求10所述的装置，其中，所述路沿检测模块包括：
语义分割单元，用于利用所述路沿检测模型对所述待检测图像进行语义分割，得到所述待检测图像中的至少一个路沿像素；
实例分割单元，用于利用所述路沿检测模型针对所述至少一个路沿像素预测实例特征编码，得到所述至少一个路沿像素的实例特征编码；
区域确定单元，用于基于所述至少一个路沿像素的实例特征编码，确定所述待检测图像中与至少一个路沿分别对应的至少一个路沿像素区域。
12.根据权利要求10或11所述的装置，还包括：
车道检测模块，用于根据所述待检测图像的路沿检测结果，确定所述待检测图像中最外侧车道的检测结果；
车道定位模块，用于基于所述最外侧车道的检测结果，确定所述待检测图像的采集装置所在的车道。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011467006.1A CN112528864A (zh) | 2020-12-14 | 2020-12-14 | 模型生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011467006.1A CN112528864A (zh) | 2020-12-14 | 2020-12-14 | 模型生成方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112528864A true CN112528864A (zh) | 2021-03-19 |
Family
ID=74999552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011467006.1A Pending CN112528864A (zh) | 2020-12-14 | 2020-12-14 | 模型生成方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528864A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191256A (zh) * | 2021-04-28 | 2021-07-30 | 北京百度网讯科技有限公司 | 车道线检测模型的训练方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170116477A1 (en) * | 2015-10-23 | 2017-04-27 | Nokia Technologies Oy | Integration of positional data and overhead images for lane identification |
| US20190063945A1 (en) * | 2017-08-22 | 2019-02-28 | TuSimple | Verification module system and method for motion-based lane detection with multiple sensors |
| CN110276293A (zh) * | 2019-06-20 | 2019-09-24 | 百度在线网络技术（北京）有限公司 | 车道线检测方法、装置、电子设备及存储介质 |
| CN110688971A (zh) * | 2019-09-30 | 2020-01-14 | 上海商汤临港智能科技有限公司 | 虚线车道线的检测方法、装置和设备 |
| CN111178253A (zh) * | 2019-12-27 | 2020-05-19 | 深圳佑驾创新科技有限公司 | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 |
| CN111191619A (zh) * | 2020-01-02 | 2020-05-22 | 北京百度网讯科技有限公司 | 车道线虚线段的检测方法、装置、设备和可读存储介质 |
| CN111191533A (zh) * | 2019-12-18 | 2020-05-22 | 北京迈格威科技有限公司 | 行人重识别的处理方法、装置、计算机设备和存储介质 |
| CN111310737A (zh) * | 2020-03-26 | 2020-06-19 | 深圳极视角科技有限公司 | 一种车道线检测方法及装置 |
-
2020
- 2020-12-14 CN CN202011467006.1A patent/CN112528864A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170116477A1 (en) * | 2015-10-23 | 2017-04-27 | Nokia Technologies Oy | Integration of positional data and overhead images for lane identification |
| US20190063945A1 (en) * | 2017-08-22 | 2019-02-28 | TuSimple | Verification module system and method for motion-based lane detection with multiple sensors |
| CN110276293A (zh) * | 2019-06-20 | 2019-09-24 | 百度在线网络技术（北京）有限公司 | 车道线检测方法、装置、电子设备及存储介质 |
| CN110688971A (zh) * | 2019-09-30 | 2020-01-14 | 上海商汤临港智能科技有限公司 | 虚线车道线的检测方法、装置和设备 |
| CN111191533A (zh) * | 2019-12-18 | 2020-05-22 | 北京迈格威科技有限公司 | 行人重识别的处理方法、装置、计算机设备和存储介质 |
| CN111178253A (zh) * | 2019-12-27 | 2020-05-19 | 深圳佑驾创新科技有限公司 | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 |
| CN111191619A (zh) * | 2020-01-02 | 2020-05-22 | 北京百度网讯科技有限公司 | 车道线虚线段的检测方法、装置、设备和可读存储介质 |
| CN111310737A (zh) * | 2020-03-26 | 2020-06-19 | 深圳极视角科技有限公司 | 一种车道线检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 朱友泽: "基于特征提取的行人检测与重识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 1099 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191256A (zh) * | 2021-04-28 | 2021-07-30 | 北京百度网讯科技有限公司 | 车道线检测模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11694461B2 (en) | Optical character recognition method and apparatus, electronic device and storage medium | |
| CN110659600B (zh) | 物体检测方法、装置及设备 | |
| CN112528786B (zh) | 车辆跟踪方法、装置及电子设备 | |
| CN112529073A (zh) | 模型训练方法、姿态估计方法、装置及电子设备 | |
| CN111860304A (zh) | 一种图像标注方法、电子装置、设备及存储介质 | |
| CN110968718B (zh) | 目标检测模型负样本挖掘方法、装置及电子设备 | |
| CN112508003B (zh) | 字符识别处理方法和装置 | |
| CN112528976A (zh) | 文本检测模型的生成方法和文本检测方法 | |
| CN111275983A (zh) | 车辆追踪方法、装置、电子设备和计算机可读存储介质 | |
| CN112560684B (zh) | 车道线检测方法、装置、电子设备、存储介质以及车辆 | |
| CN111275011B (zh) | 移动红绿灯检测方法、装置、电子设备和存储介质 | |
| CN111783760A (zh) | 文字识别的方法、装置、电子设备及计算机可读存储介质 | |
| CN112270745A (zh) | 一种图像生成方法、装置、设备以及存储介质 | |
| CN114443794A (zh) | 数据处理和地图更新方法、装置、设备以及存储介质 | |
| CN113673281A (zh) | 限速信息确定方法、装置、设备以及存储介质 | |
| CN111191619A (zh) | 车道线虚线段的检测方法、装置、设备和可读存储介质 | |
| CN112581533B (zh) | 定位方法、装置、电子设备及存储介质 | |
| CN112528864A (zh) | 模型生成方法、装置、电子设备和存储介质 | |
| CN113011298A (zh) | 截断物体样本生成、目标检测方法、路侧设备和云控平台 | |
| CN113361303B (zh) | 临时交通标志牌识别方法、装置及设备 | |
| CN111563541B (zh) | 图像检测模型的训练方法和装置 | |
| CN112508027A (zh) | 用于实例分割的头部模型、实例分割模型、图像分割方法及装置 | |
| CN113297878A (zh) | 道路交叉口识别方法、装置、计算机设备和存储介质 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| CN111652112A (zh) | 一种车道流向的识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211018 Address after: 100176 Room 101, 1st floor, building 1, yard 7, Ruihe West 2nd Road, economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |