CN113313716B - 一种自动驾驶语义分割模型的训练方法及装置 - Google Patents
一种自动驾驶语义分割模型的训练方法及装置 Download PDFInfo
- Publication number
- CN113313716B CN113313716B CN202010123807.XA CN202010123807A CN113313716B CN 113313716 B CN113313716 B CN 113313716B CN 202010123807 A CN202010123807 A CN 202010123807A CN 113313716 B CN113313716 B CN 113313716B
- Authority
- CN
- China
- Prior art keywords
- loss function
- semantic segmentation
- training
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 156
- 238000012549 training Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 238000012360 testing method Methods 0.000 claims description 60
- 238000003860 storage Methods 0.000 claims description 26
- 238000002372 labelling Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 122
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开的实施例公开了一种自动驾驶语义分割模型的训练方法及装置，主要技术方案包括：基于车辆行驶方向的路面图像获取图像样本集，图像样本集中的所有图像样本均具有目标框标签，且部分图像样本还具有像素标签；目标框标签标识对应的图像样本中的目标框在图像样本中的位置，像素标签标识对应的图像样本中的目标框所涉及物体的物体类别；基于图像样本集对预设模型进行训练，直至预设模型的总损失函数收敛，得到自动驾驶语义分割模型，总损失函数包括目标检测损失函数和语义分割损失函数，目标检测损失函数表征图像样本的目标框标签与模型预测的目标框位置之间的差异，语义分割损失函数表征图像样本的像素标签与模型预测的物体类别之间的差异。
Description
技术领域
本公开的实施例涉及自动驾驶技术领域，特别是涉及一种自动驾驶语义分割模型的训练方法及装置。
背景技术
语义分割技术能够对目标进行像素级的分类，而这种像素级分类对自动驾驶场景中的驾驶环境感知具有重大意义，因此，自动驾驶语义分割模型被广泛的应用在车辆中，以辅助车辆自动驾驶。
目前，自动驾驶语义分割模型通常使用带有像素标签的图像样本训练而得。这里所用的带像素标签的图像样本需要对图像中的每一个像素均进行标注后才可获得。像素标签标注的过程强依赖于人工来完成，这就需要耗费的大量的人工成本来进行数据标注，人工成本消耗过大。另外，由于利用全量的带像素标签的图像样本进行训练，因此耗费的算力成本也较大。
发明内容
有鉴于此，本公开的实施例提出了一种自动驾驶语义分割模型的训练方法及装置，主要目的在于在降低训练自动驾驶语义分割模型所耗费的人工和算力成本的同时，提高自动驾驶语义分割的准确性。主要技术方案包括：
第一方面，本公开的实施例提供了一种自动驾驶语义分割模型的训练方法，所述方法包括：
基于车辆行驶方向的路面图像，获取图像样本集，其中，所述图像样本集中的所有图像样本均具有目标框标签，且所述图像样本集中的部分图像样本还具有像素标签；所述目标框标签用于标识对应的图像样本中的目标框在所述图像样本中的位置，所述像素标签用于标识对应的图像样本中的目标框所涉及物体的物体类别；基于所述图像样本集对预设模型进行训练，直至所述预设模型的总损失函数收敛，得到自动驾驶语义分割模型，其中，所述总损失函数包括目标检测损失函数和语义分割损失函数，所述目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，所述语义分割损失函数用于表征所述图像样本的像素标签与模型预测的物体类别之间的差异。
第二方面，本公开的实施例提供了一种自动驾驶语义分割模型的训练装置，所述装置包括：
获取单元，用于基于车辆行驶方向的路面图像，获取图像样本集，其中，所述图像样本集中的所有图像样本均具有目标框标签，且所述图像样本集中的部分图像样本还具有像素标签；所述目标框标签用于标识对应的图像样本中的目标框在所述图像样本中的位置，所述像素标签用于标识对应的图像样本中的目标框所涉及物体的物体类别；训练单元，用于基于所述图像样本集对预设模型进行训练，直至所述预设模型的总损失函数收敛，得到自动驾驶语义分割模型，其中，所述总损失函数包括目标检测损失函数和语义分割损失函数，所述目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，所述语义分割损失函数用于表征所述图像样本的像素标签与模型预测的物体类别之间的差异。
第三方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的自动驾驶语义分割模型的训练方法。
第四方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面所述的自动驾驶语义分割模型的训练方法。
借由上述技术方案，本公开的实施例提供的自动驾驶语义分割模型的训练方法及装置，首先基于车辆行驶方向的路面图像获取图像样本集，该图像样本集中的所有图像样本均具有目标框标签，且图像样本集中的部分图像样本还具有像素标签。然后基于图像样本集对预设模型进行训练，直至预设模型的总损失函数收敛，得到自动驾驶语义分割模型。这里所述的总损失函数包括目标检测损失函数和语义分割损失函数，该目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，该语义分割损失函数用于表征图像样本的像素标签与模型预测的物体类别之间的差异。可见，本公开的实施例在自动驾驶语义分割模型训练时，无需使用全量的带有像素标签的图像样本，而仅用到了少量的带有像素标签的图像样本进行模型训练，不仅能够节省标注像素标签的人力成本，而且能够降低模型训练的算力成本。另外，由于模型训练时采用了全量带目标框标签的图像样本，而这种带目标框标签的图像样本具有丰富的图像信息，因此使用带目标框标签的图像样本和少量带像素标签的图像样本训练自动驾驶语义分割，在降低训练自动驾驶语义分割模型所耗费的人工和算力成本的同时，提高自动驾驶语义分割的准确性。
上述说明仅是本公开的实施例技术方案的概述，为了能够更清楚了解本公开的实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本公开的实施例提供的一种自动驾驶语义分割模型的训练方法的流程图；
图2示出了本公开的实施例提供的另一种自动驾驶语义分割模型的训练方法的流程图；
图3示出了本公开的实施例提供的一种预设模型的结构示意图；
图4示出了本公开的实施例提供的一种自动驾驶语义分割模型的训练装置的组成框图；
图5示出了本公开的实施例提供的另一种自动驾驶语义分割模型的训练装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
第一方面，本公开的实施例提供了一种自动驾驶语义分割模型的训练方法，如图1所示，所述方法主要包括：
101、基于车辆行驶方向的路面图像，获取图像样本集，其中，所述图像样本集中的所有图像样本均具有目标框标签，且所述图像样本集中的部分图像样本还具有像素标签；所述目标框标签用于标识对应的图像样本中的目标框在所述图像样本中的位置，所述像素标签用于标识对应的图像样本中的目标框所涉及物体的物体类别。
本实施例的图像样本集中的各图像样本均来自于车辆行驶方向的路面图像，该路面图像能够反映出车辆行驶方向的各种路面情况(比如，前方车辆、车道线、道路指示牌等路面情况)，而这些路面情况是影响自动驾驶的关键因素。因此为了保证自动驾驶语义分割模型与真实驾驶情况的切合度，选用路面图像作为训练所用图像样本集的来源。另外，为了使图像样本集中的图像样本能够涵盖大量的路面特征，则路面图像为大量车辆在实际驾驶时所采集到的。
下面对基于车辆行驶方向的路面图像获取图像样本集的过程进行说明，该获取图像样本集具体包括如下步骤1011-1014：
1011、采集车辆行驶方向的路面图像。
具体的，为了使得图像样本可以涵盖各种路面情况，则采集的路面图像包括多辆车行驶方向的路面图像。
具体的，在采集车辆行驶方向的路面图像时，利用摄像头朝向车辆行驶方向的采集设备采集车辆行驶方向的路面图像。需要说明的是，为了保证路面图像采集的一致性，在采集路面图像的过程中维持采集设备的主轴与预设平面(比如，地平面)的俯仰角为预设数值。在采集路面图像的过程中为了维持采集设备的主轴与预设平面的俯仰角为预设数值，需要实时监测采集设备的主轴与预设平面之间的俯仰角，当监测到该俯仰角不是预设数值时，将该俯仰角调整为该预设数值。
1012、将每一帧路面图像定义为一个图像样本。
具体的，定义图像样本的方法至少包括如下两种：
第一种，为了增加图像样本集中图像样本的数量，则将采集车辆行驶方向的路面图像中的每一帧图像均定义为一个图像样本。
第二种，为了提高图像样本集中图像样本的质量，则从采集的车辆行驶方向的路面图像中选取部分具有符合预设路面特征的路面图像，将所选取的每一帧图像均定义为一个图像样本。其中，预设路面特征可以包括如下中的至少一种：前方车辆数量、车道线数量、道路指示牌数量等路面情况。
1013、对各所述图像样本进行目标框检测，基于目标框检测得到的目标框为各所述图像样本标注目标框标签。
具体的，采用预设目标框检测方法对各图像样本进行目标框检测，其中，预设目标框检测方法根据具体的业务要求确定，且可以包括但不限于YOLO(you only look once)、SSD(Single Shot MultiBox Detector)和RetinaNet中的任意一种。
具体的，在对各图像样本进行目标框检测之后，得到各图像样本中各目标框检测框，该目标检测框用于定位图像样本中的物体，而目标框标签用于标识对应的图像样本中的目标框在图像样本中的位置，因此目标框标签也能够反映出图像样本中的物体在图像样本中的位置。
具体的，基于目标框检测得到的目标框为各图像样本标注目标框标签，该目标框标签方法至少包括如下两种形式：
第一种，目标框标签的形式为(x,y,w,h)。其中，x，y分别表示目标框的左上角的横纵坐标，w,h分别表示目标框的宽、高。需要说明的是，该坐标为目标框在图像样本中的坐标。
第二种，目标框标签的形式为(x,y,a,b)。其中，x，y分别表示目标框的左上角横纵坐标，a,b分别表示目标框的右下角横纵坐标。需要说明的是，该坐标为目标框在图像样本中的坐标。
进一步的，为了保证目标框标签的准确度，在为各图像样本标注目标框标签之后，将各图像样本依次推送给预设的审核终端，供审核终端对应的审核员对图像样本的目标框标签进行审核，以便审核员将与实际位置出现偏差的目标框修正到正确的位置，从而通过修正得到正确的目标框标签。
1014、基于部分图像样本的目标框所涉及物体的物体类别为所述部分图像样本标注像素标签。
具体的，部分图像样本为图像样本集中的少量图像样本，该图像样本在图像样本集中所占比例可以基于具体的业务要求确定。比如，这里需要标注像素标签的部分图像样本在图像样本集中所占比例为5％，也就是说，图像样本集中100％的图像样本具有目标框标签，而图像样本集中5％的图像样本具有像素标签。
具体的，在选取出部分图像样本之后，将部分图像样本推送给标注终端，以便标注终端的标注员依据其个人经验对图像样本进行像素标签的标注。
具体的，像素标签用于标识图像样本中的目标框所涉及物体的物体类别。该物体的类别可以包括但不限于车辆、天空、车道线、道路、数目、行人、指示牌中的至少一种或多种。像素标签至少存在如下两种表达方式：一是，像素标签为物体在图像样本中的真实像素，比如，天空对应的像素标签即为天空真实的像素。二是，像素标签为物体的类别对应的预设的像素编号。比如，车辆对应的像素标号为1，则目标框中若涉及到的物体的物体类别为“车辆”，则标识的像素标签为1。
具体的，由于像素标签用于标识图像中的目标框所涉及的物体的物体类别，因此为了体现出像素标签与目标框的对应的关系，像素标签与其对应的目标框的目标框标签关联存在。示例性的，像素标签“c”用于标识图像样本1中的目标框1所涉及物体的物体类别“天空”，则像素标签“c”与其对应的目标框1的目标框标签“(x,y,w,h)”关联存在的形式为“(x,y,w,h,c)”。
102、基于所述图像样本集对预设模型进行训练，直至所述预设模型的总损失函数收敛，得到自动驾驶语义分割模型，其中，所述总损失函数包括目标检测损失函数和语义分割损失函数，所述目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，所述语义分割损失函数用于表征所述图像样本的像素标签与模型预测的物体类别之间的差异。
本实施例中，预设模型的具体类型可以基于业务要求确定，本实施例中不做具体限定。可选的，预设模型可以包括但不限于VGG(Visual Geometry Group，超分辨率测试序列)，ResNet(Residual Network，残差网络)等深度学习网络模型。
在本实施例中，训练预设模型的过程，实际为基于图像样本集迭代训练预设模型的过程。在该过程中，在每轮训练后，需要判断该轮训练后的预设模型的总损失函数是否收敛。若判断出总损失函数收敛，说明该轮训练后得到的预设模型具有较好的自动驾驶语义分割效果，则将该轮训练后得到的预设模型确定为自动驾驶语义分割模型。若判断出总损失函数未收敛，则说明该轮训练后得到的预设模型的自动驾驶语义分割效果欠佳，则根据总损失函数包括的目标检测损失函数调整与目标检测相关的模型参数以及根据总损失函数包括的语义分割损失函数调整与语义分割相关的模型参数，以便利用模型参数调整后的预设模型进行下一轮的训练。
下面对判断该轮训练后的预设模型的总损失函数是否收敛的具体方法进行说明，该方法至少包括如下两种：
第一种，加和该轮训练后的预设模型的目标检测损失函数和语义分割损失函数，得到总损失函数的损失值；确定所述损失值是否小于预设阈值。
具体的，在确定总损失函数的损失值小于预设阈值时，则说明总损失函数收敛，则将该轮训练后得到的预设模型确定为自动驾驶语义分割模型。在确定总损失函数的损失值不小于预设阈值时，则说明总损失函数未收敛，则根据目标检测损失函数调整与目标检测相关的模型参数以及根据语义分割损失函数调整与语义分割相关的模型参数。
第二种，分别确定目标检测损失函数和语义分割损失函数在当前轮训练中所占权重；确定目标检测损失函数和语义分割损失函数分别与其各自权重的乘积，并将两个乘积的加和确定为总损失函数的损失值；确定损失值是否小于预设阈值。
具体的，确定目标检测损失函数和语义分割损失函数在当前轮训练中所占权重的方法包括如下两种：一是，随机分配；二是，基于目标检测损失函数和语义分割损失函数在上一轮训练时对应的损失值确定。
具体的，在确定总损失函数的损失值小于预设阈值时，则说明总损失函数收敛，则将该轮训练后得到的预设模型确定为自动驾驶语义分割模型。在确定总损失函数的损失值不小于预设阈值时，则说明总损失函数未收敛，则根据目标检测损失函数调整与目标检测相关的模型参数以及根据语义分割损失函数调整与语义分割相关的模型参数。
在本实施例中，进一步的，若图像样本存在问题或预设模型存在问题时，即使进行大量的迭代训练，预设模型的总损失函数也不会收敛，那么为了避免模型训练无休止的训练下去，则在确定出当前轮训练后得到的预设模型的总损失函数未收敛时，至少可以采用如下两种方法进行处理：
第一种，若所述总损失函数未收敛，则判断基于所述图像样本集迭代训练预设模型的当前累计训练时长是否达到预设的时长阈值。
若当前累计训练时长达到所述时长阈值，则说明训练时长较长，图像样本存在问题或预设模型可能存在问题，则停止训练，并发出未收敛的提示信息，以便用户能够基于该提示信息进行异常处理。
若当前累计训练时长未达到时长阈值，则说明训练未有问题，则根据目标检测损失函数调整与目标检测相关的模型参数以及根据语义分割损失函数调整与语义分割相关的模型参数。
第二种，若所述总损失函数未收敛，则判断基于所述图像样本集迭代训练预设模型的当前累计迭代次数是否达到预设的次数阈值；
若当前累计训练次数达到所述系数阈值，停止训练，并发出未收敛的提示信息。
若当前累计训练次数达到所述系数阈值，则说明训练时长较长，图像样本存在问题或预设模型可能存在问题，则停止训练，并发出未收敛的提示信息，以便用户能够基于该提示信息进行异常处理。
若当前累计训练次数未达到所述系数阈值，则说明训练未有问题，则根据目标检测损失函数调整与目标检测相关的模型参数以及根据语义分割损失函数调整与语义分割相关的模型参数。
在本实施例中，总损失函数由目标检测损失函数和语义分割损失函数组合而成，其中，目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，所述语义分割损失函数用于表征所述图像样本的像素标签与模型预测的物体类别之间的差异。对于仅包括目标框标签的图像样本来说，仅进行目标检测损失函数的计算，依据该目标检测损失函数可调整优化与目标检测相关的模型参数。对于同时包括目标框标签和像素标签的图像样本来说，既要进行目标检测损失函数的计算，又要进行语义分割损失函数的计算，可以依据目标检测损失函数和语义分割损失函数调整优化两次模型参数，即根据目标检测损失函数调整与目标检测相关的模型参数以及根据语义分割损失函数调整与语义分割相关的模型参数，在调整优化时，可以采用梯度下降法。
在本实施例中，根据目标检测损失函数调整与目标检测相关的模型参数以及根据语义分割损失函数调整与语义分割相关的模型参数的具体过程为：预设模型包括有编码模块和解码模块。根据目标检测损失函数，调整当前轮训练后得到的预设模型的编码模块中与目标检测相关的模型参数，以及，根据语义分割损失函数，调整当前轮训练后得到的预设模型的编码模块和解码模块中与语义分割相关的模型参数。
具体的，若预设模型为神经网络模型，则神经网络的前N层为编码模块，N层之后剩余的层为解码模块。
在本实施例中，进一步的，在训练得到自动驾驶语义分割模型之后，为了确定自动驾驶语义分割模型的语义分割效果，则需要对自动驾驶语义分割模型进行测试，该测试过程具体为：获取测试样本集，其中，所述测试样本集中的所有测试样本均具有目标框标签，且所述测试样本集中的部分测试样本还具有像素标签；所述目标框标签用于标识所述测试样本中的目标框在所述测试样本中的位置，像素标签用于标识所述测试样本中的目标框所涉及物体的物体类别；基于所述测试样本集测试所述自动驾驶语义分割模型，得到测试结果；基于测试结果发出针对所述自动驾驶语义分割模型的测试报告。
具体的，基于测试结果发出针对自动驾驶语义分割模型的测试报告的具体过程为：确定测试结果中各测试样本的预测位置与其对应的目标框标签之间的差异，以及确定测试结果中部分测试样本的预测物体类别与其对应的像素标签之间的差异。若差异均在预设范围内，则发出自动驾驶语义分割模型合格的测试报告。若存在部分差异未在预设范围内，则发出自动驾驶语义分割模型不合格的测试报告，以便用户基于该测试报告对自动驾驶语义分割模型进行调整。
在本实施例中，进一步的，在训练得到自动驾驶语义分割模型将其上线到车辆中，获取车辆行驶方向的路面图像，基于自动驾驶语义分割模型对路面图像进行语义分割，最后根据语义分割结果执行相应的驾驶动作。
本公开的实施例提供的自动驾驶语义分割模型的训练方法，首先基于车辆行驶方向的路面图像获取图像样本集，该图像样本集中的所有图像样本均具有目标框标签，且图像样本集中的部分图像样本还具有像素标签。然后基于图像样本集对预设模型进行训练，直至预设模型的总损失函数收敛，得到自动驾驶语义分割模型。这里所述的总损失函数包括目标检测损失函数和语义分割损失函数，该目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，该语义分割损失函数用于表征图像样本的像素标签与模型预测的物体类别之间的差异。可见，本公开的实施例在自动驾驶语义分割模型训练时，无需使用全量的带有像素标签的图像样本，而仅用到了少量的带有像素标签的图像样本进行模型训练，不仅能够节省标注像素标签的人力成本，而且能够降低模型训练的算力成本。另外，由于模型训练时采用了全量带目标框标签的图像样本，而这种带目标框标签的图像样本具有丰富的图像信息，因此使用带目标框标签的图像样本和少量带像素标签的图像样本训练自动驾驶语义分割，在降低训练自动驾驶语义分割模型所耗费的人工和算力成本的同时，提高自动驾驶语义分割的准确性。
第二方面，依据第一方面所述的方法，本公开的另一个实施例还提供了一种辅助驾驶方法，如图2所示，所述方法主要包括：
201、利用摄像头朝向车辆行驶方向的采集设备采集车辆行驶方向的路面图像，其中，在采集路面图像的过程中维持采集设备的主轴与预设平面的俯仰角为预设数值。
202、将每一帧路面图像定义为一个图像样本。
203、对各图像样本进行目标框检测，基于目标框检测得到的目标框为各图像样本标注目标框标签。
204、基于部分图像样本的目标框所涉及物体的物体类别为所述部分图像样本标注像素标签。
205、基于标注后的图像样本形成图像样本集，其中图像样本集中的所有图像样本均具有目标框标签，且所述图像样本集中的部分图像样本还具有像素标签。
具体的，如图3所示，图像样本集中100％的图像样本中具有目标框标签，5％的图像样本具有像素标签。
206、基于图像样本集迭代训练预设模型。
207、在每轮训练后，分别确定所述目标检测损失函数和所述语义分割损失函数在当前轮训练中所占权重。
208、确定所述目标检测损失函数和所述语义分割损失函数分别与其各自权重的乘积，并将两个乘积的加和确定为总损失函数的损失值。
209、确定所述损失值是否小于预设阈值，若确定损失值小于预设阈值，执行210；否则，执行211。
210、确定总损失函数收敛，则将该轮训练后得到的预设模型确定为所述自动驾驶语义分割模型，执行步骤214。
211、确定总损失函数未收敛，则判断基于所述图像样本集迭代训练预设模型的当前累计训练时长是否达到预设的时长阈值；若当前累计训练时长达到所述时长阈值，执行212；否则，执行213。
212、停止训练。
213、根据所述目标检测损失函数，调整当前轮训练后得到的预设模型的编码模块中与目标检测相关的模型参数，以及，根据所述语义分割损失函数，调整当前轮训练后得到的预设模型的编码模块和解码模块中与语义分割相关的模型参数，并依据调整后的模型参数进入下一轮训练，执行步骤206。
具体的，如图3所示，图3示意出预设模型的结构，该预设模型包括编码模块(Encoder)和解码模块(Encoder)。
214、获取测试样本集，其中，所述测试样本集中的所有测试样本均具有目标框标签，且所述测试样本集中的部分测试样本还具有像素标签；所述目标框标签用于标识所述测试样本中的目标框在所述测试样本中的位置，所述像素标签用于标识所述测试样本中的目标框所涉及物体的物体类别。
215、基于所述测试样本集测试所述自动驾驶语义分割模型，得到测试结果；
216、基于测试结果发出针对所述自动驾驶语义分割模型的测试报告。
第三方面，依据图1或图2所示的方法，本公开的另一个实施例还提供了一种自动驾驶语义分割模型的训练装置，如图4所示，所述装置主要包括：
获取单元31，用于基于车辆行驶方向的路面图像，获取图像样本集，其中，所述图像样本集中的所有图像样本均具有目标框标签，且所述图像样本集中的部分图像样本还具有像素标签；所述目标框标签用于标识对应的图像样本中的目标框在所述图像样本中的位置，所述像素标签用于标识对应的图像样本中的目标框所涉及物体的物体类别；训练单元32，用于基于所述图像样本集对预设模型进行训练，直至所述预设模型的总损失函数收敛，得到自动驾驶语义分割模型，其中，所述总损失函数包括目标检测损失函数和语义分割损失函数，所述目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，所述语义分割损失函数用于表征所述图像样本的像素标签与模型预测的物体类别之间的差异。
本公开的实施例提供的自动驾驶语义分割模型的训练装置，首先基于车辆行驶方向的路面图像获取图像样本集，该图像样本集中的所有图像样本均具有目标框标签，且图像样本集中的部分图像样本还具有像素标签。然后基于图像样本集对预设模型进行训练，直至预设模型的总损失函数收敛，得到自动驾驶语义分割模型。这里所述的总损失函数包括目标检测损失函数和语义分割损失函数，该目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，该语义分割损失函数用于表征图像样本的像素标签与模型预测的物体类别之间的差异。可见，本公开的实施例在自动驾驶语义分割模型训练时，无需使用全量的带有像素标签的图像样本，而仅用到了少量的带有像素标签的图像样本进行模型训练，不仅能够节省标注像素标签的人力成本，而且能够降低模型训练的算力成本。另外，由于模型训练时采用了全量带目标框标签的图像样本，而这种带目标框标签的图像样本具有丰富的图像信息，因此使用带目标框标签的图像样本和少量带像素标签的图像样本训练自动驾驶语义分割，在降低训练自动驾驶语义分割模型所耗费的人工和算力成本的同时，提高自动驾驶语义分割的准确性。
在一些实施例中，如图5所示，所述训练单元32，用于基于所述图像样本集迭代训练所述预设模型；其中，在每轮训练后，判断所述预设模型的总损失函数是否收敛，若所述总损失函数收敛，则将该轮训练后得到的预设模型确定为所述自动驾驶语义分割模型；若所述总损失函数未收敛，则根据所述目标检测损失函数调整与目标检测相关的模型参数以及根据所述语义分割损失函数调整与语义分割相关的模型参数，依据调整后的模型参数进入下一轮训练。
在一些实施例中，如图5所示，所述训练单元32包括：
第一确定模块321，用于分别确定所述目标检测损失函数和所述语义分割损失函数在当前轮训练中所占权重；确定所述目标检测损失函数和所述语义分割损失函数分别与其各自权重的乘积，并将两个乘积的加和确定为总损失函数的损失值；
第二确定模块322，用于确定所述损失值是否小于预设阈值。
在一些实施例中，如图5所示，所述训练单元32包括：
调整模块323，用于根据所述目标检测损失函数，调整当前轮训练后得到的预设模型的编码模块中与目标检测相关的模型参数；以及，根据所述语义分割损失函数，调整当前轮训练后得到的预设模型的编码模块和解码模块中与语义分割相关的模型参数。
在一些实施例中，如图5所示，所述获取单元31，包括：
采集模块311，用于采集车辆行驶方向的路面图像；
定义模块312，用于将每一帧路面图像定义为一个图像样本；
标注模块313，用于对各所述图像样本进行目标框检测，基于目标框检测得到的目标框为各所述图像样本标注目标框标签；基于部分图像样本的目标框所涉及物体的物体类别为所述部分图像样本标注像素标签。
在一些实施例中，采集模块311，用于利用摄像头朝向车辆行驶方向的采集设备采集车辆行驶方向的路面图像，其中，在采集路面图像的过程中维持所述采集设备的主轴与预设平面的俯仰角为预设数值。
在一些实施例中，如图5所示，所述训练单元32还包括：
第一判断模块324，用于若所述总损失函数未收敛，则判断基于所述图像样本集迭代训练预设模型的当前累计训练时长是否达到预设的时长阈值；若当前累计训练时长达到所述时长阈值，停止训练。
在一些实施例中，如图5所示，所述训练单元32还包括：
第二判断模块325，用于若所述总损失函数未收敛，则判断基于所述图像样本集迭代训练预设模型的当前累计迭代次数是否达到预设的次数阈值；若当前累计训练次数达到所述系数阈值，停止训练。
在一些实施例中，如图5所示，所述装置还包括：
测试单元33，用于获取测试样本集，其中，所述测试样本集中的所有测试样本均具有目标框标签，且所述测试样本集中的部分测试样本还具有像素标签；所述目标框标签用于标识所述测试样本中的目标框在所述测试样本中的位置，所述像素标签用于标识所述测试样本中的目标框所涉及物体的物体类别；基于所述测试样本集测试所述自动驾驶语义分割模型，得到测试结果；
报告单元34，用于基于测试结果发出针对所述自动驾驶语义分割模型的测试报告。
第三方面的实施例提供的自动驾驶语义分割模型的训练装置，可以用以执行第一方面或第二方面的实施例所提供的自动驾驶语义分割模型的训练方法，相关的用于的含义以及具体的实施方式可以参见第一方面或第二方面的实施例中的相关描述，在此不再详细说明。
第四方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中任一项所述的自动驾驶语义分割模型的训练方法。
存储介质可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
第五方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行上述中任一项所述的自动驾驶语义分割模型的训练方法。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照本公开的实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (15)
1.一种自动驾驶语义分割模型的训练方法，其特征在于，所述方法包括：
基于车辆行驶方向的路面图像，获取图像样本集，其中，所述图像样本集中的所有图像样本均具有目标框标签，且所述图像样本集中的部分图像样本还具有像素标签；所述目标框标签用于标识对应的图像样本中的目标框在所述图像样本中的位置，所述像素标签用于标识对应的图像样本中的目标框所涉及物体的物体类别；
基于所述图像样本集对预设模型进行训练，直至所述预设模型的总损失函数收敛，得到自动驾驶语义分割模型，其中，所述总损失函数包括目标检测损失函数和语义分割损失函数，所述目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，所述语义分割损失函数用于表征所述图像样本的像素标签与模型预测的物体类别之间的差异。
2.根据权利要求1所述的方法，其特征在于，基于所述图像样本集对预设模型进行训练，直至所述预设模型的总损失函数收敛，得到自动驾驶语义分割模型，包括：
基于所述图像样本集迭代训练所述预设模型；其中，
在每轮训练后，判断所述预设模型的总损失函数是否收敛；
若所述总损失函数收敛，则将该轮训练后得到的预设模型确定为所述自动驾驶语义分割模型；
若所述总损失函数未收敛，则根据所述目标检测损失函数调整与目标检测相关的模型参数以及根据所述语义分割损失函数调整与语义分割相关的模型参数，依据调整后的模型参数进入下一轮训练。
3.根据权利要求2所述的方法，其特征在于，判断所述预设模型的总损失函数是否收敛，包括：
分别确定所述目标检测损失函数和所述语义分割损失函数在当前轮训练中所占权重；
确定所述目标检测损失函数和所述语义分割损失函数分别与其各自权重的乘积，并将两个乘积的加和确定为总损失函数的损失值；
确定所述损失值是否小于预设阈值。
4.根据权利要求2所述的方法，其特征在于，根据所述目标检测损失函数调整与目标检测相关的模型参数以及根据所述语义分割损失函数调整与语义分割相关的模型参数，包括：
根据所述目标检测损失函数，调整当前轮训练后得到的预设模型的编码模块中与目标检测相关的模型参数；以及，
根据所述语义分割损失函数，调整当前轮训练后得到的预设模型的编码模块和解码模块中与语义分割相关的模型参数。
5.根据权利要求1所述的方法，其特征在于，基于车辆行驶方向的路面图像，获取图像样本集，包括：
采集车辆行驶方向的路面图像；
将每一帧路面图像定义为一个图像样本；
对各所述图像样本进行目标框检测，基于目标框检测得到的目标框为各所述图像样本标注目标框标签；
基于部分图像样本的目标框所涉及物体的物体类别为所述部分图像样本标注像素标签。
6.根据权利要求5所述的方法，其特征在于，采集车辆行驶方向的路面图像，包括：
利用摄像头朝向车辆行驶方向的采集设备采集车辆行驶方向的路面图像，其中，在采集路面图像的过程中维持所述采集设备的主轴与预设平面的俯仰角为预设数值。
7.根据权利要求2所述的方法，其特征在于，还包括：
若所述总损失函数未收敛，则判断基于所述图像样本集迭代训练预设模型的当前累计训练时长是否达到预设的时长阈值；
若当前累计训练时长达到所述时长阈值，停止训练。
8.根据权利要求2所述的方法，其特征在于，还包括：
若所述总损失函数未收敛，则判断基于所述图像样本集迭代训练预设模型的当前累计迭代次数是否达到预设的次数阈值；
若当前累计训练次数达到系数阈值，停止训练。
9.根据权利要求1所述的方法，其特征在于，在得到自动驾驶语义分割模型之后，所述方法还包括：
获取测试样本集，其中，所述测试样本集中的所有测试样本均具有目标框标签，且所述测试样本集中的部分测试样本还具有像素标签；所述目标框标签用于标识所述测试样本中的目标框在所述测试样本中的位置，所述像素标签用于标识所述测试样本中的目标框所涉及物体的物体类别；
基于所述测试样本集测试所述自动驾驶语义分割模型，得到测试结果；
基于测试结果发出针对所述自动驾驶语义分割模型的测试报告。
10.一种自动驾驶语义分割模型的训练装置，其特征在于，所述装置包括：
获取单元，用于基于车辆行驶方向的路面图像，获取图像样本集，其中，所述图像样本集中的所有图像样本均具有目标框标签，且所述图像样本集中的部分图像样本还具有像素标签；所述目标框标签用于标识对应的图像样本中的目标框在所述图像样本中的位置，所述像素标签用于标识对应的图像样本中的目标框所涉及物体的物体类别；训练单元，用于基于所述图像样本集对预设模型进行训练，直至所述预设模型的总损失函数收敛，得到自动驾驶语义分割模型，其中，所述总损失函数包括目标检测损失函数和语义分割损失函数，所述目标检测损失函数用于表征所述图像样本的目标框标签与模型预测的目标框位置之间的差异，所述语义分割损失函数用于表征所述图像样本的像素标签与模型预测的物体类别之间的差异。
11.根据权利要求10所述的装置，其特征在于，所述训练单元，用于基于所述图像样本集迭代训练所述预设模型；其中，在每轮训练后，判断所述预设模型的总损失函数是否收敛，若所述总损失函数收敛，则将该轮训练后得到的预设模型确定为所述自动驾驶语义分割模型；若所述总损失函数未收敛，则根据所述目标检测损失函数调整与目标检测相关的模型参数以及根据所述语义分割损失函数调整与语义分割相关的模型参数，依据调整后的模型参数进入下一轮训练。
12.根据权利要求11所述的装置，其特征在于，所述训练单元包括：
第一确定模块，用于分别确定所述目标检测损失函数和所述语义分割损失函数在当前轮训练中所占权重；确定所述目标检测损失函数和所述语义分割损失函数分别与其各自权重的乘积，并将两个乘积的加和确定为总损失函数的损失值；
第二确定模块，用于确定所述损失值是否小于预设阈值。
13.根据权利要求11所述的装置，其特征在于，所述训练单元包括：
调整模块，用于根据所述目标检测损失函数，调整当前轮训练后得到的预设模型的编码模块中与目标检测相关的模型参数；以及，根据所述语义分割损失函数，调整当前轮训练后得到的预设模型的编码模块和解码模块中与语义分割相关的模型参数。
14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至9中任一项所述的自动驾驶语义分割模型的训练方法。
15.一种人机交互装置，其特征在于，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行权利要求1至9中任一项所述的自动驾驶语义分割模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123807.XA CN113313716B (zh) | 2020-02-27 | 2020-02-27 | 一种自动驾驶语义分割模型的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123807.XA CN113313716B (zh) | 2020-02-27 | 2020-02-27 | 一种自动驾驶语义分割模型的训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113313716A CN113313716A (zh) | 2021-08-27 |
| CN113313716B true CN113313716B (zh) | 2024-03-01 |
Family
ID=77370252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010123807.XA Active CN113313716B (zh) | 2020-02-27 | 2020-02-27 | 一种自动驾驶语义分割模型的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313716B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114596440B (zh) * | 2022-03-22 | 2023-08-04 | 小米汽车科技有限公司 | 语义分割模型的生成方法、装置、电子设备及存储介质 |
| CN114972761B (zh) * | 2022-06-20 | 2024-05-07 | 平安科技（深圳）有限公司 | 基于人工智能的车辆部件分割方法及相关设备 |
| CN115689946B (zh) * | 2022-12-29 | 2023-04-07 | 北京集度科技有限公司 | 图像修复方法、电子设备及计算机程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809187A (zh) * | 2015-04-20 | 2015-07-29 | 南京邮电大学 | 一种基于rgb-d数据的室内场景语义标注方法 |
| CN107134144A (zh) * | 2017-04-27 | 2017-09-05 | 武汉理工大学 | 一种用于交通监控的车辆检测方法 |
| CN107729908A (zh) * | 2016-08-10 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 一种机器学习分类模型的建立方法、装置及系统 |
| CN108537292A (zh) * | 2018-04-10 | 2018-09-14 | 上海白泽网络科技有限公司 | 语义分割网络训练方法、图像语义分割方法及装置 |
| CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
| WO2019098414A1 (ko) * | 2017-11-16 | 2019-05-23 | 삼성전자 주식회사 | 약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치 |
-
2020
- 2020-02-27 CN CN202010123807.XA patent/CN113313716B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809187A (zh) * | 2015-04-20 | 2015-07-29 | 南京邮电大学 | 一种基于rgb-d数据的室内场景语义标注方法 |
| CN107729908A (zh) * | 2016-08-10 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 一种机器学习分类模型的建立方法、装置及系统 |
| CN107134144A (zh) * | 2017-04-27 | 2017-09-05 | 武汉理工大学 | 一种用于交通监控的车辆检测方法 |
| WO2019098414A1 (ko) * | 2017-11-16 | 2019-05-23 | 삼성전자 주식회사 | 약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치 |
| CN108537292A (zh) * | 2018-04-10 | 2018-09-14 | 上海白泽网络科技有限公司 | 语义分割网络训练方法、图像语义分割方法及装置 |
| CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
Non-Patent Citations (2)
| Title |
|---|
| Wenfu Wang ; Yongjian Fu ; Zhijie Pan ; Xi Li ; Yueting Zhuang.Real-Time Driving Scene Semantic Segmentation.IEEE Access.2020,全文. * |
| 基于深度学习的行人检测算法研究;曹俊豪;中国优秀硕士学位论文全文数据库 (信息科技辑);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113313716A (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113313716B (zh) | 一种自动驾驶语义分割模型的训练方法及装置 | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN107886104A (zh) | 一种图像的标注方法 | |
| CN111461212A (zh) | 一种用于点云目标检测模型的压缩方法 | |
| Bianchi et al. | COCO-bridge: Structural detail data set for bridge inspections | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN107886105A (zh) | 一种图像的标注装置 | |
| CN114494275B (zh) | 一种用于移动终端图像分割模型训练方法和装置 | |
| CN112733864A (zh) | 模型训练方法、目标检测方法、装置、设备及存储介质 | |
| CN114550129B (zh) | 一种基于数据集的机器学习模型处理方法和系统 | |
| CN115457532A (zh) | 违停车辆车牌检测方法、装置、存储介质和计算机设备 | |
| CN115984640A (zh) | 一种基于组合蒸馏技术的目标检测方法、系统和存储介质 | |
| CN114781149A (zh) | 一种场景元素信息自动获取方法及系统 | |
| CN115063507A (zh) | 绘制虚拟车道线的方法及装置 | |
| CN113673589A (zh) | 基于边框距离度量的标签选择自适应增量检测方法及系统 | |
| CN114067221A (zh) | 一种遥感影像林地提取方法及系统及装置及介质 | |
| CN112380313A (zh) | 更新高精地图置信度的方法及装置 | |
| CN112380986A (zh) | 抗复杂街道背景干扰的车型检测方法、系统及存储介质 | |
| KR20210076660A (ko) | 합성곱 신경망 기반의 스테레오스코픽 이미지 화질 평가 방법 및 장치 | |
| CN116386060B (zh) | 一种水尺数据自动标注方法、装置、设备及介质 | |
| CN116071375B (zh) | 图像分割方法和装置、存储介质及电子设备 | |
| CN117576098B (zh) | 基于分割的细胞分裂均衡度评估方法及设备 | |
| CN115439450A (zh) | 用于自动驾驶的视频画面质量评价方法、装置、设备、存储介质 | |
| CN117540207A (zh) | 样本处理方法、装置、设备及计算机可读介质 | |
| CN117011884A (zh) | 基于ai训练的物种鉴定方法、系统、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |