CN115100491A - 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统 - Google Patents

一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统 Download PDF

Info

Publication number
CN115100491A
CN115100491A CN202211022946.9A CN202211022946A CN115100491A CN 115100491 A CN115100491 A CN 115100491A CN 202211022946 A CN202211022946 A CN 202211022946A CN 115100491 A CN115100491 A CN 115100491A
Authority
CN
China
Prior art keywords
segmentation
abnormal
image
module
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211022946.9A
Other languages
English (en)
Other versions
CN115100491B (zh
Inventor
徐龙生
庞世袭
孙振行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Kailin Environmental Protection Equipment Co ltd
Original Assignee
Shandong Kailin Environmental Protection Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Kailin Environmental Protection Equipment Co ltd filed Critical Shandong Kailin Environmental Protection Equipment Co ltd
Priority to CN202211022946.9A priority Critical patent/CN115100491B/zh
Publication of CN115100491A publication Critical patent/CN115100491A/zh
Application granted granted Critical
Publication of CN115100491B publication Critical patent/CN115100491B/zh
Priority to US18/350,768 priority patent/US11954917B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统，具体涉及图像分割系统技术领域，包括分割模块：将获取的输入图像送入分割网络获得分割预测图像，通过计算两个不同离散度量的方式来量化分割预测的不确定性；合成模块：利用条件生成式对抗网络使生成的数据分布同输入图像的数据分布相匹配，从而使模型能够基于特征图生成具有像素到像素对应关系的图像；差异模块：基于编码器、融合模块和解码器对输入图像、生成图像、语义特征图以及不确定性图进行建模和计算，生成针对异常物体的分割预测图；模型训练模块；集成预测模块。本发明在真实自动驾驶场景下对异常物体的分割方面有优异表现。

Description

一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
技术领域
本发明涉及图像分割系统领域，具体涉及一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
从深度学习方法的最新进展来看，计算机视觉技术已经有了长足的进展。与之前传统方法不同的是，基于卷积神经网络的方法具有较高的预测精度，因此此类方法目前已经成为图像分类、图像分割和目标检测的标准方法。然而上述方法虽然能够对独立同分布的场景具有较高的预测精度，但是对分布外的异常场景目标的预测精度却非常低甚至会失败。
由于数据分布发生偏移，一些传统的最先进的语义分割模型通常无法对异常物体进行精确分割，因此这种局限性限制了此类方法在一些关键且复杂的真实场景中的部署，例如自动驾驶。如果分割模型不能对道路中间出现的异常物体进行正确分割并将其识别为道路的一部分，那么上述错误的预测结果极有可能会导致交通事故的发生。具体来看，首先，像素的不确定性估计能够在一定程度上被用来检测异常物体，但是由于此类方法本身就存在一些噪声，因此其通常将异常物体当做一种训练类或者将其同背景类混为一体，造成分割精度下降；其次，从预测图像重新合成输入图像并进行比较虽然也能在一定程度上发现异常物体，但由于此类方法无法准确地对噪声块进行重建（可能会误将异常物体重建为多个训练类的组合），从而导致从预测图像和输入图像之间寻找异常物体变得异常复杂。
经过上述分析，虽然基于像素的不确定性估计方法和对预测图像的重建方法都可以在一定程度上实现对异常物体的分割，但势必会不可避免地引入其它预测误差。因此，如何发掘这两类方法预测结果之间的互补信息并将其进行有效融合，从而进一步提升分布外真实自动驾驶场景下的异常物体的检测精度正变得越来越重要。
发明内容
为了有效地对像素的不确定性估计和针对预测图像的重新合成方法进行融合，本发明提供一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统，本发明通过综合考虑不确定性估计方法和基于预测图像的合成方法的优势，实现了对城市真实自动驾驶场景中不同异常场景的鲁棒预测和估计。
为了实现上述目的，本发明提供如下技术方案：一种面向复杂自动驾驶场景的异常鲁棒分割系统，包括：
分割模块：首先将获取的输入图像送入分割网络，从而获得分割预测图像；然后通过计算两个不同离散度量的方式来量化分割预测的不确定性；
合成模块：利用条件生成式对抗网络使生成的数据分布同输入图像的数据分布相匹配，从而使模型能够基于特征图生成具有像素到像素对应关系的图像；
差异模块：基于编码器、融合模块和解码器对输入图像、生成图像、语义特征图以及不确定性图进行建模和计算，生成针对异常物体的分割预测图；
模型训练模块：基于构造的损失函数不断进行迭代训练，直到训练轮次或者训练精度达到设定阈值。保存其最小损失值时的网络模型。考虑到异常物体并不属于训练集中的任何一类，因此训练过程应该能在保证模型不对分布外数据中的特定对象过度拟合的前提下，使其能够对复杂真实场景下的异常物体进行鲁棒检测；
集成预测模块：将得到的不确定性预测作为差异模块的重点，利用训练好的网络模型对输入的图像数据进行预测得到异常物体的分割预测结果。
本发明还包括一种面向复杂自动驾驶场景的异常鲁棒分割系统的方法，其特征在于：包括如下步骤：
S1：分割模块
首先，需要将输入图像作为分割网络的输入获得中间层的语义特征图；
其次，基于
Figure 100002_DEST_PATH_IMAGE002
熵
Figure 100002_DEST_PATH_IMAGE004
和
Figure 100002_DEST_PATH_IMAGE005
距离
Figure 100002_DEST_PATH_IMAGE007
两个离散度量来量化语义特征图的不 确定性；
S2：合成模块
通过引入原始输入图像和合成图像之间的感知损失让模型能直接对图像的高等级的语义信息进行比较，而不是利用颜色和纹理的低等级的视觉特征；
S3：差异模块
通过训练网络来对原始图像和合成图像进行区分，并将生成的特征图与不确定性特征图进行逐像素关联，引导网络注意特征图中的高度不确定性区域；最后，对解码器来说，将特征图进行解码，并基于FPN对它们分别进行高级别的跳跃连接，最终得到复杂场景下异常物体的分割预测结果；
S4：模型训练模块：
通过将Ground Truth图像中void类标记为异常类的方式来覆盖不属于任何训练类的对象；
S5：集成预测模块：
使用加权平均值集成不同输入的预测结果，其中最优权重的大小可以通过网格搜索进行自动选择。
优选的，在S1中，两个距离的差值可以用来理解错误的分割预测，且可以分别被定义如下：
Figure 100002_DEST_PATH_IMAGE009
Figure 100002_DEST_PATH_IMAGE011
其中，
Figure 100002_DEST_PATH_IMAGE013
是
Figure 100002_DEST_PATH_IMAGE015
类的
Figure 100002_DEST_PATH_IMAGE016
概率。
优选的，在S2中，输入图像的像素
Figure 100002_DEST_PATH_IMAGE018
和合成图像的像素
Figure 100002_DEST_PATH_IMAGE020
之间的感知损失被定义 如下：
Figure 100002_DEST_PATH_IMAGE022
其中，
Figure 100002_DEST_PATH_IMAGE024
表示第
Figure 100002_DEST_PATH_IMAGE026
层，其包含
Figure 100002_DEST_PATH_IMAGE028
个元素和
Figure 100002_DEST_PATH_IMAGE030
层训练层。
优选的，在S4中，首先，待预测区域的预测语义将与不同的异常场景紧密相关；其次，待预测区域与高置信度的不确定性像素也是紧密相关的，从而引导网络能同时基于像素的不确定信息进行异常预测。
在上述技术方案中，本发明提供的技术效果和优点：
本发明提出一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统，对比之前的方法，在真实自动驾驶场景下对异常物体的分割方面有优异表现。
首先，本发明提出了一种新的像素级别的异常物体检测框架，该框架能够融合不确定性估计和再合成方法的优势；其次，本发明有效提升了不同的自动驾驶场景下异常物体检测的鲁棒性，同时还能够保持最先进的分割精度；最后，基于像素的不确定性估计方法和对预测图像的重建方法，能够满足绝大部分自动驾驶场景下异常物体分割任务的深度学习要求。这种思想也可以推广到不同的物体分割和再合成网络，帮助其它领域更好的完成深度学习任务。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种面向复杂自动驾驶场景的异常分割的网络学习流程示意图。
图2为本发明提供的异常鲁棒分割系统模型框架示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
本发明提供了如图1-图2所示一种面向复杂自动驾驶场景的异常鲁棒分割系统与方法，包括如下步骤：
S1：分割模块
首先，需要将输入图像作为分割网络的输入获得中间层的语义特征图；
其次，基于
Figure DEST_PATH_IMAGE031
熵
Figure DEST_PATH_IMAGE032
和
Figure DEST_PATH_IMAGE033
距离
Figure DEST_PATH_IMAGE034
两个离散度量来量化语义特征图的 不确定性。值得注意的是，上述两个距离的差值可以用来理解错误的分割预测，且可以分别 被定义如下：
Figure DEST_PATH_IMAGE035
Figure DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
是
Figure DEST_PATH_IMAGE038
类的
Figure DEST_PATH_IMAGE039
概率。
S2：合成模块
当条件生成对抗网络达到纳什均衡以后，虽然再合成模块能够生成图像，且能够 在一定程度上生成逼真的复杂自动驾驶场景下的物体和行人，但生成的图像难免会忽视颜 色或外观的低等级视觉信息，从而使模型方便地对图像信息进行逐像素对比。因此，本发明 通过引入原始输入图像和合成图像之间的感知损失让模型能直接对图像的高等级的语义 信息进行比较，而不是利用颜色和纹理的低等级的视觉特征。具体来看，输入图像的像素
Figure DEST_PATH_IMAGE040
和合成图像的像素
Figure DEST_PATH_IMAGE041
之间的感知损失被定义如下：
Figure DEST_PATH_IMAGE042
其中，
Figure DEST_PATH_IMAGE043
表示第
Figure DEST_PATH_IMAGE044
层，其包含
Figure DEST_PATH_IMAGE045
个元素和
Figure DEST_PATH_IMAGE046
层训练层。
S3：差异模块
首先，对编码器来说，每个图像都是通过编码器来提取特征。使用预训练的ResNet32来处理原始的输入图像和重合成图像，并使用简单的卷积神经网络来处理语义特征图。另外，引入一条新的多任务路径来对输入图像的不确定性进行估计；其次，对融合模块来说，利用图像的特征金字塔FPN来对输入图像、合成图像和语义特征图进行融合，并利用3×3卷积对它们之间的信息流进行传递。在这一步，本发明通过训练网络来对原始图像和合成图像进行区分，并将生成的特征图与不确定性特征图进行逐像素关联，引导网络注意特征图中的高度不确定性区域；最后，对解码器来说，将特征图进行解码，并基于FPN对它们分别进行高级别的跳跃连接，最终得到复杂场景下异常物体的分割预测结果。
S4：模型训练模块：
本发明通过添加新的源训练数据来训练条件生成式对抗网络的生成器。具体来说，可以通过将Ground Truth图像中void类标记为异常类的方式来覆盖不属于任何训练类的对象。首先，待预测区域的预测语义将与不同的异常场景（将异常物体识别为一个已知训练类型、将异常物体识别为多种类型的混合、将异常物体识别为背景类）紧密相关，而不是只关心其中一种；其次，待预测区域与高置信度的不确定性像素也是紧密相关的，从而引导网络能同时基于像素的不确定信息进行异常预测。
S5：集成预测模块：
使用加权平均值集成不同输入的预测结果，其中最优权重的大小可以通过网格搜索进行自动选择。
如图2所示，对整个异常分割系统模型框架做解释说明。
图2中所对应的直接输入为原始图像，输入中的其它图像（合成图像、预测图像和多种差异性图像）均可以基于原始图像自动生成，不需要单独对其进行手动输入。
具体来看，用户输入原始图像进入异常物体分割系统，分割系统内部自动进行特征向量提取、特征编码、特征融合和特征解码，然后输出异常分割预测结果与用户进行交互。
本发明通过综合考虑不确定性估计方法和基于预测图像的合成方法的优势，实现了对城市真实自动驾驶场景中不同异常场景（将异常物体识别为一个已知训练类、将异常物体识别为多种类的混合、将异常物体识别为背景类）的鲁棒预测和估计。
考虑到传统基于预测图像的重新合成方法主要是将异常物体的识别问题转换为识别输入图像和合成图像的差异性问题，本发明通过集成不同的不确定性度量方法来对上述传统方法进行改进，有效提升了输入图像和重建图像之间的可区分性。
本发明所提出的框架主要有以下优势。首先，本发明所提出的框架能够更好地对分布外场景进行适应。显然这样的优势能够使其更好地在复杂真实场景中进行部署；其次，本发明所提出的框架可以在不降低分割网络准确度的前提下有效提升其在分布外场景中的泛化能力。显然这样的优势可以让其只需要引入较少的额外计算工作量，就可以极大降低向分割网络添加异常检测器的复杂性，而上述复杂性的引入通常是其它异常检测任务的一种常见或者无法避免的缺陷。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (5)

1.一种面向复杂自动驾驶场景的异常鲁棒分割方法，其特征在于：包括如下步骤：S1： 分割模块：首先，需要将输入图像作为分割网络的输入获得中间层的语义特征图；其次，基 于
Figure DEST_PATH_IMAGE002
熵
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
距离
Figure DEST_PATH_IMAGE007
两个离散度量来量化语义特征图的不确定性；S2：合成 模块：通过引入原始输入图像和合成图像之间的感知损失让模型能直接对图像的高等级的 语义信息进行比较，而不是利用颜色和纹理的低等级的视觉特征；S3：差异模块：通过训练 网络来对原始图像和合成图像进行区分，并将生成的特征图与不确定性特征图进行逐像素 关联，引导网络注意特征图中的高度不确定性区域；最后，对解码器来说，将特征图进行解 码，并基于FPN对它们分别进行高级别的跳跃连接，最终得到复杂场景下异常物体的分割预 测结果；S4：模型训练模块：通过将Ground Truth图像中void类标记为异常类的方式来覆盖 不属于任何训练类的对象；S5：集成预测模块：使用加权平均值集成不同输入的预测结果， 其中最优权重的大小通过网格搜索进行自动选择。
2.根据权利要求1所述的一种面向复杂自动驾驶场景的异常鲁棒分割方法，其特征在 于：在S1中，两个距离的差值用来理解错误的分割预测，且分别被定义如下：
Figure DEST_PATH_IMAGE009
、
Figure DEST_PATH_IMAGE011
其中，
Figure DEST_PATH_IMAGE013
是
Figure DEST_PATH_IMAGE015
类 的
Figure DEST_PATH_IMAGE016
概率。
3.根据权利要求1所述的一种面向复杂自动驾驶场景的异常鲁棒分割方法，其特征在 于：在S2中，输入图像的像素
Figure DEST_PATH_IMAGE018
和合成图像的像素
Figure DEST_PATH_IMAGE020
之间的感知损失被定义如下：
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE024
表示第
Figure DEST_PATH_IMAGE026
层，其包含
Figure DEST_PATH_IMAGE028
个元素和
Figure DEST_PATH_IMAGE030
层训练层。
4.根据权利要求1所述的一种面向复杂自动驾驶场景的异常鲁棒分割方法，其特征在于：在S4中，首先，待预测区域的预测语义将与不同的异常场景紧密相关；其次，待预测区域与高置信度的不确定性像素也是紧密相关的，从而引导网络能同时基于像素的不确定信息进行异常预测。
5.应用如权利要求1-4任一项所述的一种面向复杂自动驾驶场景的异常鲁棒分割方法的系统，其特征在于：包括：分割模块：首先将获取的输入图像送入分割网络，从而获得分割预测图像；然后通过计算两个不同离散度量的方式来量化分割预测的不确定性；合成模块：利用条件生成式对抗网络使生成的数据分布同输入图像的数据分布相匹配，从而使模型能够基于特征图生成具有像素到像素对应关系的图像；差异模块：基于编码器、融合模块和解码器对输入图像、生成图像、语义特征图以及不确定性图进行建模和计算，生成针对异常物体的分割预测图；模型训练模块：基于构造的损失函数不断进行迭代训练，直到训练轮次或者训练精度达到设定阈值，保存其最小损失值时的网络模型，考虑到异常物体并不属于训练集中的任何一类，因此训练过程能在保证模型不对分布外数据中的特定对象过度拟合的前提下，使其能够对复杂真实场景下的异常物体进行鲁棒检测；集成预测模块：将得到的不确定性预测作为差异模块的重点，利用训练好的网络模型对输入的图像数据进行预测得到异常物体的分割预测结果。
CN202211022946.9A 2022-08-25 2022-08-25 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统 Active CN115100491B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211022946.9A CN115100491B (zh) 2022-08-25 2022-08-25 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
US18/350,768 US11954917B2 (en) 2022-08-25 2023-07-12 Method of segmenting abnormal robust for complex autonomous driving scenes and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211022946.9A CN115100491B (zh) 2022-08-25 2022-08-25 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统

Publications (2)

Publication Number Publication Date
CN115100491A true CN115100491A (zh) 2022-09-23
CN115100491B CN115100491B (zh) 2022-11-18

Family

ID=83301688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211022946.9A Active CN115100491B (zh) 2022-08-25 2022-08-25 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统

Country Status (2)

Country Link
US (1) US11954917B2 (zh)
CN (1) CN115100491B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455890A (zh) * 2023-11-20 2024-01-26 浙江大学 一种基于改进集成深度学习的儿童肠套叠空气灌肠结果预测装置

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN110837836A (zh) * 2019-11-05 2020-02-25 中国科学技术大学 基于最大化置信度的半监督语义分割方法
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN111639524A (zh) * 2020-04-20 2020-09-08 中山大学 一种自动驾驶图像语义分割优化方法
CN111652129A (zh) * 2020-06-02 2020-09-11 北京联合大学 一种基于语义分割和多特征融合的车辆前障碍物检测方法
CN112381101A (zh) * 2021-01-13 2021-02-19 南京理工大学 一种基于类别原型回归的红外道路场景分割方法
CN112508977A (zh) * 2020-12-29 2021-03-16 天津科技大学 一种面向自动驾驶场景的基于深度学习的语义分割方法
CN112883820A (zh) * 2021-01-26 2021-06-01 上海应用技术大学 基于激光雷达点云的道路目标3d检测方法及系统
US20210303925A1 (en) * 2018-06-12 2021-09-30 Tomtom Global Content B.V. Generative Adversarial Networks for Image Segmentation
CN113537462A (zh) * 2021-06-30 2021-10-22 华为技术有限公司 数据处理方法、神经网络的量化方法及相关装置
CN113780292A (zh) * 2021-08-31 2021-12-10 北京交通大学 一种基于证据推理的语义分割网络模型不确定性量化方法
CN113887306A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 驾驶场景感知检测方法、装置、电子设备及存储介质
CN114299286A (zh) * 2021-12-06 2022-04-08 南京理工大学 一种异常天气下基于类别分组的道路场景语义分割方法
CN114372506A (zh) * 2021-12-09 2022-04-19 青岛智能产业技术研究院 一种网络结构节点类别预测方法及系统
WO2022079201A1 (en) * 2020-10-14 2022-04-21 Deep Safety Gmbh System for detection and management of uncertainty in perception systems
CN114399640A (zh) * 2022-03-24 2022-04-26 之江实验室 一种不确定区域发现与模型改进的道路分割方法及装置
CN114419058A (zh) * 2022-01-28 2022-04-29 北京文安智能技术股份有限公司 一种用于交通道路场景的图像语义分割模型训练方法
CN114549842A (zh) * 2022-04-22 2022-05-27 山东建筑大学 基于不确定性知识域自适应的半监督图像分割方法及系统
CN114677507A (zh) * 2022-03-11 2022-06-28 吉林化工学院 一种基于双向注意力网络的街景图像分割方法及系统
CN114742799A (zh) * 2022-04-18 2022-07-12 华中科技大学 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN114926819A (zh) * 2022-05-31 2022-08-19 海南大学 一种复杂场景的未知异常障碍物识别方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101664582B1 (ko) * 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US11170228B2 (en) * 2018-09-19 2021-11-09 Here Global B.V. One-dimensional vehicle ranging
US20200088883A1 (en) * 2018-09-19 2020-03-19 Here Global B.V. One-dimensional vehicle ranging
CN112020686B (zh) * 2019-03-28 2024-07-12 百度时代网络技术（北京）有限公司 用于自动驾驶的基于qp样条路径和螺旋路径的参考线平滑方法
CN112166618B (zh) * 2019-04-29 2022-07-12 百度时代网络技术（北京）有限公司 自动驾驶系统、自动驾驶系统的传感器单元、用于操作自动驾驶车辆的计算机实现的方法
US11702102B2 (en) * 2020-11-19 2023-07-18 Waymo Llc Filtering return points in a point cloud based on radial velocity measurement
JP7414020B2 (ja) * 2021-01-07 2024-01-16 トヨタ自動車株式会社 自動駐車システム及び自動駐車システムの制御方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210303925A1 (en) * 2018-06-12 2021-09-30 Tomtom Global Content B.V. Generative Adversarial Networks for Image Segmentation
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN110837836A (zh) * 2019-11-05 2020-02-25 中国科学技术大学 基于最大化置信度的半监督语义分割方法
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN111639524A (zh) * 2020-04-20 2020-09-08 中山大学 一种自动驾驶图像语义分割优化方法
CN111652129A (zh) * 2020-06-02 2020-09-11 北京联合大学 一种基于语义分割和多特征融合的车辆前障碍物检测方法
WO2022079201A1 (en) * 2020-10-14 2022-04-21 Deep Safety Gmbh System for detection and management of uncertainty in perception systems
CN112508977A (zh) * 2020-12-29 2021-03-16 天津科技大学 一种面向自动驾驶场景的基于深度学习的语义分割方法
CN112381101A (zh) * 2021-01-13 2021-02-19 南京理工大学 一种基于类别原型回归的红外道路场景分割方法
CN112883820A (zh) * 2021-01-26 2021-06-01 上海应用技术大学 基于激光雷达点云的道路目标3d检测方法及系统
CN113537462A (zh) * 2021-06-30 2021-10-22 华为技术有限公司 数据处理方法、神经网络的量化方法及相关装置
CN113780292A (zh) * 2021-08-31 2021-12-10 北京交通大学 一种基于证据推理的语义分割网络模型不确定性量化方法
CN113887306A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 驾驶场景感知检测方法、装置、电子设备及存储介质
CN114299286A (zh) * 2021-12-06 2022-04-08 南京理工大学 一种异常天气下基于类别分组的道路场景语义分割方法
CN114372506A (zh) * 2021-12-09 2022-04-19 青岛智能产业技术研究院 一种网络结构节点类别预测方法及系统
CN114419058A (zh) * 2022-01-28 2022-04-29 北京文安智能技术股份有限公司 一种用于交通道路场景的图像语义分割模型训练方法
CN114677507A (zh) * 2022-03-11 2022-06-28 吉林化工学院 一种基于双向注意力网络的街景图像分割方法及系统
CN114399640A (zh) * 2022-03-24 2022-04-26 之江实验室 一种不确定区域发现与模型改进的道路分割方法及装置
CN114742799A (zh) * 2022-04-18 2022-07-12 华中科技大学 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN114549842A (zh) * 2022-04-22 2022-05-27 山东建筑大学 基于不确定性知识域自适应的半监督图像分割方法及系统
CN114926819A (zh) * 2022-05-31 2022-08-19 海南大学 一种复杂场景的未知异常障碍物识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINGYU LI等: "Lane-DeepLab: Lane semantic segmentation in automatic driving scenarios for high-definition maps", 《NEUROCOMPUTING》 *
YUNXIANG LIU等: "Simulation of Automatic Overtaking Based on OBU and RSU", 《2021 3RD INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND TECHNOLOGIES IN EDUCATION (CSTE)》 *
刘步实: "复杂交通场景下轻量化视觉感知方法研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *
商伟超: "城市道路潜在危险交通场景识别与风险评估研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455890A (zh) * 2023-11-20 2024-01-26 浙江大学 一种基于改进集成深度学习的儿童肠套叠空气灌肠结果预测装置
CN117455890B (zh) * 2023-11-20 2024-05-31 浙江大学 一种基于改进集成深度学习的儿童肠套叠空气灌肠结果预测装置

Also Published As

Publication number Publication date
US11954917B2 (en) 2024-04-09
CN115100491B (zh) 2022-11-18
US20240071096A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
Berman et al. Single image dehazing using haze-lines
CN111709408B (zh) 图像真伪检测方法和装置
Michieli et al. Adversarial learning and self-teaching techniques for domain adaptation in semantic segmentation
CN108549895A (zh) 一种基于对抗网络的半监督语义分割方法
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
KR102508067B1 (ko) 약지도 학습 기반 시멘틱 영상 분할 학습 데이터 생성 장치 및 방법
CN112215190A (zh) 基于yolov4模型的违章建筑检测方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN115331012B (zh) 基于零样本学习的联合生成式图像实例分割方法及系统
Iqbal et al. FogAdapt: Self-supervised domain adaptation for semantic segmentation of foggy images
CN113780243A (zh) 行人图像识别模型的训练方法、装置、设备以及存储介质
CN115100491B (zh) 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
CN112200193A (zh) 基于多属性融合的分布式车牌识别方法、系统、装置
CN116229106A (zh) 一种基于双u结构的视频显著性预测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
Huang et al. A correlation context-driven method for sea fog detection in meteorological satellite imagery
CN118115927A (zh) 目标追踪方法、装置、计算机设备、存储介质及程序产品
CN118351405A (zh) 多模态图像的融合方法、检测方法、设备、介质和车辆
CN114119532A (zh) 一种基于遥感影像与孪生神经网络的建筑物变化检测方法
Mao et al. Stealing stable diffusion prior for robust monocular depth estimation
CN115482463B (zh) 一种生成对抗网络矿区土地覆盖识别方法及系统
Wu et al. DHGAN: Generative adversarial network with dark channel prior for single‐image dehazing
CN115661692A (zh) 一种基于改进CenterNet检测网络的无人机检测方法及系统
CN114973202A (zh) 一种基于语义分割的交通场景障碍物检测方法
CN116778277B (zh) 基于渐进式信息解耦的跨域模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant