CN111191654A - 道路数据生成方法、装置、电子设备及存储介质 - Google Patents

道路数据生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111191654A
CN111191654A CN201911390393.0A CN201911390393A CN111191654A CN 111191654 A CN111191654 A CN 111191654A CN 201911390393 A CN201911390393 A CN 201911390393A CN 111191654 A CN111191654 A CN 111191654A
Authority
CN
China
Prior art keywords
road
model
image
generation
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911390393.0A
Other languages
English (en)
Other versions
CN111191654B (zh
Inventor
董欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911390393.0A priority Critical patent/CN111191654B/zh
Publication of CN111191654A publication Critical patent/CN111191654A/zh
Application granted granted Critical
Publication of CN111191654B publication Critical patent/CN111191654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的道路数据生成方法、装置、电子设备及存储介质，该方法包括：构建包括生成模型和判别模型的生成对抗网络；获取第一自定义数据、多类场景下的多张真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数作为训练样本，对生成对抗网络进行训练，以基于生成模型得到最优生成模型；场景控制参数表征场景类别；基于最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成待生成道路图像和待生成道路图像对应的分割标签图像；第一自定义数据和第二自定义数据具有相同的分布规律。本发明能够解决获得特定场景的道路图像及其对应交通线标签时的时间成本和人力成本大的问题，提高获得道路数据的效率。

Description

道路数据生成方法、装置、电子设备及存储介质
技术领域
本发明涉及智能交通领域，具体而言，涉及一种道路数据生成方法、装置、电子设备及存储介质。
背景技术
随着科技的不断发展，智能交通技术也在不断的创新，完善道路交通感知系统有助于推动城市交通更加的智能化和信息化，并能够加快交通运输业向安全、高效、智能的方向综合发展。
现有的道路感知模型一般采用基于深度学习的语义分割方法，该方法为了能在不同的场景下，比如强光场景、夜间场景、雨天场景等都有比较好的分割效果，需要大量的场景图片数据进行训练。但是，大量的道路场景图片获取困难，而且获得的道路图像需要额外进行交通线标签标注，时间成本和人力成本大，降低了获得道路数据的效率。
发明内容
有鉴于此，本发明的目的在于提供一种道路数据生成方法、装置、电子设备及存储介质，用于解决获得特定场景的道路图像及其对应交通线标签时的时间成本和人力成本大的问题，提高获得道路数据的效率。为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种道路数据生成方法,包括：
构建包括生成模型和判别模型的生成对抗网络；
获取第一自定义数据、多类场景下的多张真实道路图像和所述真实道路图像对应的分割标签图像、所述多类场景对应的场景控制参数作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；所述场景控制参数表征场景类别；
基于所述最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成所述待生成道路图像和所述待生成道路图像对应的分割标签图像；所述第一自定义数据和所述第二自定义数据具有相同的分布规律。
可选地，所述获取第一自定义数据、多类场景下的多张真实道路图像和所述真实道路图像对应的分割标签图像、所述多类场景对应的场景控制参数作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型的步骤，包括：将所述第一自定义数据和所述场景控制参数输入到所述生成模型获得仿真道路图像和所述仿真道路图像对应的分割标签图像；将所述仿真道路图像和所述仿真道路图像对应的分割标签图像、真实道路图像和所述真实道路图像对应的分割标签图像输入所述判别模型，获得所述判别模型的输出概率值；利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型；固定所述最优判别模型的参数，基于所述第一自定义数据、场景控制参数、生成模型和最优判别模型，得到所述最优判别模型的输出概率值；利用所述最优判别模型的输出概率值对所述生成模型进行反向调节，得到最优生成模型。
可选地，所述构建包括生成模型和判别模型的生成对抗网络的步骤之前，所述方法还包括：获取所述多类场景下的多张真实道路图像；根据预设的编码方式确定每一类场景对应的场景控制参数；将每张所述道路图片中的交通线类别对应的像素值进行标记，获得每张所述道路图对应的分割标签图像。
可选地，所述生成模型和所述判别模型包括特征提取网络；所述特征提取网络包含包括至少一层卷积层；所述生成模型和所述判别模型具有第一分辨率；所述方法还包括：增加所述特征提取网络的卷积层数，以使所述最优生成模型和所述最优判别模型具有第二分辨率；所述第二分辨率大于所述第一分辨率；通过所述最优生成模型生成具有所述第二分辨率的仿真道路图像和所述仿真道路图像对应的分割标签图像。
可选地，所述方法还包括：通过所述特征提取网络提取所述仿真道路图像和所述仿真道路图像对应的分割标签图像的具有第一分辨率的特征图和具有第二分辨率的特征图；根据预设的权重对所述具有第一分辨率的特征图和所述具有第二分辨率的特征图进行卷积计算，获得所述第二分辨率的仿真道路图像和所述仿真道路图像对应的分割标签图像。
第二方面，本发明实施例提供一种道路数据生成装置，包括：构建模块、训练模块和生成模块；构建模块，用于构建包括生成模型和判别模型的生成对抗网络；所述构建模块，用于构建包括生成模型和判别模型的生成对抗网络；所述训练模块，用获取第一自定义数据、多类场景下的多张真实道路图像和所述真实道路图像对应的分割标签图像、所述多类场景对应的场景控制参数作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；所述场景控制参数表征场景类别；所述生成模块，基于所述最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成所述待生成道路图像和所述待生成道路图像对应的分割标签图像；所述第一自定义数据和所述第二自定义数据具有相同的分布规律。
可选地，所述训练模块具体用于：将所述第一自定义数据和所述场景控制参数输入到所述生成模型获得仿真道路图像和所述仿真道路图像对应的分割标签图像；将所述仿真道路图像和所述仿真道路图像对应的分割标签图像、真实道路图像和所述真实道路图像对应的分割标签图像输入所述判别模型，获得所述判别模型的输出概率值；利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型；固定所述最优判别模型的参数，基于所述第一自定义数据、场景控制参数、生成模型和最优判别模型，得到所述最优判别模型的输出概率值；利用所述最优判别模型的输出概率值对所述生成模型进行反向调节，得到最优生成模型。
可选地，所述道路数据生成装置还包括：获取模块和确定模块和标记模块；所述获取模块，用于获取所述多类场景下的真实道路图像；所述确定模块，用于根据预设的编码方式确定每一类场景对应的场景控制参数；所述标记模块，用于将每张所述道路图片中的交通线类别对应的像素值进行标记，获得每张所述道路图对应的分割标签图像；所述确定模块，用于将所述多张道路图像和每张所述道路图对应的分割标签图像确定为所述真实图像集。
第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现如第一方面所述的道路数据生成方法。
第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的道路数据生成方法。
相比于现有技术，本发明提供的一种道路数据生成方法、装置、电子设备及存储介质，该方法包括：构建包括生成模型和判别模型的生成对抗网络；获取第一自定义数据、多类场景下的多张真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数作为训练样本，对生成对抗网络进行训练，以基于生成模型得到最优生成模型；场景控制参数表征场景类别；基于最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成待生成道路图像和待生成道路图像对应的分割标签图像；第一自定义数据和第二自定义数据具有相同的分布规律。本发明通过真实带有标签的道路图像和道路场景对应场景的场景控制参数训练生成对抗网络，获得最优的生成模型，通过最优的生成模型和指定的场景控制参数能够生成大量指定场景的道路图像，在生成道路图像的同时，能够得到道路图像对应的分割标签图像，解决了获得特定场景的道路图像及其对应交通线标签时的时间成本和人力成本大的问题，提高获得道路数据的效率本发明实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种道路数据生成方法的示意性流程图；
图2为本发明实施例提供的一种生成对抗网络训练过程示意图；
图3为本发明实施例提供的另一种道路数据生成方法的示意性流程图；
图4为本发明实施例提供的另一种生成对抗网络训练过程示意图；
图5本发明实施例提供的另一种生成对抗网络训练过程示意图；
图6本发明实施例提供的一种道路数据生成装置的功能模块图；
图7本发明实施例提供的一种电子设备的方框示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，道路感知模型是智能交通的基础，通过道路感知可以获得车道线、导向线以及斑马线等交通线信息，从而有效识别、车辆压线、不按导向线行驶、逆行等交通事件。现实情况中，不同场景的道路信息对道路感知的效果有不同的影响，例如，强光场景、夜间场景、白天场景和雨天场景，单一场景数据训练的道路感知模型无法适应各个场景下的道路识别，所以需要通过大量的场景数据训练感知模型适应不同的场景，因此可以通过生成大量的场景数据来训练道路感知模型，以提高道路感知模型的识别效果。现有的方法中，无法生成指定场景的道路图像以及对应的分割标签，这样一来训练出来的道路感知模型就无法在实际场景中进行准确识别。
为了解决上述技术问题，本发明提供一种道路数据生成方法，引入“场景控制参数”来生成指定场景的道路图像，其中“场景控制参数”表征场景类别，并结合生成对抗网络获得道路数据生成模型，通过一个模型就可以生成指定场景的道路图像，同时，通过将采集的图像进行标签标注获得分割标签图像，并利用采集的真实场景图和对应的分割标签图像、场景控制参数训练路数据生成模型，使得生成的道路图像具有分割标签图像，利用带有分割标签的道路生成图像来进行道路感知模型的训练，即可以提高道路感知模型的识别效果。
为了方便描述本发明实施例提供的技术方案，首先参见图1，图1为本发明实施例提供的一种道路数据生成方法的示意性流程图，该方法包括：
步骤201、构建包括生成模型和判别模型的生成对抗网络。
可以理解是，在本申请实施例中，构建的模型整体结构为生成对抗网络，该生成对抗网络包括生成模型和判别模型，其中，生成模型用于根据输入的随机数据和场景控制参数生成对应的道路图像和道路图像对应的分割标签；判别模型用于在生成对抗网络的训练阶段，判别生成模型生成的道路图像和道路图像对应的分割标签的真伪。
其中，生成模型和判别模型都可以是由卷积神经网络组成，判别模型还可以包括特征提取网络和分类网络，特征提取网络用于提取输入的道路图像和分割标签的特征，判别网络用于对特征进行分类，得到最有可能的判别结果，作为一种方式，判别模型的特征提取网络可以包括至少一层卷积层；在本申请实施例中，生成模型可以不断进行上采样产生道路图像和分割标签，判别模型可以不断进行卷积下采样提取道路图像和分割标签的特征，判断道路图像和分割标签是来自于生成模型还是真实的道路图像和分割标签。
步骤202、获取第一自定义数据、多类场景下的多张真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数作为训练样本，对生成对抗网络进行训练，以基于生成模型得到最优生成模型。
可以理解的是，在本申请实施例中，构建出生成对抗网络之后，需要对生成对抗网络进行训练，首先需要获取训练集，训练集可以是多类场景下的多张真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数，其中，作为一种可能的实现方式，获取多类场景下的真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数的具体方式可以如下：
第一步、采集多类场景下的多张真实道路图像。
可以理解的是，可以通过视频图像采集设备、智能设备等采集不同道路场景下的道路图像，采集的道路图像可以包含多类场景，例如强光场景、夜间场景、雨天场景等。
第二步、根据预设的编码方式确定每一类场景对应的场景控制参数。
可以理解的是，在一种可能的实现方式下，可以通过预设的编码方式(例如独热编码(one-hot))对每一类场景进行编码，获得对应的场景控制参数，例如，采集的道路图像中的场景是白天，则对应的场景控制参数为10，集的道路图像中的场景是黑夜，则对应的场景控制参数为01，通过不同的场景控制参数可以区别不同的场景，进而可以通过向生成器输入指定的场景控制参数，即可生成指定场景下的道路图像，有效解决了获取不同场景道路图像困难的问题。
第三步、将每张道路图片中的交通线类别对应的像素值进行标记，获得每张道路图像向对应的分割标签图像。
可以理解的是，道路图像中的交通线类别可以是以下任意一项或组合：车道线、人行横道、斑马线和导向线，在一种可能的实现方式中，可以通过标注软件来进行分割标签标注，以获得道路图像对应的分割标签图像，具体的，可以通过逐像素标注的方法将每一类交通线对应的像素值标注为不同的像素值，获得分割标签图像，例如，车道线为类别1，人行横道为类别2，导向线为类别3，转换标注结果为单通道的掩码图像，该掩码图像图片上车道线位置的所有像素值可以为1，人行横道的像素值可以为2，导向线的像素值可以为3，背景的像素值可以为0，获得道路图像对应的分割标签图像之后，可以将每一张道路图像和对应的分割标签图像进行合并，组成道路图像和分割标签图像对，作为训练样本，对生成对抗网络进行训练，在一种可能的实现方式下，可以将道路图像和分割标签图像组成一个多维度的图像数据，维度可以为h*w*c，其中h和w分别表征图像对的高和宽，h*w即可以表征图像对的尺寸，c表征图像对的通道，在本申请实施例中，采集的道路图像具有RGB三个通道，分割标签图像具有一通道，所以道路图像和分割标签图像组成一个多维度的图像数据具有四通道，即c可以为4。
还可以理解的是，第一自定义数据可以是通过随机数发生器随机获取的数据分布规律服从均匀分布的随机噪声数据，将随机噪声数据输入到生成网络之后，可以生成图像数据。
获得第一自定义数据、获取多类场景下的真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数之后，可以采用单独交替迭代训练原则对生成对抗网络进行训练，即，先训练判别网络再训练生成网络并重复这一过程直至达到迭代次数，并按照评估标准选择出最优生成模型，下面仅以一次训练过程为例进行说明：
请参见图2，图2为本发明实施例提供的一种生成对抗网络训练过程示意图，先将第一自定数据和场景控制参数输入至生成模型，可以得到仿真道路图像和仿真道路图像对应的分割标签图像，该仿真道路图像和仿真道路图像对应的分割标签图像为假样本，同时获取真样本，真样本为真实道路图像和真实道路图像对应的分割标签图像；然后，人为定义真样本和假样本的标签，即，定义真实道路图像和真实道路图像对应的分割标签图像的标签为1，仿真道路图像和仿真道路图像对应的分割标签图像的标签为0，接下来，将真实道路图像和真实道路图像对应的分割标签图像、仿真道路图像和仿真道路图像对应的分割标签图像输入判别模型进行训练，并依据误差反向调节判别模型的参数，重复上述步骤直至判别模型对真实道路图像和真实道路图像对应的分割标签图像的判别结果逼近1、对仿真道路图像和仿真道路图像对应的分割标签图像的判别结果逼近0，这样就完成了判别模型的训练。
判别模型训练完成之后，需要固定判别模型的参数并对生成模型进行训练，对于生成模型，训练的目的是生成尽可能逼真的样本，而生成模型生成的样本的真实程度只有通过判别模型才能知道，所以在训练生成模型时需要联合判别模型才能达到训练的目的。将第一自定义数据和场景控制参数再次输入生成模型得到仿真道路图像和仿真道路图像对应的分割标签图像，将该仿真道路图像和仿真道路图像对应的分割标签图像设置为真样本，也就是人为定义仿真道路图像和仿真道路图像对应的分割标签图像的标签为1；然后，将仿真道路图像和仿真道路图像对应的分割标签图像输入判别模型得到误差，并利用误差反向调节生成模型的参数，重复这一过程直至最优判别模型对仿真道路图像和仿真道路图像对应的分割标签图像的判别结果逼近1，即完成生成模型的训练。
请参见图3，图3为本发明实施例提供的另一种道路数据生成方法的示意性流程图，其中，生成对抗网络的一次训练过程可以包括子步骤202-1～子步骤202-5，下面进行详细描述：
子步骤202-1、将第一自定义数据和场景控制参数输入到生成模型获得仿真道路图像和仿真道路图像对应的分割标签图像。
子步骤202-2、将仿真道路图像和仿真道路图像对应的分割标签图像、真实道路图像和真实道路图像对应的分割标签图像输入判别模型，获得判别模型的输出概率值。
在本申请实施例中，通过上述子步骤202-1获得仿真道路图像和仿真道路图像对应的分割标签图像之后，显然得到的仿真道路图像和仿真道路图像对应的分割标签图像为生成模型生成的假样本，此时需要获取真样本即真实道路图像和真实道路图像对应的分割标签图像，同时，人为定义真样本和假样本的标签，例如，可以定义仿真道路图像和仿真道路图像对应的分割标签图像的标签为0，真实道路图像和真实道路图像对应的分割标签图像的标签为1，这样就得到了仿真道路图像和仿真道路图像对应的分割标签图像的标签及其标签、真实道路图像和真实道路图像对应的分割标签图像及其标签。此时就可以利用假样本和真样本对判别模型进行训练，具体的训练过程可以包括以下过程：
首先，通过判别模型的特征提取网络真实道路图像和真实道路图像对应的分割标签图像、仿真道路图像和仿真道路图像对应的分割标签图像进行特征特征提取，得到图像特征，然后，利用分类网络对图像特征进行分类，得到判别模型的输出概率值，将上一步获得的图像特征输入分类网络之后，判别模型的输出概率值有2个，分别为属于类别1的概率和类别0的概率，类别1即为真实道路图像和真实道路图像对应的分割标签图像，类别0即为仿真道路图像和仿真道路图像对应的分割标签图像，例如，属于类别1的概率为0.6、属于类别0的概率为0.4。
子步骤202-3、利用判别模型的输出概率值对判别模型进行反向调节，得到最优判别模型。
在本申请实施例中，将真实道路图像和真实道路图像对应的分割标签图像和仿真道路图像和仿真道路图像对应的分割标签图像输入判别模型，得到判别模型的输出概率值之后，依据误差反向调节判别模型的参数，具体过程可以包括：
第一步、分别获取真实道路图像和真实道路图像对应的分割标签图像和仿真道路图像对应的分割标签图像对应的标签。由于训练判别模型时，仿真道路图像对应的分割标签图像为假样本，真实道路图像和真实道路图像为真样本，故获取到的真实道路图像和真实道路图像的标签为1，仿真道路图像对应的分割标签图像的标签为0，此时判别模型相当于一个二分类网络。同时，对于二分类问题，可以将预测值经过一个非线性变换缩小到0到1之间，并设置一个阈值(例如，0.5)，小于0.5便是0，大于0.5便是1。例如，属于类别1的概率为0.6、属于类别0的概率为0.4，此时便认为预测值为1。
子步骤202-4、固定最优判别模型的参数，基于第一自定义数据、场景控制参数、生成模型和最优判别模型，得到最优判别模型的输出概率值。
在本实施例中，判别模型训练完成之后，需要固定最优判别模型的参数并对生成模型进行训练。在训练过程中，需要将生成模型及最优判别模型串联。具体来说，首先固定最优判别模型的参数，随机获得第一自定义数据和场景控制参数输入生成模型得到仿真道路图像和对应的分割标签图像，将该仿真道路图像对应的分割标签图像设置为真样本，也就是人为定义仿真道路图像和对应的分割标签图像的标签为1；然后，将仿真道路图像和对应的分割标签图像输入最优判别模型，得到最优判别模型的输出概率值。
子步骤202-5、利用最优判别模型的输出概率值对生成模型进行反向调节，得到最优生成模型。
在本申请实施例中，生成对抗网络的优化过程可以如下式：
Figure BDA0002344764140000131
其中,V(G,D)为整个生成对抗网络的代价函数,x～pdata表示x采样自分布服从pdata的道路图片和分割标签对构成的数据集，z～pz表示z采样自分布服从pz的第一自定义数据，即先验噪声，y表示场景控制参数，可以为one-hot编码形式，D(x|y)表示在场景控制参数y的条件下，经过判别模型的输出，G(z|y)表示z在场景控制参数y的条件下经过生成模型的输出,D(G(z|y))表示G(z|y)经过判别模型的输出，
Figure BDA0002344764140000132
为在pdata分布下的期望，表达式如下：
Figure BDA0002344764140000133
Figure BDA0002344764140000134
为pz在分布下的期望，表达式如下：
Figure BDA0002344764140000135
Figure BDA0002344764140000136
表示训练判别模型使得V(G,D)最大化，
Figure BDA0002344764140000137
表示训练生成模型使得V(G,D)最小化，训练完成后，生成模型可以生成指定场景的道路图片和对应的分割标签图像。
步骤203、基于最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成待生成道路图像和待生成道路图像对应的分割标签图像。
可以理解的是，第一自定义数据和第二自定义数据具有相同的分布规律。
本发明实施例提供的道路数据生成方法，包括：构建包括生成模型和判别模型的生成对抗网络；获取第一自定义数据、多类场景下的多张真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数作为训练样本，对生成对抗网络进行训练，以基于生成模型得到最优生成模型；场景控制参数表征场景类别；基于最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成待生成道路图像和待生成道路图像对应的分割标签图像；第一自定义数据和所述第二自定义数据具有相同的分布规律。本方法通过第一自定义数据、多类场景下的多张真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数作为训练样本，对生成对抗网络进行训练获得最优的生成模型，然后根据通过最优的生成模型生成指定场景下的道路图像，同时由于在训练过程中，训练样本中还包括道路图像对应的分割标签，所以生成的最优的生成模型同时能够生成道路图像对应的分割标签，解决了获得的道路图像需要额外进行交通线标签标注，时间成本和人力成本大的问题，提高获得道路图像的效率。
可选地，通过训练最优的生成模型来生成指定场景的道路图像和对应的分割标签图像，可以解决获得大量道路图像困难的问题，还能降低对道路交通线进行人工标注的成本，但是，生成的道路图像和对应的分割标签通常是低分辨率的图像，为了能够使得生成的道路图像和对应的分割标签具有高分辨率，便于道路感知模型训练，本申请实施例还提供一种提高生成的道路图像分辨率的实现方式，即在进行模型训练的过程中，逐渐增加网络层数，学习图像的细节特征，生成更高分辨率的道路图像和对应的分割标签，具体的实现方式如下：
增加特征提取网络的卷积层数，以使最优生成模型和最优判别模型具有第二分辨率；第二分辨率大于第一分辨率。
可以理解的是，生成模型和判别模型都可以包括特征提取网络；特征提取网络包含包括至少一层卷积层；生成模型和判别模型具有对称的卷积结构，卷积层数决定了生成模型和判别模型具有第一分辨率，通过增加网络层数，生成模型可以学习图像的细节特征，生成具有第二分辨率的道路图像和对应的分割标签，同时增加判别模型的卷积层数，利用具有第二分辨率的道路图像和对应的分割标签训练判别模型，使得生成模型和判别模型具有相同的分辨率。
例如，请参见图4，图4为本发明实施例提供的另一种生成对抗网络训练过程示意图。其中z和y分别表示第一自定义数据(先验噪声)和场景控制参数，将z和y组和输入到生成模型之后生成仿真道路图像和对应的分割标签他图像(xfake)，分辨率为m*n，将真实道路图像和对应的分割标签他图像(xreal)和场景控制参数一并输入判别模型，使得，通过增加生成模型和判别模型的卷积层数，逐渐可以将生成模型和判别模型的分辨率加倍，即生成模型逐渐能生成分辨率为2m*2n、2pm*2pn等，同样，判别模型逐渐能判别分辨率为2m*2n、2pm*2pn的图像。
同时，当加倍分辨率训练的时候，为了防止训练不稳定，使得样本的质量也极大的降低，还可以加入平滑的转换过程，增加模型训练的稳定性，具体实现方式如下：
第一步、通过特征提取网络提取仿真道路图像和仿真道路图像对应的分割标签图像的具有第一分辨率的特征图和具有第二分辨率的特征图。
第二步、根据预设的权重对具有第一分辨率的特征图和具有第二分辨率的特征图进行卷积计算，获得第二分辨率的仿真道路图像和仿真道路图像对应的分割标签图像。
例如，参见图5，图5为本申请实施例提供的另一种生成对抗网络训练过程示意图，假设当前生成的图像分辨率为m*n，当要加倍分辨率时，对于生成模型平滑过渡如下：
X2m*2n＝(1-α)*toRGBM(up2(Fm*n))+α*toRGBM(F2m*2n)
其中X2m*2n为生成模型输出的分辨率为2m*2n的仿真道路图像和仿真道路图像对应的分割标签图像数据，α为从0到1线性增长的权重值，Fm*n表示尺寸为m*n的特征图，F2m*2n表示尺寸为2m*2n的特征图，up2表示2倍上采样操作，通过最近邻插值加卷积实现，toRGBM表示将特征图卷积为4通道的RGBM道路图片和分割标签对，RGB是三通道的道路图片，是一通道的分割标签，对于判别模型平滑过渡如下：
Ym*n＝(1-α)*fromRGBMY(down2(X2m*2n))+α*down2(fromRGBMY(X2m*2n))
其中Ym*n为判别器平滑过渡输出，fromRGBMY为从道路图片、分割标签以及场景控制参数组合RGBMY卷积为特征图，down2表示为2倍下采样，M通过平均池化实现。
通过在训练的过程，增加生成模型和判别模型的分辨率使得生成的道路图像具有更高的分辨率，同时通过平滑操作，增加了模型训练的稳定性，提高了样本的质量。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种道路数据生成装置的实现方式，参见图6，图6示出了本发明实施例提供的一种道路数据生成装置道路数据生成装置的功能模块图。
需要说明的是，本实施例所提供的道路数据生成装置道路数据生成装置30，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容，该道路数据生成装置30包括：构建模块301、训练模块302及生成模块303。
构建模块301，用于构建包括生成模型和判别模型的生成对抗网络。
训练模块302，用于获取第一自定义数据、多类场景下的多张真实道路图像和真实道路图像对应的分割标签图像、多类场景对应的场景控制参数作为训练样本，对生成对抗网络进行训练，以基于生成模型得到最优生成模型。
上述的场景控制参数表征场景类别。
生成模块303，基于最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成待生成道路图像和待生成道路图像对应的分割标签图像。
上述的第一自定义数据和第二自定义数据具有相同的分布规律。
可以理解的是，构建模块301、训练模块302及生成模块303可以协同的执行步骤201～步骤203以实现相应的技术效果。
可选地，训练模块302具体用于：将第一自定义数据和场景控制参数输入到生成模型获得仿真道路图像和仿真道路图像对应的分割标签图像；将仿真道路图像和仿真道路图像对应的分割标签图像、真实道路图像和真实道路图像对应的分割标签图像输入判别模型，获得判别模型的输出概率值；利用判别模型的输出概率值对判别模型进行反向调节，得到最优判别模型；固定最优判别模型的参数，基于第一自定义数据、场景控制参数、生成模型和最优判别模型，得到最优判别模型的输出概率值；利用最优判别模型的输出概率值对述生成模型进行反向调节，得到最优生成模型。
可以理解是，训练模块302可以用来执行子步骤202-1～子步骤202-5以实现相应的技术效果。
可选地，道路数据生成装置道路数据生成装置30还包括：获取模块和确定模块和标记模块；获取模块，用于获取多类场景下的真实道路图像；确定模块，用于根据预设的编码方式确定每一类场景对应的场景控制参数；标记模块，用于将每张道路图片中的交通线类别对应的像素值进行标记，获得每张道路图对应的分割标签图像。
可选地，训练模块302还可以用来增加特征提取网络的卷积层数，以使最优生成模型和最优判别模型具有第二分辨率；第二分辨率大于第一分辨率；通过最优生成模型生成具有第二分辨率的仿真道路图像和仿真道路图像对应的分割标签图像。
可选地，训练模块302还可以用来通过特征提取网络提取仿真道路图像和仿真道路图像对应的分割标签图像的具有第一分辨率的特征图和具有第二分辨率的特征图；根据预设的权重对具有第一分辨率的特征图和具有第二分辨率的特征图进行卷积计算，获得第二分辨率的仿真道路图像和仿真道路图像对应的分割标签图像。
本发明实施例还提供的一种电子设备，参见图7，图7本发明实施例提供的一种电子设备的方框示意图，该电子设备50包括存储器51、处理器52和通信接口53。该存储器51、处理器52和通信接口53相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器51可用于存储软件程序及模块，如本发明实施例所提供的道路数据生成方法对应的程序指令/模块，处理器52通过执行存储在存储器51内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口53可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备50可以具有多个通信接口53。
其中，存储器51可以是但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。
处理器52可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备50可以实现本发明提供的任一种确定装配体检测角度的方法。该电子设备50可以是，但不限于，手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。该电子设备50还可以是具有通过本发明提供的道路数据生成方法来获取道路图像生成模型的电子设备。
本发明实施例还提供一种存储介质，其上存储有计算机程序，例如，当该存储介质存储于图6中的存储器51时，该计算机程序被处理器执行时实现如前述实施方式中任一项的道路数据生成方法，该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种道路数据生成方法，其特征在于，所述方法包括：
构建包括生成模型和判别模型的生成对抗网络；
获取第一自定义数据、多类场景下的多张真实道路图像和所述真实道路图像对应的分割标签图像、所述多类场景对应的场景控制参数作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；所述场景控制参数表征场景类别；
基于所述最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成所述待生成道路图像和所述待生成道路图像对应的分割标签图像；所述第一自定义数据和所述第二自定义数据具有相同的分布规律。
2.根据权利要求1所述的道路数据生成方法，其特征在于，所述获取第一自定义数据、多类场景下的多张真实道路图像和所述真实道路图像对应的分割标签图像、所述多类场景对应的场景控制参数作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型的步骤，包括：
将所述第一自定义数据和所述场景控制参数输入到所述生成模型获得仿真道路图像和所述仿真道路图像对应的分割标签图像；
将所述仿真道路图像和所述仿真道路图像对应的分割标签图像、真实道路图像和所述真实道路图像对应的分割标签图像输入所述判别模型，获得所述判别模型的输出概率值；
利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型；
固定所述最优判别模型的参数，基于所述第一自定义数据、所述场景控制参数、所述生成模型和最优判别模型，得到所述最优判别模型的输出概率值；
利用所述最优判别模型的输出概率值对所述生成模型进行反向调节，得到最优生成模型。
3.根据权利要求1所述的道路数据生成方法,其特征在于，在所述构建包括生成模型和判别模型的生成对抗网络的步骤之前，所述方法还包括：
采集所述多类场景下的多张真实道路图像；
根据预设的编码方式确定每一类场景对应的场景控制参数；
将每张所述道路图片中的交通线类别对应的像素值进行标记，获得每张所述道路图对应的分割标签图像。
4.根据权利要求2所述的道路数据生成方法，其特征在于，所述生成模型和所述判别模型包括特征提取网络；所述特征提取网络包含包括至少一层卷积层；所述生成模型和所述判别模型具有第一分辨率；所述方法还包括：
增加所述特征提取网络的卷积层数，以使所述最优生成模型和所述最优判别模型具有第二分辨率；所述第二分辨率大于所述第一分辨率；
通过所述最优生成模型生成具有所述第二分辨率的仿真道路图像和所述仿真道路图像对应的分割标签图像。
5.根据权利要求4所述的道路数据生成方法，其特征在于，所述方法还包括：
通过所述特征提取网络提取所述仿真道路图像和所述仿真道路图像对应的分割标签图像的具有第一分辨率的特征图和具有第二分辨率的特征图；
根据预设的权重对所述具有第一分辨率的特征图和所述具有第二分辨率的特征图进行卷积计算，获得所述第二分辨率的仿真道路图像和所述仿真道路图像对应的分割标签图像。
6.一种道路数据生成装置，其特征在于，包括：构建模块、训练模块和生成模块；
所述构建模块，用于构建包括生成模型和判别模型的生成对抗网络；
所述训练模块，用获取第一自定义数据、多类场景下的多张真实道路图像和所述真实道路图像对应的分割标签图像、所述多类场景对应的场景控制参数作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；所述场景控制参数表征场景类别；
所述生成模块，基于所述最优生成模型、待生成道路图像对应的场景控制参数和第二自定义数据，生成所述待生成道路图像和所述待生成道路图像对应的分割标签图像；所述第一自定义数据和所述第二自定义数据具有相同的分布规律。
7.根据权利要求6所述的道路数据生成装置，其特征在于，所述训练模块具体用于：
将所述第一自定义数据和所述场景控制参数输入到所述生成模型获得仿真道路图像和所述仿真道路图像对应的分割标签图像；
将所述仿真道路图像和所述仿真道路图像对应的分割标签图像、真实道路图像和所述真实道路图像对应的分割标签图像输入所述判别模型，获得所述判别模型的输出概率值；
利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型；
固定所述最优判别模型的参数，基于所述第一自定义数据、场景控制参数、生成模型和最优判别模型，得到所述最优判别模型的输出概率值；
利用所述最优判别模型的输出概率值对所述生成模型进行反向调节，得到最优生成模型。
8.根据权利要求6所述的道路数据生成装置，其特征在于，还包括：获取模块和确定模块和标记模块；
所述获取模块，用于获取所述多类场景下的真实道路图像；
所述确定模块，用于根据预设的编码方式确定每一类场景对应的场景控制参数；
所述标记模块，用于将每张所述道路图片中的交通线类别对应的像素值进行标记，获得每张所述道路图对应的分割标签图像。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-5任一项所述的道路数据生成方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的道路数据生成方法。
CN201911390393.0A 2019-12-30 2019-12-30 道路数据生成方法、装置、电子设备及存储介质 Active CN111191654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390393.0A CN111191654B (zh) 2019-12-30 2019-12-30 道路数据生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390393.0A CN111191654B (zh) 2019-12-30 2019-12-30 道路数据生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111191654A true CN111191654A (zh) 2020-05-22
CN111191654B CN111191654B (zh) 2023-03-24

Family

ID=70709458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390393.0A Active CN111191654B (zh) 2019-12-30 2019-12-30 道路数据生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111191654B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737416A (zh) * 2020-06-29 2020-10-02 重庆紫光华山智安科技有限公司 案件处理模型的训练方法、案件文本处理方法及相关装置
CN111753920A (zh) * 2020-06-30 2020-10-09 重庆紫光华山智安科技有限公司 特征构建方法、装置、计算机设备及存储介质
CN112686147A (zh) * 2020-12-30 2021-04-20 北京纵目安驰智能科技有限公司 车辆与车轮从属关系预测方法、系统、存储介质及终端
CN112991750A (zh) * 2021-05-14 2021-06-18 苏州博宇鑫交通科技有限公司 基于强化学习与生成式对抗网络的局部交通优化方法
CN113362420A (zh) * 2021-06-02 2021-09-07 北京百度网讯科技有限公司 道路标注生成方法、装置、设备以及存储介质
CN113569706A (zh) * 2021-07-23 2021-10-29 上海明略人工智能(集团)有限公司 视频场景分割点判断方法、系统、存储介质及电子设备
CN115797631A (zh) * 2022-12-01 2023-03-14 复亚智能科技(太仓)有限公司 一种不同行驶方向的道路范围1+1分割方法
CN117612140A (zh) * 2024-01-19 2024-02-27 福思(杭州)智能科技有限公司 道路场景的识别方法、装置和存储介质及电子设备

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN108416783A (zh) * 2018-02-01 2018-08-17 湖北工业大学 基于全卷积神经网路的道路场景分割方法
CN108520504A (zh) * 2018-04-16 2018-09-11 湘潭大学 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN108875732A (zh) * 2018-01-11 2018-11-23 北京旷视科技有限公司 模型训练与实例分割方法、装置和系统及存储介质
CN108898174A (zh) * 2018-06-25 2018-11-27 Oppo（重庆）智能科技有限公司 一种场景数据采集方法、场景数据采集装置及电子设备
CN109255364A (zh) * 2018-07-12 2019-01-22 杭州电子科技大学 一种基于深度卷积生成对抗网络的场景识别方法
CN109272455A (zh) * 2018-05-17 2019-01-25 西安电子科技大学 基于弱监督生成对抗网络的图像去雾方法
CN109426773A (zh) * 2017-08-24 2019-03-05 浙江宇视科技有限公司 一种道路识别方法和装置
US20190080206A1 (en) * 2017-09-08 2019-03-14 Ford Global Technologies, Llc Refining Synthetic Data With A Generative Adversarial Network Using Auxiliary Inputs
US20190094875A1 (en) * 2017-09-28 2019-03-28 Nec Laboratories America, Inc. Generating occlusion-aware bird eye view representations of complex road scenes
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN109582993A (zh) * 2018-06-20 2019-04-05 长安大学 城市交通场景图像理解与多视角群智优化方法
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"
CN109948707A (zh) * 2019-03-20 2019-06-28 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
CN109993082A (zh) * 2019-03-20 2019-07-09 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN109993710A (zh) * 2019-03-20 2019-07-09 西北工业大学 一种基于生成对抗网络的水下图像去噪方法
CN110022463A (zh) * 2019-04-11 2019-07-16 重庆紫光华山智安科技有限公司 动态场景下实现视频感兴趣区域智能编码方法及系统
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN110163093A (zh) * 2019-04-15 2019-08-23 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110189278A (zh) * 2019-06-06 2019-08-30 上海大学 一种基于生成对抗网络的双目场景图像修复方法
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法
CN110363215A (zh) * 2019-05-31 2019-10-22 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110458060A (zh) * 2019-07-30 2019-11-15 暨南大学 一种基于对抗学习的车辆图像优化方法及系统
US20190377981A1 (en) * 2018-06-11 2019-12-12 Venkata Subbarao Veeravasarapu System and Method for Generating Simulated Scenes from Open Map Data for Machine Learning
CN110567720A (zh) * 2019-08-07 2019-12-13 东北电力大学 非平衡小样本场景下风机轴承故障深度对抗诊断方法

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN109426773A (zh) * 2017-08-24 2019-03-05 浙江宇视科技有限公司 一种道路识别方法和装置
US20190080206A1 (en) * 2017-09-08 2019-03-14 Ford Global Technologies, Llc Refining Synthetic Data With A Generative Adversarial Network Using Auxiliary Inputs
US20190094875A1 (en) * 2017-09-28 2019-03-28 Nec Laboratories America, Inc. Generating occlusion-aware bird eye view representations of complex road scenes
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"
CN108875732A (zh) * 2018-01-11 2018-11-23 北京旷视科技有限公司 模型训练与实例分割方法、装置和系统及存储介质
CN108416783A (zh) * 2018-02-01 2018-08-17 湖北工业大学 基于全卷积神经网路的道路场景分割方法
CN108520504A (zh) * 2018-04-16 2018-09-11 湘潭大学 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN109272455A (zh) * 2018-05-17 2019-01-25 西安电子科技大学 基于弱监督生成对抗网络的图像去雾方法
US20190377981A1 (en) * 2018-06-11 2019-12-12 Venkata Subbarao Veeravasarapu System and Method for Generating Simulated Scenes from Open Map Data for Machine Learning
CN109582993A (zh) * 2018-06-20 2019-04-05 长安大学 城市交通场景图像理解与多视角群智优化方法
CN108898174A (zh) * 2018-06-25 2018-11-27 Oppo（重庆）智能科技有限公司 一种场景数据采集方法、场景数据采集装置及电子设备
CN109255364A (zh) * 2018-07-12 2019-01-22 杭州电子科技大学 一种基于深度卷积生成对抗网络的场景识别方法
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN109948707A (zh) * 2019-03-20 2019-06-28 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
CN109993082A (zh) * 2019-03-20 2019-07-09 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN109993710A (zh) * 2019-03-20 2019-07-09 西北工业大学 一种基于生成对抗网络的水下图像去噪方法
CN110022463A (zh) * 2019-04-11 2019-07-16 重庆紫光华山智安科技有限公司 动态场景下实现视频感兴趣区域智能编码方法及系统
CN110163093A (zh) * 2019-04-15 2019-08-23 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法
CN110363215A (zh) * 2019-05-31 2019-10-22 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110189278A (zh) * 2019-06-06 2019-08-30 上海大学 一种基于生成对抗网络的双目场景图像修复方法
CN110458060A (zh) * 2019-07-30 2019-11-15 暨南大学 一种基于对抗学习的车辆图像优化方法及系统
CN110567720A (zh) * 2019-08-07 2019-12-13 东北电力大学 非平衡小样本场景下风机轴承故障深度对抗诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PATRICIA L. SUAREZ: "Learning image vegetation index through a conditional generative adversarial network", 《2017 IEEE SECOND ECUADOR TECHNICAL CHAPTERS MEETING (ETCM)》 *
姚勤炜: "基于反馈调节的生成对抗网络训练方法", 《信号处理在地球物理——浙江省信号处理学会2018年学术年会论文集》 *
林元凯: "基于条件生成对抗网络的交通环境多任务语义分割方法研究", 《计量与测试技术》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737416B (zh) * 2020-06-29 2022-08-19 重庆紫光华山智安科技有限公司 案件处理模型的训练方法、案件文本处理方法及相关装置
CN111737416A (zh) * 2020-06-29 2020-10-02 重庆紫光华山智安科技有限公司 案件处理模型的训练方法、案件文本处理方法及相关装置
CN111753920A (zh) * 2020-06-30 2020-10-09 重庆紫光华山智安科技有限公司 特征构建方法、装置、计算机设备及存储介质
CN111753920B (zh) * 2020-06-30 2022-06-21 重庆紫光华山智安科技有限公司 特征构建方法、装置、计算机设备及存储介质
CN112686147A (zh) * 2020-12-30 2021-04-20 北京纵目安驰智能科技有限公司 车辆与车轮从属关系预测方法、系统、存储介质及终端
CN112686147B (zh) * 2020-12-30 2024-05-28 北京纵目安驰智能科技有限公司 车辆与车轮从属关系预测方法、系统、存储介质及终端
CN112991750A (zh) * 2021-05-14 2021-06-18 苏州博宇鑫交通科技有限公司 基于强化学习与生成式对抗网络的局部交通优化方法
CN112991750B (zh) * 2021-05-14 2021-11-30 苏州博宇鑫交通科技有限公司 基于强化学习与生成式对抗网络的局部交通优化方法
CN113362420A (zh) * 2021-06-02 2021-09-07 北京百度网讯科技有限公司 道路标注生成方法、装置、设备以及存储介质
CN113362420B (zh) * 2021-06-02 2023-08-29 北京百度网讯科技有限公司 道路标注生成方法、装置、设备以及存储介质
CN113569706B (zh) * 2021-07-23 2024-03-01 上海明略人工智能(集团)有限公司 视频场景分割点判断方法、系统、存储介质及电子设备
CN113569706A (zh) * 2021-07-23 2021-10-29 上海明略人工智能(集团)有限公司 视频场景分割点判断方法、系统、存储介质及电子设备
CN115797631A (zh) * 2022-12-01 2023-03-14 复亚智能科技(太仓)有限公司 一种不同行驶方向的道路范围1+1分割方法
CN115797631B (zh) * 2022-12-01 2023-12-01 复亚智能科技(太仓)有限公司 一种不同行驶方向的道路范围1+1分割方法
CN117612140A (zh) * 2024-01-19 2024-02-27 福思(杭州)智能科技有限公司 道路场景的识别方法、装置和存储介质及电子设备
CN117612140B (zh) * 2024-01-19 2024-04-19 福思(杭州)智能科技有限公司 道路场景的识别方法、装置和存储介质及电子设备

Also Published As

Publication number Publication date
CN111191654B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111191654B (zh) 道路数据生成方法、装置、电子设备及存储介质
CN109086722B (zh) 混合车牌识别方法、装置、电子设备
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
CN106951830B (zh) 一种基于先验条件约束的图像场景多对象标记方法
CN112560831B (zh) 一种基于多尺度空间校正的行人属性识别方法
CN116258719B (zh) 基于多模态数据融合的浮选泡沫图像分割方法和装置
Khalid et al. Automatic measurement of the traffic sign with digital segmentation and recognition<? show [AQ ID= Q1]?>
CN114663670A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN110728295A (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN114037640A (zh) 图像生成方法及装置
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
CN114005085A (zh) 一种视频中密集人群分布检测与计数方法
Tang et al. Improving cloud type classification of ground-based images using region covariance descriptors
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN115909445A (zh) 人脸图像伪造检测方法及相关设备
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN116453121A (zh) 一种车道线识别模型的训练方法及装置
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN115131634A (zh) 图像识别方法、装置、设备、存储介质及计算机程序产品
CN108875555B (zh) 基于神经网络的视频兴趣区域和显著目标提取与定位系统
CN114821519A (zh) 一种基于坐标注意力的交通标志识别方法及系统
CN112241736A (zh) 一种文本检测的方法及装置
CN111274936A (zh) 多光谱图像地物分类方法、系统、介质及终端
CN107729381B (zh) 基于多维特征识别的交互多媒体资源聚合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant