CN116543363B - 样本图像的获取方法、装置、电子设备及车辆 - Google Patents

样本图像的获取方法、装置、电子设备及车辆 Download PDF

Info

Publication number
CN116543363B
CN116543363B CN202310403715.0A CN202310403715A CN116543363B CN 116543363 B CN116543363 B CN 116543363B CN 202310403715 A CN202310403715 A CN 202310403715A CN 116543363 B CN116543363 B CN 116543363B
Authority
CN
China
Prior art keywords
image
attribute information
lane line
candidate
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310403715.0A
Other languages
English (en)
Other versions
CN116543363A (zh
Inventor
柴亚捷
张亚森
闫泽杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Automobile Technology Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd, Xiaomi Automobile Technology Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202310403715.0A priority Critical patent/CN116543363B/zh
Publication of CN116543363A publication Critical patent/CN116543363A/zh
Application granted granted Critical
Publication of CN116543363B publication Critical patent/CN116543363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提出一种样本图像的获取方法、装置、电子设备及车辆，涉及自动驾驶技术领域。包括：获取初始车道线检测模型对验证图像的预测结果；若预测结果与验证图像的标注结果之间的差异大于差异阈值，确定验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景；从未标注图像集中获取对应场景为目标场景的候选图像集；获取每张候选图像中包含的车道线对应的第二属性信息；将对应的第二属性信息与第一属性信息相同的候选图像，确定为样本图像。由此，可以基于车道线检测模型预测效果较差的验证图像、对应的第一属性信息及目标场景，准确、高效地从大量未标注图像中筛选出与验证图像相似的样本图像，用于对车道线检测模型进一步训练。

Description

样本图像的获取方法、装置、电子设备及车辆
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种样本图像的获取方法、装置、电子设备及车辆。
背景技术
车道线检测是自动驾驶中必不可少的一个环节，目的是从车体传感器得到的数据中分析并完成对道路中的车道线的感知，从而为后续，例如，道路路线规划、车体定位、自动驾驶环节模拟显示等等应用提供必要信息。
一个鲁棒的车道线检测模型，通常有一套覆盖不同场景，多样的、标注精准的车道线数据集训练生成。但是，由于车辆在实际道路行驶时场景复杂，并且会受到多方因素的影响，例如天气、遮挡、道路脏污、车道线标识不清晰等因素。因此，需要采集并标注海量的、多样性高的、场景涵盖丰富的样本数据，以对车道线检测模型进行训练。如果靠纯人工的方式从海量的数据中选取用于对车道线检测模型进行训练的样本数据并进行标注，需要巨大的人力成本，且效率较低。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种样本图像的获取方法，包括：
获取初始车道线检测模型对验证图像的预测结果；
响应于所述预测结果与所述验证图像的标注结果之间的差异大于差异阈值，确定所述验证图像中包含的车道线对应的第一属性信息及所述验证图像对应的目标场景；
对未标注图像集中的每张未标注图像进行场景识别，以从所述未标注图像集中获取对应场景为所述目标场景的候选图像集；
对所述候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息；
将对应的第二属性信息与所述第一属性信息相同的候选图像，确定为样本图像。
本公开第二方面实施例提出了一种样本图像的获取装置，包括：
第一获取模块，用于获取初始车道线检测模型对验证图像的预测结果；
第一确定模块，用于响应于所述预测结果与所述验证图像的标注结果之间的差异大于差异阈值，确定所述验证图像中包含的车道线对应的第一属性信息及所述验证图像对应的目标场景；
第二获取模块，用于对未标注图像集中的每张未标注图像进行场景识别，以从所述未标注图像集中获取对应场景为所述目标场景的候选图像集；
第三获取模块，用于对所述候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息；
第二确定模块，用于将对应的第二属性信息与所述第一属性信息相同的候选图像，确定为样本图像。
本公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的样本图像的获取方法。
本公开第四方面实施例提出了一种车辆，包括如本公开第三方面实施例提出的电子设备或与本公开第三方面实施例提出的电子设备连接。
本公开第五方面实施例提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如本公开第一方面实施例提出的样本图像的获取方法。
本公开提供的样本图像的获取方法、装置、电子设备及车辆，存在如下有益效果：
本公开实施例中，先获取初始车道线检测模型对验证图像的预测结果，若预测结果与验证图像的标注结果之间的差异大于差异阈值，确定验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景，从未标注图像集中获取对应场景为目标场景的候选图像集，对候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息，最后将对应的第二属性信息与第一属性信息相同的候选图像，确定为样本图像。由此，可以基于车道线检测模型预测效果较差的验证图像、对应的第一属性信息及目标场景，准确、高效地从大量未标注图像中筛选出与验证图像相似的样本图像，用于对车道线检测模型进一步训练，以提高车道线检测模型的性能。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开一实施例所提供的一种样本图像的获取方法的流程示意图；
图2为本公开另一实施例提供的一种样本图像的获取方法的示意图；
图3为本公开另一实施例所提供的一种样本图像的获取方法的流程示意图；
图4为本公开一实施例提供的一种车道线分类模型的结构示意图；
图5为本公开一实施例提供的一种分支网络的结构示意图；
图6为本公开一实施例所提供的样本图像的获取装置的结构示意图；
图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的样本图像的获取方法、装置、电子设备及车辆。
图1为本公开实施例所提供的一种样本图像的获取方法的流程示意图。
本公开实施例以该样本图像的获取方法被配置于样本图像的获取装置中来举例说明，该样本图像的获取装置可以应用于任一电子设备中，以使该电子设备可以执行样本图像的获取功能。
如图1所示，该样本图像的获取方法可以包括以下步骤：
步骤101，获取初始车道线检测模型对验证图像的预测结果。
其中，初始车道线检测模型可以为已经经过一批样本数据进行训练之后的车道线检测模型。
其中，初始车道线检测模型的样本数据可以为随机标注的一批数据，也可以为根据不同的场景挑选出来的数据，也可以为根据不同车道线类型挑选出来的的数据。本公开对此不做限定。
其中，验证图像可以为用于对初始车道线检测模型的性能进行验证的图像。验证图像的数量可以为多张。本公开对此不做限定。
其中，预测结果，可以为将验证图像输入初始车道线检测模型，初始车道线检测模型对验证图像进行车道线检测后，输出的结果。
步骤102，响应于预测结果与验证图像的标注结果之间的差异大于差异阈值，确定验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景。
其中，验证图像的标注结果可以包含验证图像中车道线的形状(单虚线、单实线、双虚线、双实线等)、车道线的位置，车道线的延伸方向等。
其中，差异阈值可以用于判断车道线检测模型对验证图像的预测结果是否准确。当预测结果与验证图像的标注结果之间的差异大于差异阈值，则确定车道线检测模型对验证图像的预测结果不准确。当预测结果与验证图像的标注结果之间的差异小于差异阈值，则确定车道线检测模型对验证图像的预测结果较理想。
当确定车道线检测模型预测效果不理想的验证图像之后，可以进一步对验证图像进行分析，以获取与验证图像相似的样本图像，进而基于样本图像对初始车道先检测模型进行训练，以快速、高效地提高车道线检测模型的性能。本公开实施例中，可以先获取中验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景，之后获取车道线与第一属性信息相同，场景与目标场景相同的图像作为样本图像。
其中，第一属性信息中可以包含车道线的类别(比如，白色实线、白色虚线、双白线、黄色实线、黄色虚线、双黄线、白色实虚线、黄色实虚线、道路边缘线等)。可选的，第一属性信息还可以包含车道线的数量等。本公开对此不做限定。
可选的，可以对验证图像中的车道线进行识别，以获取第一属性信息。比如，将验证图像输入车道线识别模型中，以获取车道线对应的第一属性信息。
其中，验证图像对应的目标场景可以包括天气(晴天、阴天、雾霾、下雨、下雪)，场景(城市、高速、郊区、乡村、环路、十字路口、隧道)，时间(白天、傍晚、日落)，交通状态(拥堵、非拥堵、正常)，道路信息(直道、弯道)等中的一种或者多种，本公开对此不做限定。
可选的，可以对验证图像进行场景识别，以获取目标场景。比如，将验证图像输入场景识别模型中，以获取车道线对应的目标场景。其中，场景识别模型可以由一个基于卷积神经网络的多头的图像分类网络构成。
步骤103，对未标注图像集中的每张未标注图像进行场景识别，以从未标注图像集中获取对应场景为目标场景的候选图像集。
其中，未标注图像，可以为采集的大量未标注的用于车道线检测模型训练的图像。比如，可以为车辆在行驶过程中采集的图像。或者，也可以为开源数据库中获取的包含车道图像。本公开对此不做限定。
可选的，可以将未标注图像集中的每张未标注图像输入场景识别模型中，以获取每张未标注图像对应的场景，之后筛选出场景与目标场景相同的未标注图像作为候选图像集中的候选图像。
举例来说，若目标场景为雨天，则从未标注图像中获取场景为雨天的图像作为候选图像中的候选图像。
步骤104，对候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息。
其中，第二属性信息可以包含天气(晴天、阴天、雾霾、下雨、下雪)，场景(城市、高速、郊区、乡村、环路、十字路口、隧道)，时间(白天、傍晚、日落)，交通状态(拥堵、非拥堵、正常)，道路信息(直道、弯道)等中的一种或者多种，本公开对此不做限定。
可选的，可以基于预先训练的车道线分类模型，对每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息。
步骤105，将对应的第二属性信息与第一属性信息相同的候选图像，确定为样本图像。
本公开实施例中，在确定了每张候选图像对应的第二属性信息之后，即可从候选图像集中筛选第二属性信息与第一属性信息相同的候选图像，作为样本图像，进而对样本图像进行标注并基于标注后的样本图像对初始车道线检测模型进一步训练，以提高车道线检测模型对验证图像的相似图像的检测性能。
可选的，在样本图像的数量小于第一阈值的情况下，对样本图像中的至少一条车道线进行掩码，以获取样本图像对应的掩码图像，之后对掩码图像中的掩码区域进行背景填充，以生成增广图像，进而将增广图像，确定为样本图像。
可以理解的是，若样本图像的数量小于第一阈值，表示获取的样本数量较少，进而可以基于图像增广，增加样本数量。本公开实施例中，可以采用填充式的数据增强方法。
其中，第一阈值可以为100、200等。本公开对此不做限定。
举例来说，从样本图像中随机挑选n(n∈n1n2n)条线，进行掩码，之后将掩码图像输入图像修复(inpainting)模型中，inpainting模型会对这掩码图像中被掩码的车道线在原图中的对应位置进行背景填充，完成这n条线的消除，从而增加样本图像的数量。
图2为本公开另一实施例提供的一种样本图像的获取方法的示意图。
如图2所示，样本图像A中包含三条车道线(车道线1、车道线2、车道线3)，对车道线2进行背景填充，得到样本图像B；对车道线3进行背景填充，以获取样本图像C；对车道线2和车道线3进行背景填充，得到样本图像D。
可选的，在样本图像的数量大于第二阈值的情况下，确定每张样本图像与验证图像之间的相似度，之后删除对应相似度大于第三阈值、且小于第四阈值的样本图像。
其中，第二阈值可以为1000、2000等。本公开对此不做限定。
可以理解的是，若样本图像的数量大于第二阈值，表示获取的样本数量过多。可以进一步对样本图像进行筛选，以获取质量较高的样本图像进行标注及训练。
可选的，可以提取每张样本图像对应的第一特征向量，及验证图像对应的第二特征向量，将每个第一特征向量与第二特征向量之间的相似度，确定为每张样本图像与验证图像之间的相似度。
或者，还可以采用直方图比较算法、感知哈希算法或关键点匹配算法，确定每张样本图像与验证图像之间的相似度。本公开对此不做限定。
本公开实施例中，先获取初始车道线检测模型对验证图像的预测结果，若预测结果与验证图像的标注结果之间的差异大于差异阈值，确定验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景，从未标注图像集中获取对应场景为目标场景的候选图像集，对候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息，最后将对应的第二属性信息与第一属性信息相同的候选图像，确定为样本图像。由此，可以基于车道线检测模型预测效果较差的验证图像、对应的第一属性信息及目标场景，准确、高效地从大量未标注图像中筛选出与验证图像相似的样本图像，用于对车道线检测模型进一步训练，以提高车道线检测模型的性能。
图3为本公开一实施例所提供的一种样本图像的获取方法的流程示意图，如图3所示，该样本图像的获取方法可以包括以下步骤：
步骤301，获取初始车道线检测模型对验证图像的预测结果。
步骤302，响应于预测结果与验证图像的标注结果之间的差异大于差异阈值，确定验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景。
步骤303，对未标注图像集中的每张未标注图像进行场景识别，以从未标注图像集中获取对应场景为目标场景的候选图像集。
其中，步骤301至步骤303的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再详细赘述。
步骤304，将候选图像输入车道线分类模型中的特征提取网络，以获取候选图像对应的第一特征图。
其中，车道线分类模型可以为预先训练好的，用于对图像中的车道线进行分类的模型。
图4为本公开一实施例提供的一种车道线分类模型的结构示意图。如图4所示，车道线分类模型中可以包含特征提取网络、及每个车道线类型对应的分支网络。如图4所示，若车道线的类型共有9类，则共有9个分支网络。每个分支网络对应一个车道线类别。即白色实线对应一个分支网络，黄色实线对应一个分支网络、道路边缘线对应一个分支网络等。
本公开实施例中，首先将候选图像输入车道线分类模型中的特征提取网络，由特征提取网络对候选图像进行特征提取，以获取候选图像对应的第一特征图。
步骤305，将第一特征图分别输入车道线分类模型中每个车道线类别对应的分支网络，以获取每个分支网络输出的分类结果及不同车道线数量的概率。
如图4所示，在获取第一特征图之后，可以将第一特征图输入每个分支网络，以获取每个分支网络输出的分类结果及不同车道线数量的概率。
其中，分类结果可以用于指示候选图像中是否包含该分支网络对应的车道线。比如，分类结果可以包含“0”和“1”n“0”指示候选图像中不包含该分支网络对应的车道线，“1”指示候选图像中包含该分支网络对应的车道线。
其中，不同车道线数量的概率为：候选图像中包含分支网络对应的车道线的不同数量的概率。比如，分支网络对应的车道线类别为白色实线，假设一张图像中最多包含10条车道线，则确定候选图像中包含0条白色实线的概率，包含1条白色实线的概率，包含2条白色实线的概率，……，包含10条白色实线的概率。
图5为本公开一实施例提供的一种分支网络的结构示意图，如图5所示，一个分支网络中包含一个卷积网络，一个注意力网络，一个第一分类子网络，一个第二分类子网络。其中，卷积网络可以包含两个3*3的卷积核，注意力网络可以包含一个3*3的卷积层和一个1*1的卷积层。第一分类子网络用于确定候选图像中是否包含分支网络对应的车道线，可以包含一个卷积层和一个全连接层。第二分类子网络可以用于确定候选图像中包含分支网络对应的车道线数量的概率。
可选的，可以先将第一特征图输入分支网络中的卷积网络，以获取第二特征图，之后将第二特征图输入分支网络中的注意力网络，以获取注意力图，再将第二特征图与注意力图相乘，以获取第三特征图，最后将第三特征图输入分支网络中的第一分类子网络，以获取分类结果，将第三特征图输入分支网络中的第二分类子网络，以获取不同车道线数量的概率。
步骤306，根据每个分支网络输出的分类结果及不同车道线数量的概率，确定候选图像中包含的车道线对应的第二属性信息。
可选的，在任一分支网络输出的分类结果指示候选图像中包含任一分支网络对应的车道线的情况下，基于任一分支网络输出的各个车道线数量的概率，确定候选图像中包含的车道线的数量，之后在候选图像中包含的车道线的数量不为零的情况下，将任一分支网络对应的车道线的类别及候选图像中包含的车道线的数量，确定为候选图像中包含的车道线的第二属性信息。
其中，可以将各个车道线数量的概率与车道线数量之间的数学期望，确定为候选图像中包含的车道线的数量。
举例来说，若分支网络输出0-10根车道线分别对应的概率(p0、p1、……、p10)，则确定候选图像中包含的车道线的数量为(0*p0+1*p1+…+10*p10)
比如，第二属性信息中可以为候选图像中包含两条白色实线，一条白色虚线。
可选的，也可以在分类结果为包含的情况下，确定概率最大的车道线数量为候选图像中包含的与分支网络对应的车道线类别相同的车道线数量。
步骤307，将对应的第二属性信息与第一属性信息相同的候选图像，确定为样本图像。
本公开实施例中，可以在获取初始车道线检测模型对验证图像的预测结果，若预测结果与验证图像的标注结果之间的差异大于差异阈值，确定验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景，对未标注图像集中的每张未标注图像进行场景识别，以从未标注图像集中获取对应场景为目标场景的候选图像集，之后将候选图像输入车道线分类模型中的特征提取网络，以获取候选图像对应的第一特征图；将第一特征图分别输入车道线分类模型中每个车道线类别对应的分支网络，以获取每个分支网络输出的分类结果及不同车道线数量的概率，进而根据每个分支网络输出的分类结果及不同车道线数量的概率，确定候选图像中包含的车道线对应的第二属性信息，最后将对应的第二属性信息与第一属性信息相同的候选图像，确定为样本图像。由此，可以基于车道线分类模型，准确地获取候选图像中包含的车道线对应的第二属性信息，从而可以进一步准确地从候选图像中筛选出与验证图像相似的样本图像。
为了实现上述实施例，本公开还提出一种样本图像的获取装置。
图6为本公开实施例所提供的样本图像的获取装置的结构示意图。
如图6所示，该样本图像的获取装置600可以包括：
第一获取模块610，用于获取初始车道线检测模型对验证图像的预测结果；
第一确定模块620，用于响应于预测结果与验证图像的标注结果之间的差异大于差异阈值，确定验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景；
第二获取模块630，用于对未标注图像集中的每张未标注图像进行场景识别，以从未标注图像集中获取对应场景为目标场景的候选图像集；
第三获取模块640，用于对候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息；
第二确定模块650，用于将对应的第二属性信息与第一属性信息相同的候选图像，确定为样本图像。
可选的，第三获取模块640，包括：
第一获取单元，用于将候选图像输入车道线分类模型中的特征提取网络，以获取候选图像对应的第一特征图；
第二获取单元，用于将第一特征图分别输入车道线分类模型中每个车道线类别对应的分支网络，以获取每个分支网络输出的分类结果及不同车道线数量的概率；
确定单元，用于根据每个分支网络输出的分类结果及不同车道线数量的概率，确定候选图像中包含的车道线对应的第二属性信息。
可选的，第二获取单元，具体用于：
将第一特征图输入分支网络中的卷积网络，以获取第二特征图；
将第二特征图输入分支网络中的注意力网络，以获取注意力图；
将第二特征图与注意力图相乘，以获取第三特征图；
将第三特征图输入分支网络中的第一分类子网络，以获取分类结果；
将第三特征图输入分支网络中的第二分类子网络，以获取不同车道线数量的概率。
可选的，确定单元，用于：
在任一分支网络输出的分类结果指示候选图像中包含任一分支网络对应的车道线的情况下，基于任一分支网络输出的各个车道线数量的概率，确定候选图像中包含的车道线的数量；
在候选图像中包含的车道线的数量不为零的情况下，将任一分支网络对应的车道线的类别及候选图像中包含的车道线的数量，确定为候选图像中包含的车道线的第二属性信息。
可选的，还包括第三确定模块，用于：
在样本图像的数量小于第一阈值的情况下，对样本图像中的至少一条车道线进行掩码，以获取样本图像对应的掩码图像；
对掩码图像中的掩码区域进行背景填充，以生成增广图像；
将增广图像，确定为样本图像。
可选的，还包括第四确定模块，用于：
在样本图像的数量大于第二阈值的情况下，确定每张样本图像与验证图像之间的相似度；
删除对应相似度大于第三阈值、且小于第四阈值的样本图像。
本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施例，此处不再赘述。
本公开实施例的样本图像的获取装置，首先先获取初始车道线检测模型对验证图像的预测结果，若预测结果与验证图像的标注结果之间的差异大于差异阈值，确定验证图像中包含的车道线对应的第一属性信息及验证图像对应的目标场景，从未标注图像集中获取对应场景为目标场景的候选图像集，对候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息，最后将对应的第二属性信息与第一属性信息相同的候选图像，确定为样本图像。由此，可以基于车道线检测模型预测效果较差的验证图像、对应的第一属性信息及目标场景，准确、高效地从大量未标注图像中筛选出与验证图像相似的样本图像，用于对车道线检测模型进一步训练，以提高车道线检测模型的性能。
为了实现上述实施例，本公开还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的样本图像的获取方法。
图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。图7显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
为了实现上述实施例，本公开还提出一种车辆，如上述面实施例提出的电子设备12或与上述电子设备12连接。
为了实现上述实施例，本公开还提出一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，实现如本公开前述实施例提出的样本图像的获取方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种样本图像的获取方法，其特征在于，包括：
获取初始车道线检测模型对验证图像的预测结果；
响应于所述预测结果与所述验证图像的标注结果之间的差异大于差异阈值，确定所述验证图像中包含的车道线对应的第一属性信息及所述验证图像对应的目标场景；
对未标注图像集中的每张未标注图像进行场景识别，以从所述未标注图像集中获取对应场景为所述目标场景的候选图像集；
对所述候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息；
将对应的第二属性信息与所述第一属性信息相同的候选图像，确定为样本图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息，包括：
将所述候选图像输入车道线分类模型中的特征提取网络，以获取所述候选图像对应的第一特征图；
将所述第一特征图分别输入所述车道线分类模型中每个车道线类别对应的分支网络，以获取每个分支网络输出的分类结果及不同车道线数量的概率；
根据每个所述分支网络输出的分类结果及不同车道线数量的概率，确定所述候选图像中包含的车道线对应的第二属性信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一特征图分别输入所述车道线分类模型中每个车道线类别对应的分支网络，以获取每个分支网络输出的分类结果及不同车道线数量的概率，包括：
将所述第一特征图输入所述分支网络中的卷积网络，以获取第二特征图；
将所述第二特征图输入所述分支网络中的注意力网络，以获取注意力图；
将所述第二特征图与所述注意力图相乘，以获取第三特征图；
将第三特征图输入所述分支网络中的第一分类子网络，以获取所述分类结果；
将第三特征图输入所述分支网络中的第二分类子网络，以获取所述不同车道线数量的概率。
4.根据权利要求2所述的方法，其特征在于，所述根据每个所述分支网络输出的分类结果及不同车道线数量的概率，确定所述候选图像中包含的车道线对应的第二属性信息，包括：
在任一分支网络输出的分类结果指示所述候选图像中包含所述任一分支网络对应的车道线的情况下，基于所述任一分支网络输出的各个车道线数量的概率，确定所述候选图像中包含的车道线的数量；
在所述候选图像中包含的车道线的数量不为零的情况下，将所述任一分支网络对应的车道线的类别及所述候选图像中包含的车道线的数量，确定为所述候选图像中包含的车道线的第二属性信息。
5.根据权利要求1所述的方法，其特征在于，还包括：
在所述样本图像的数量小于第一阈值的情况下，对所述样本图像中的至少一条车道线进行掩码，以获取所述样本图像对应的掩码图像；
对所述掩码图像中的掩码区域进行背景填充，以生成增广图像；
将所述增广图像，确定为样本图像。
6.根据权利要求1所述的方法，其特征在于，还包括：
在所述样本图像的数量大于第二阈值的情况下，确定每张样本图像与所述验证图像之间的相似度；
删除对应相似度大于第三阈值、且小于第四阈值的样本图像。
7.一种样本图像的获取装置，其特征在于，包括：
第一获取模块，用于获取初始车道线检测模型对验证图像的预测结果；
第一确定模块，用于响应于所述预测结果与所述验证图像的标注结果之间的差异大于差异阈值，确定所述验证图像中包含的车道线对应的第一属性信息及所述验证图像对应的目标场景；
第二获取模块，用于对未标注图像集中的每张未标注图像进行场景识别，以从所述未标注图像集中获取对应场景为所述目标场景的候选图像集；
第三获取模块，用于对所述候选图像集中的每张候选图像进行车道线分类，以获取每张候选图像中包含的车道线对应的第二属性信息；
第二确定模块，用于将对应的第二属性信息与所述第一属性信息相同的候选图像，确定为样本图像。
8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的样本图像的获取方法。
9.一种车辆，其特征在于，包括如权利要求8所述的电子设备或与权利要求8所述的电子设备连接。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6中任一所述的样本图像的获取方法。
CN202310403715.0A 2023-04-14 2023-04-14 样本图像的获取方法、装置、电子设备及车辆 Active CN116543363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310403715.0A CN116543363B (zh) 2023-04-14 2023-04-14 样本图像的获取方法、装置、电子设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310403715.0A CN116543363B (zh) 2023-04-14 2023-04-14 样本图像的获取方法、装置、电子设备及车辆

Publications (2)

Publication Number Publication Date
CN116543363A CN116543363A (zh) 2023-08-04
CN116543363B true CN116543363B (zh) 2024-01-30

Family

ID=87456871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310403715.0A Active CN116543363B (zh) 2023-04-14 2023-04-14 样本图像的获取方法、装置、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN116543363B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740469A (zh) * 2018-12-24 2019-05-10 百度在线网络技术（北京）有限公司 车道线检测方法、装置、计算机设备和存储介质
CN114882457A (zh) * 2022-03-31 2022-08-09 华为技术有限公司 一种模型的训练方法、车道线的检测方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402665B2 (en) * 2014-05-14 2019-09-03 Mobileye Vision Technologies, Ltd. Systems and methods for detecting traffic signs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740469A (zh) * 2018-12-24 2019-05-10 百度在线网络技术（北京）有限公司 车道线检测方法、装置、计算机设备和存储介质
CN114882457A (zh) * 2022-03-31 2022-08-09 华为技术有限公司 一种模型的训练方法、车道线的检测方法及设备

Also Published As

Publication number Publication date
CN116543363A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN111814623A (zh) 一种基于深度神经网络的车辆车道偏离视觉检测方法
Zhang et al. CDNet: A real-time and robust crosswalk detection network on Jetson nano based on YOLOv5
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
JP2019061658A (ja) 領域判別器訓練方法、領域判別装置、領域判別器訓練装置及びプログラム
CN111428875A (zh) 图像识别方法、装置及相应模型训练方法、装置
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN114092917B (zh) 一种基于mr-ssd的被遮挡交通标志检测方法及系统
US20230281974A1 (en) Method and system for adaptation of a trained object detection model to account for domain shift
CN111027539A (zh) 一种基于空间位置信息的车牌字符分割方法
CN110647886A (zh) 兴趣点标注方法、装置、计算机设备和存储介质
CN110909598A (zh) 一种基于深度学习的非机动车道交通违法行驶识别方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN114820679B (zh) 图像标注方法、装置、电子设备和存储介质
CN111401421A (zh) 基于深度学习的图像类别判定方法、电子设备以及介质
CN114596440B (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
CN115909241A (zh) 一种车道线检测方法、系统、电子设备和存储介质
CN108509826B (zh) 一种遥感影像的道路识别方法及其系统
CN117218622A (zh) 路况检测方法、电子设备及存储介质
Iparraguirre et al. Road marking damage detection based on deep learning for infrastructure evaluation in emerging autonomous driving
CN112634289B (zh) 一种基于非对称空洞卷积的快速可行域分割方法
CN111160274B (zh) 一种基于二值化Faster RCNN网络的行人检测方法
CN116543363B (zh) 样本图像的获取方法、装置、电子设备及车辆
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN116580230A (zh) 一种目标检测方法及一种分类模型的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant