CN116863429A - 检测模型的训练方法、可行使区域的确定方法和装置 - Google Patents

检测模型的训练方法、可行使区域的确定方法和装置 Download PDF

Info

Publication number
CN116863429A
CN116863429A CN202310921068.2A CN202310921068A CN116863429A CN 116863429 A CN116863429 A CN 116863429A CN 202310921068 A CN202310921068 A CN 202310921068A CN 116863429 A CN116863429 A CN 116863429A
Authority
CN
China
Prior art keywords
image
network
training
detection model
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310921068.2A
Other languages
English (en)
Other versions
CN116863429B (zh
Inventor
万韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202310921068.2A priority Critical patent/CN116863429B/zh
Priority claimed from CN202310921068.2A external-priority patent/CN116863429B/zh
Publication of CN116863429A publication Critical patent/CN116863429A/zh
Application granted granted Critical
Publication of CN116863429B publication Critical patent/CN116863429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种检测模型的训练方法、可行使区域的确定方法和装置，方法包括：获取至少一个车载相机采集的至少一个图像，和各个图像的标注信息，根据至少一个图像和对应的标注信息中的映射参数的真值，执行第一训练任务以对检测模型的第一网络训练，根据训练得到的第一网络输出的各个图像对应的映射参数的预测值对各个图像进行修正，根据至少一个修正后的图像和对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对检测模型的第二网络训练。本申请通过执行两个训练任务分别对检测模型的第一网络和第二网络进行训练，实现端到端的深度学习，使得在同一个检测模型中进行车载相机自标定和进行障碍物的接地线检测，提高了模型训练的效果。

Description

检测模型的训练方法、可行使区域的确定方法和装置
技术领域
本申请涉及自动驾驶技术领域，尤其涉及检测模型的训练方法、可行使区域的确定方法和装置。
背景技术
近些年，随着汽车制造厂商对智能车辆技术的研发，各种级别的辅助驾驶技术得到了快速发展。而对周围环境中的障碍物进行感知是实现车辆自动导航的关键技术之一，也是实现自动驾驶、自动泊车的关键能力之一。
智能泊车可以分为两大类：自动泊车（APA，Automatic Parking Assistance）和自主泊车（AVP，Automatic Valet Parking）。自动泊车是指，驾驶员驾驶车辆来到停车位旁边，由自动驾驶系统控制车辆自动泊入目标车位的过程。自主泊车则是在自动泊车的基础上增加了一定距离的无人驾驶寻库功能，驾驶员只需驾驶车辆来到停车场入口，车辆便自动寻找车位并泊入车位的过程。
而在进行智能泊车的过程中，车辆需要实时感知周围环境中的障碍物，以确定可行驶区域（Freespace），并基于可行使区域做出路径规划。因此，如何提高可行使区域确定的准确性是需要解决的技术问题。
发明内容
为克服相关技术中存在的问题，本申请提供一种检测模型的训练方法、可行使区域的确定方法和装置，通过端到端的深度学习，提高了模型训练的效果。
根据本申请实施例的一方面，提供一种检测模型的训练方法，包括：
获取训练样本；所述训练样本包括至少一个车载相机采集的至少一个图像，和所述至少一个图像的标注信息；其中，图像和车载相机一一对应；
根据所述至少一个图像和所述至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对所述检测模型的第一网络训练；
根据训练后的所述第一网络输出的各个所述图像对应的映射参数的预测值对各个所述图像进行修正；
根据至少一个修正后的图像和所述至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对所述检测模型的第二网络训练。
根据本申请实施例的一方面，提供一种可行使区域的确定方法，包括：
获取至少一个车载相机采集的至少一个图像；
将所述至少一个图像输入训练得到的检测模型的第一网络，得到所述第一网络输出的所述至少一个图像对应的映射参数；
根据所述映射参数对所述至少一个图像进行修正；
将修正后的至少一个图像输入训练得到的检测模型的第二网络，得到所述至少一个图像中包括的障碍物的接地线；
根据所述障碍物的接地线，确定所述车辆的可行使区域；其中，所述检测模型的第一网络和第二网络是采用前述方法实施例所述的检测模型训练方法训练得到的。
根据本申请实施例的一方面，提供一种检测模型的训练装置，包括：
获取模块，用于执行获取训练样本；所述训练样本包括至少一个车载相机采集的至少一个图像，和所述至少一个图像的标注信息；其中，图像和车载相机一一对应；
第一训练模块，用于执行根据所述至少一个图像和所述至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对所述检测模型的第一网络训练；
修正模块，用于执行根据训练后的所述第一网络输出的各个所述图像对应的映射参数的预测值对各个所述图像进行修正；
第二训练模块，用于执行根据至少一个修正后的图像和所述至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对所述检测模型的第二网络训练。
根据本申请实施例的一方面，提供一种可行使区域的确定装置，包括：
获取模块，用于获取至少一个车载相机采集的至少一个图像；
第一识别模块，用于将所述至少一个图像输入训练得到的检测模型的第一网络，得到所述第一网络输出的所述至少一个图像对应的映射参数；
修正模块，用于根据所述映射参数对所述至少一个图像进行修正；
第二识别模块，用于将修正后的至少一个图像输入训练得到的检测模型的第二网络，得到所述至少一个图像中包括的障碍物的接地线；
确定模块，用于根据所述障碍物的接地线，确定所述车辆的可行使区域；其中，所述检测模型的第一网络和第二网络是采用前述方法实施例所述的检测模型训练装置训练得到的。
根据本申请实施例的另一方面，提供一种车辆，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：实现前述方法实施例所述方法的步骤。
根据本申请实施例的另一方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行前述方法实施例所述的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：获取训练样本，训练样本包括至少一个车载相机采集的至少一个图像，和至少一个图像的标注信息，根据至少一个图像和至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对检测模型的第一网络训练，根据训练后的第一网络输出的各个图像对应的映射参数的预测值对各个图像进行修正，根据至少一个修正后的图像和至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对检测模型的第二网络训练。本申请通过执行两个训练任务分别对检测模型的第一网络和第二网络进行训练，实现端到端的深度学习，使得能够在同一个检测模型中进行车载相机自标定，以及进行障碍物的接地线检测，提高了模型训练的效果，进而提高了检测效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种检测模型的训练方法的流程图；
图2是根据一示例性实施例示出的另一种检测模型的训练方法的流程图；
图3是本申请实施例提供的一种第一网络的结构示意图；
图4是根据一示例性实施例示出的另一种检测模型的训练方法的流程图；
图5是本申请实施例提供的另一种第一网络的结构示意图；
图6是根据一示例性实施例示出的一种可行使区域的确定方法的流程图；
图7A是根据一示例性实施例示出的一种检测模型的结构示意图
图7B是根据一示例性实施例示出的一种障碍物接地线集合对应的可行使区域的示意图；
图8是根据一示例性实施例示出的一种检测模型的训练装置的结构示意图；
图9是根据一示例性实施例示出的一种可行使区域的确定装置的结构示意图；
图10是根据一示例性实施例示出的一种车辆的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种检测模型的训练方法的流程图，如图1所示，包括以下步骤：
步骤101，获取训练样本，训练样本包括至少一个车载相机采集的至少一个图像，和至少一个图像的标注信息。
其中，车载相机为车辆中安装的环视相机，例如为鱼眼相机，具有较大的视场角，例如视场角为192度。环视相机采集的图像为环视图像，车身四周通常安装多个鱼眼相机，在一种场景下，四个环视相机的安装位置通常位于车辆的左右后视镜下方以及前后车牌中心下方，安装在车身四周的四个环视相机足以覆盖车辆周围360度的近场区域，其中主要的应用场景包括自动泊车、交通拥堵缓解辅助、城市驾驶等。
本申请实施例中，训练样本中包含至少一个图像和至少一个图像的标注信息，其中，图像是车辆上安装的至少一个车载相机采集的，每一个车载相机采集一张图像，图像和车载相机一一对应。
作为一种示例，训练样本为训练样本集中的一个样本，训练样本集中的一个训练样本表示为，其中，k为训练样本集中样本的编号，k为自然数，/>为每个训练样本包括的图像的编号，例如，以相机为鱼眼相机为例，在车辆中，通常包括4个鱼眼相机，即每个训练样本包括4张鱼眼图像的原图，则/>的取值为1、2、3和4。其中，zi为第i个样本对应的真值，即标注信息，在第一网络中，标注信息为映射参数的真值，在第二网络中，标注信息为真值障碍物接地线。
步骤102，根据至少一个图像和至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对检测模型的第一网络训练。
本申请实施例中，检测模型包括第一网络和第二网络，其中，第一训练任务，是指对检测模型的第一网络进行训练的过程，即将至少一个图像和至少一个图像的标注信息中的映射参数的真值输入第一网络，第一网络输出至少一个图像对应的映射参数的预测值，基于预测值和真值间的差异对第一网络的参数进行调整，以对第一网络进行训练。第一网络通过训练学习得到车载相机采集的图像对应的映射参数，映射参数，用于指示车载相机拍摄的二维图像到统一的车辆自车坐标系间的映射关系，可对摄像头采集的图像进行修正，即去畸变处理。其中，映射参数，包括摄像头的内外参数和/或重映射参数。重映射参数，记录在重映射表中，是一张HxWx2大小的张量T，指示了车载相机采集的图像对应的图像坐标系和车辆自身的车辆坐标系间的映射关系，其中，鸟瞰图（Bird's Eye View，BEV）视角下的位置(i,j)对应于车载相机采集的图像对应的图像坐标系下的坐标位置(T[i,j,0],T[i,j,1])，也就是说重映射表的行序号i和列序号j是车辆坐标系下的位置，行序号i、列序号j下的元素值，即T[i,j,0],T[i,j,1])是图像坐标系下的位置。
步骤103，根据训练后的第一网络输出的各个图像对应的映射参数的预测值对各个图像进行修正。
本申请实施例中，车载相机采集到的图像可能存在畸变，例如，车载相机为鱼眼相机，鱼眼相机具有较高的视场角，但是畸变也较大，为了提高后续的目标检测的准确性，需要对图像进行去畸变处理，因此，针对每一个图像，需要基于第一网络输出的该图像对应的映射参数的预测值对各个图像进行修正，以得到修正后的该图像，基于修正后的图像进行障碍物接地线检测，可以减少相机采集的二维图像映射到车辆坐标系产生的变形拉伸的情况。
步骤104，根据至少一个修正后的图像和至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对检测模型的第二网络训练。
其中，训练得到的第二网络学习到修正后的图像和修正后的图像中障碍物的接地线间的对应关系。
本申请实施例中，采用至少一个修正后的图像，执行第二训练任务，其中，第二训练任务用于对检测模型的第二网络进行训练，以使训练得到的第二网络，学习到修正后的图像和障碍物的接地线间的对应关系，也就是说训练得到的第二网络可以输出图像中障碍物的接地线。
作为一种实现方式，将至少一个修正后的图像，输入检测模型的第二网络，得到至少一个修正后的图像对应的预测障碍物接地线，根据至少一个预测障碍物接地线和标注的真值障碍物接地线间的差异，对第二网络进行训练，具体地，根据至少一个预测障碍物接地线和标注的真值障碍物接地线间的差异确定损失函数，并采用梯度回传算法对第二网络的参数进行迭代优化，直至对应的损失函数值最小或小于设定值，第二网络训练完成。
本申请实施例中，第一网络的训练和第二网络的训练是分开进行，即先完成第一网络的训练后，再进行第二网络的训练。或者，第一网络的训练和第二网络的训练是同步进行的。
本申请的检测模型的训练方法中，获取训练样本，训练样本包括至少一个车载相机采集的至少一个图像，和至少一个图像的标注信息，根据至少一个图像和至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对检测模型的第一网络训练，根据训练后的第一网络输出的各个图像对应的映射参数的预测值对各个图像进行修正，根据至少一个修正后的图像和至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对检测模型的第二网络训练。本申请通过执行两个训练任务分别对检测模型的第一网络和第二网络进行训练，实现端到端的深度学习，使得能够在同一个检测模型中进行车载相机自标定，和进行障碍物的接地线检测，提高了模型训练的效果，进而提高了检测效果。
基于上述实施例，图2是根据一示例性实施例示出的另一种检测模型的训练方法的流程图，映射参数为车载相机的内外参数，第一网络包括顺序连接的至少一个第一特征提取层和前馈神经网络层，如图2所示，步骤102包括以下步骤：
步骤201，将至少一个图像输入检测模型的第一网络，得到第一网络输出的各个图像对应的内外参数的预测值。
本申请实施例的一种实现方式中，第一网络包括顺序连接的至少一个第一特征提取层和前馈神经网络层，该网络结构标识为第一种网络结构。针对每一个图像，将图像输入至少一个第一特征提取层进行特征提取，得到第一目标特征图，其中，各个第一特征提取层包含卷积层和最大池化层，各个第一特征提取层包括的卷积层的通道数不同。至少一个第一特征提取层中前层的第一特征提取层输出的特征图的尺寸，大于后层的第一特征提取层输出的特征图的尺寸，以使得经过至少一个第二特征提取层进行特征提取后，在确保信息量不减少的情况下输出的特征的维度不断的降低，以提高后续处理的效率。进而，将第一目标特征图输入前馈神经网络层进行特征处理，得到图像对应的内外参数的预测值，其中，前馈神经网络层，包括多个卷积层，通过对输入的第一目标特征进行进一步的卷积操作，提取和内外参数相关的特征信息，以提取到和要预测的结果相关度更大的特征，以输出相机的内外参数的预测值。
作为一种示例，图3为本申请实施例提供的一种第一网络的结构示意图，如图3所示，第一网络为矩形卷积金字塔和边缘增强ReNet网络，包括顺序连接的5个第一特征提取层，分别标识为C1、C2、C3、C4和C5，各个第一特征提取层包含的卷积核的大小和通道数如图3中所示，针对训练样本中的每一个图像，将该图像依次通过C1、C2、C3、C4和C5共5个第一特征提取层进行特征提取，其中，各个第一特征提取层结构不同，经过C2提取得到的特征图尺寸，是经过C1提取得到的特征图的一半，而通过C3提取得到的特征图尺寸，是经过C2提取得到的特征图的一半，依次进行特征提取，C5提取得到的特征图尺寸，是经过C4提取得到的特征图的一半，实现了特征图尺寸的不断缩小，降低了特征图的维度，便于后续进行处理。进而，将C5输出的特征图输入前馈神经网络层，输出得到采集该图像的相机的内外参数的预测值。同理，可得到训练样本中每一个图像对应的相机的内外参数的预测值。
步骤202，根据至少一个图像对应的内外参数的预测值和至少一个图像标注的内外参数的真值间的差异，确定第一损失函数。
本申请实施例的一种实现方式中，相机模型采用的是KannelBrand相机模型，相机内参由4个投影参数和4个畸变参数组成，一共8个参数。相机的外参由外参四元组（4个数值）和平移向量组成（3个数值），一共7个参数数值。也就是说本申请的内外参，总共由15维的向量组成。针对每一个图像，根据该图像对应的内外参数中各个参数的预测值和真值间的差异，确定第一子损失函数，将至少一个第一子损失函数进行加权相加，得到第一损失函数。
从而，针对第n个图像对应的第一子损失函数满足以下方式：
；
其中，针对第n个图像，y是该图像对应的内参参数的预测值，g为该图像对应的内外参数的真值，i是该图像对应的内外参数的一个维度的参数，是该图像对应的内外参数中i维度的参数的预测值，/>是该图像对应的内外参数中i维度的参数的真值，n为图像的标识。
若各个车载相机采集的图像的权重相同，均为，则第一损失函数Loss1，满足以下关系：
。
步骤203，根据第一损失函数，对第一网络进行训练。
本申请实施例中，根据第一损失函数，采用梯度回传算法对深度卷积网络的参数进行迭代优化，直至第一损失函数值最小或小于设定值，第一网络训练完成。
本申请实施例的预测模型的训练方法中，通过对预测模型的第一网络进行训练，使得训练得到的第一网络可以基于输入的图像确定采集图像的相机的内外参数，实现对车载相机的自标定，进而，可以基于内外参数对图像或特征图进行去畸变处理，从而基于去畸变处理后图像进行障碍物接地线检测，提高了障碍物接地线检测的准确性，从而提高自动泊车整体的成功率。
基于上述实施例，图4是根据一示例性实施例示出的另一种检测模型的训练方法的流程图，映射参数为车载相机的重映射参数，第一网络包括顺序连接的至少一个第二特征提取层和至少一个上采样卷积层。如图4所示，步骤102包括以下步骤：
步骤401，将至少一个图像输入检测模型的第一网络，得到至少一个图像对应的重映射参数的预测值。
其中，重映射参数指示了图像坐标系下二维的图像中各个位置坐标与车辆坐标系中各个位置坐标间的映射关系。
本申请实施例的一种实现方式中，第一网络包括顺序连接的至少一个第二特征提取层和至少一个上采样卷积层，该网络结构标识为第二种网络结构。针对每一个图像，将图像输入至少一个第二特征提取层进行特征提取，得第二目标特征图，其中，前层的第二特征提取层输出的特征图的尺寸，大于后层的第二特征提取层输出的特征图的尺寸，将第二目标特征图输入至少一个上采样卷积层，得到图像对应的重映射参数的预测值。
作为一种示例，图5为本申请实施例提供的另一种第一网络的结构示意图，如图5所示，第一网络为矩形卷积金字塔和边缘增强ReNet网络，第一网络包括顺序连接的5个第二特征提取层，以及包含3个上采样卷积层，而各个第二特征提取层包含的卷积核的大小和通道数（卷积核数量），以及各个上采样卷积层的卷积核大小和通道数，详见图5中所示。其中，顺序连接的各个第二特征提取层和顺序连接的各个第一特征提取层相同，分别标识为C1、C2、C3、C4和C5，而各个第二特征提取层结构不同，详见图5中所示。针对训练样本中的每一个图像，将图像依次通过C1、C2、C3、C4和C5共5个第二特征提取层进行特征提取，其中，经过C2提取得到的特征图尺寸，是经过C1提取得到的特征图的一半，而通过C3提取得到的特征图尺寸，是经过C2提取得到的特征图的一半，依次进行特征提取，C5提取得到的特征图尺寸，是经过C4提取得到的特征图的一半，实现了特征图尺寸的不断缩小，降低了特征图的维度，便于后续进行处理。进而，将第二目标特征图输入3个上采样卷积层，在一种场景下，3个上采样卷积层可以不同，即3个上采样卷积层的卷积核大小相同，但是卷积核数量不同，具体详见图5，使得输出的特征图尺寸增加，通过3层上采样卷积层的处理得到该图像对应的重映射参数的预测值，即得到采集该图像的相机的重映射参数的预测值。同理，可得到训练样本中每一个图像对应的相机的重映射参数的预测值。
需要说明的是，顺序连接的各个第二特征提取层和顺序连接的第一特征提取层可以不相同。
步骤402，根据至少一个图像对应的重映射参数的预测值和至少一个图像标注的重映射参数的真值间的差异，确定第二损失函数。
本申请实施例的一种实现方式中，针对每一个图像，根据图像坐标系下图像中各个位置坐标对应的重映射参数的预测值和真值间的差异，确定第二子损失函数，将至少一个第二子损失函数进行加权相加，得到第二损失函数。
从而，针对第n个图像对应的第二子损失函数满足以下方式：
；
其中，针对第n个图像，是该图像对应的重映射参数的预测值，/>为该图像对应的重映射参数的真值，具体地，/>是图像坐标系下图像中位置坐标（i，j）对应的重映射参数的预测值，/>是图像坐标系下图像中位置坐标（i，j）对应的重映射参数的真值。
若各个车载相机采集的图像的权重相同，均为，则第二损失函数Loss2，满足以下关系：
。
步骤403，根据第二损失函数，对第一网络进行训练。
本申请实施例中，根据第一损失函数，采用用梯度回传算法对深度卷积网络的参数进行迭代优化，直至第一损失函数值最小或小于设定值，第一网络训练完成。
本申请实施例的预测模型的训练方法中，通过对预测模型的第一网络进行训练，使得训练得到的第一网络可以基于输入的图像确定采集图像的相机的重映射参数，实现对车载相机的自标定，进而，可以基于重映射参数对图像或特征图进行去畸变处理，从而基于去畸变处理后图像进行障碍物接地线检测，提高了障碍物接地线检测的准确性，从而提高自动泊车整体的成功率。
需要理解的是，上述实施例中说明了映射参数为车载相机的内外参数的情况下，基于第一网络的第一种结构进行第一网络的训练，或者，映射参数为重映射参数的情况下，基于第一网络的第二种结构进行第一网络的训练。可选地，本申请实施例的第一网络的结构可以包含上述的第一种结构和第二种结构，即训练得到的第一网络输出的映射参数包括车载相机的内外参数和重映射参数，即基于第一网络输出的内外参数和重映射参数对图像进行修正，提高后续的第二网络训练的效果。
基于上述实施例，图6是根据一示例性实施例示出的一种可行使区域的确定方法的流程图，如图6所示，方法包括以下步骤：
步骤601，获取至少一个车载相机采集的至少一个图像。
步骤602，将至少一个图像输入训练得到的检测模型的第一网络，得到第一网络输出的至少一个图像对应的映射参数。
步骤603，根据映射参数对至少一个图像进行修正。
步骤604，将修正后的至少一个图像输入训练得到的检测模型的第二网络，得到至少一个图像中包括的障碍物的接地线。
步骤605，根据障碍物的接地线，确定车辆的可行使区域。
其中，对检测模型的第一网络和第二网络的训练方法可参照前述检测模型训练方法实施例的解释说明，原理相同，此处不再赘述。而前述实施例的相关解释说明也适用于本实施例，此处也不再赘述。
作为一种示例，图7A是根据一示例性实施例示出的一种检测模型的结构示意图，在图像为多个的情况下，将多个图像输入训练得到的检测模型的第一网络，得到第一网络输出的多个图像对应的映射参数，基于各个图像的映射参数对各个图像进行修正，得到修正后的图像，将修正后的多个图像输入训练得到的检测模型的第二网络，得到多个图像中包括的障碍物的接地线集合，进而，基于接地线集合确定车辆的可行使区域，即接地线集合围合成的区域即为车辆的可行使区域。
其中，接地线即为障碍物和地面的交接线，至少一个图像中包括的障碍物为多个时，每一个障碍物对应一个接底线，从而至少一个图像中包括的障碍物的接地线即为接地线集合。基于障碍物接地线集合可确定车辆的可行使区域，又称为Freespace，车辆行驶依赖于Freespace 做出局部路径规划。
作为一种示例，图7B是根据一示例性实施例示出的一种障碍物接地线集合对应的可行驶区域的示意图。
本申请实施例的可行使区域的确定方法中，预先通过端到端的深度学习方案，使得能够在同一个检测模型中进行车载相机的内外参的自标定和障碍物接地线检测。在车载相机外参或内参发生变化时，能够通过训练得到的检测模型的第一网络获得变化后的映射参数，进而基于映射参数对图像进行去修正处理，基于修正后的图像获得更加准确的障碍物接地线的检测结果，有利于提高自动泊车整体的成功率。
图8是根据一示例性实施例示出的一种检测模型的训练装置的结构示意图。参照图8，该装置包括：
获取模块81，用于执行获取训练样本；所述训练样本包括至少一个车载相机采集的至少一个图像，和所述至少一个图像的标注信息；其中，图像和车载相机一一对应。
第一训练模块82，用于执行根据所述至少一个图像和所述至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对所述检测模型的第一网络训练。
修正模块83，用于执行根据训练后的所述第一网络输出的各个所述图像对应的映射参数的预测值对各个所述图像进行修正；
第二训练模块84，用于执行根据至少一个修正后的图像和所述至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对所述检测模型的第二网络训练。
进一步，本申请实施例的一种实现方式中，所述映射参数为车载相机的内外参数，第一训练模块82，具体用于：
将所述至少一个图像输入所述检测模型的第一网络，得到第一网络输出的各个所述图像对应的内外参数的预测值；根据所述至少一个图像对应的内外参数的预测值和所述至少一个图像标注的内外参数的真值间的差异，确定第一损失函数；根据所述第一损失函数，对所述第一网络进行训练。
本申请实施例的一种实现方式中，所述第一网络包括顺序连接的至少一个第一特征提取层和前馈神经网络层，第一训练模块82，具体用于：
针对每一个所述图像，将所述图像输入所述至少一个第一特征提取层进行特征提取，得到第一目标特征图；其中，前层的第一特征提取层输出的特征图的尺寸，大于后层的第一特征提取层输出的特征图的尺寸；将所述第一目标特征图输入所述前馈神经网络层进行特征处理，得到所述图像对应的内外参数的预测值。
本申请实施例的一种实现方式中，第一训练模块82，具体用于：
针对每一个图像，根据所述图像对应的内外参数中各个参数的预测值和真值间的差异，确定第一子损失函数；将所述至少一个第一子损失函数进行加权相加，得到所述第一损失函数。
本申请实施例的一种实现方式中，所述映射参数为车载相机的重映射参数，第一训练模块82，具体还用于：
将所述至少一个图像输入所述检测模型的第一网络，得到所述至少一个图像对应的重映射参数的预测值；其中，重映射参数指示了图像坐标系中各个位置坐标与车辆坐标系中各个位置坐标间的映射关系；根据所述至少一个图像对应的重映射参数的预测值和所述至少一个图像标注的重映射参数的真值间的差异，确定第二损失函数；根据所述第二损失函数，对所述第一网络进行训练。
本申请实施例的一种实现方式中，所述第一网络包括顺序连接的至少一个第二特征提取层和至少一个上采样卷积层，第一训练模块82，具体还用于：
针对每一个所述图像，将所述图像输入所述至少一个第二特征提取层进行特征提取，得第二目标特征图；其中，前层的第二特征提取层输出的特征图的尺寸，大于后层的第二特征提取层输出的特征图的尺寸；将所述第二目标特征图输入所述至少一个上采样卷积层，得到所述图像对应的重映射参数的预测值。
本申请实施例的一种实现方式中，第一训练模块82，具体还用于：针对每一个图像，根据所述图像坐标系下所述图像中各个位置坐标对应的重映射参数的预测值和真值间的差异，确定第二子损失函数；将所述至少一个第二子损失函数进行加权相加，得到所述第二损失函数。
本申请实施例的一种实现方式中，第二训练模块84，具体用于：
将所述至少一个修正后的图像，输入所述检测模型的第二网络，得到所述至少一个修正后的图像对应的预测障碍物接地线；根据所述至少一个预测障碍物接地线和标注的真值障碍物接地线间的差异，对所述第二网络进行训练。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请的检测模型的训练装置中，获取训练样本，训练样本包括至少一个车载相机采集的至少一个图像，和所述至少一个图像的标注信息，根据至少一个图像和至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对检测模型的第一网络训练，根据训练后的第一网络输出的各个图像对应的映射参数的预测值对各个图像进行修正，根据至少一个修正后的图像和至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对检测模型的第二网络训练。本申请通过执行两个训练任务分别对检测模型的第一网络和第二网络进行训练，实现端到端的深度学习，使得能够在同一个检测模型中进行车载相机自标定和进行障碍物的接地线检测，提高了模型训练的效果，进而提高了检测效果。
基于上述实施例，图9是根据一示例性实施例示出的一种可行使区域的确定装置的结构示意图。参照图9，该装置包括：
获取模块91，用于获取至少一个车载相机采集的至少一个图像。
第一识别模块92，用于将所述至少一个图像输入训练得到的检测模型的第一网络，得到所述第一网络输出的所述至少一个图像对应的映射参数。
修正模块93，用于根据所述映射参数对所述至少一个图像进行修正。
第二识别模块94，用于将修正后的至少一个图像输入训练得到的检测模型的第二网络，得到所述至少一个图像中包括的障碍物的接地线。
确定模块95，用于根据所述障碍物的接地线，确定所述车辆的可行使区域；其中，所述检测模型的第一网络和第二网络是采用前述实施例所述的模型训练装置训练得到的。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例的可行使区域的确定装置中，预先通过端到端的深度学习方案，使得能够在同一个检测模型中进行车载相机自标定和障碍物接地线检测。在车载相机外参或内参发生变化时，能够通过训练得到的检测模型的第一网络获得变化后的映射参数，进而基于映射参数对图像进行去修正处理，基于修正后的图像获得更加准确的障碍物接地线的检测结果，有利于提高自动泊车整体的成功率。
图10是根据一示例性实施例示出的一种车辆的结构示意图。例如，车辆1000可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆1000可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图10，车辆1000可包括各种子系统，例如，信息娱乐系统1010、感知系统1020、决策控制系统1030、驱动系统1040以及计算平台1050。其中，车辆1000还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆1000的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统1010可以包括通信系统，娱乐系统以及导航系统等。
感知系统1020可以包括若干种传感器，用于感测车辆1000周边的环境的信息。例如，感知系统1020可包括全球定位系统（全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，IMU）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统1030可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统1040可以包括为车辆1000提供动力运动的组件。在一个实施例中，驱动系统1040可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆1000的部分或所有功能受计算平台1050控制。计算平台1050可包括至少一个处理器1051和存储器1052，处理器1051可以执行存储在存储器1052中的指令1053。
处理器1051可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field ProgrammableGate Array，FPGA）、片上系统（System on Chip，SOC）、专用集成芯片（ApplicationSpecific Integrated Circuit，ASIC）或它们的组合。
存储器1052可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
除了指令1053以外，存储器1052还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器1052存储的数据可以被计算平台1050使用。
在本申请实施例中，处理器1051可以执行指令1053，以完成本申请上述的方法的全部或部分步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本申请实施例提供的上述方法的步骤。
此外，在本文中使用词语“示例性的”以表示充当示例、实例、示图。在本文中被描述为“示例性的”任何方面或设计都不一定理解为与其他方面或设计相比是有利的。相反，使用词语示例性的旨在以具体的方式呈现概念。如在本文中所使用的，术语“或”旨在表示包括性的“或”而不是排他性的“或”。即，除非另外指定，或者从上下文中清楚，否则“X应用A或B”旨在表示自然的包括性排列中的任何一种排列。即，如果X应用A；X应用B；或者X应用A和B两者，则“X应用A或B”在前述实例中的任何一个实例下都满足。另外，除非另外指定或者从上下文中清楚指向单数形式，否则如在该申请和所附权利要求中所使用的冠词“一”和“一个”通常被理解为表示“一个或多个”。
同样，尽管已经关于一个或多个实现示出并描述了本申请，但是在阅读并理解了该说明书和附图之后，本领域技术人员将想到等同的变型和修改。本申请包括所有这样的修改和变型，并且仅由权利要求的范围来限制。特别关于由上文所描述的组件（例如，元件、资源等）执行的各种功能，除非另外指出，否则用于描述这样的组件的术语旨在对应于执行所描述的组件的具体功能的任何组件（功能上等价的），即使结构上不等价于所公开的结构。另外，尽管可以已经关于几个实现中的仅仅一个而公开了本申请的特定的特征，但是如可以是期望的并且有利于任何给定的或特定的应用的那样，这样的特征可以与其它实现的一个或多个其它特征相结合。此外，就在具体实施方式或者权利要求中所使用的“包括”、“拥有”、“具有”、“有”、或其变型而言，这样的术语旨在作为类似于术语“包含”的方式是包括性的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (13)

1.一种检测模型的训练方法，其特征在于，包括：
获取训练样本；所述训练样本包括至少一个车载相机采集的至少一个图像，和所述至少一个图像的标注信息；其中，图像和车载相机一一对应；
根据所述至少一个图像和所述至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对所述检测模型的第一网络训练；
根据训练后的所述第一网络输出的各个所述图像对应的映射参数的预测值对各个所述图像进行修正；
根据至少一个修正后的图像和所述至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对所述检测模型的第二网络训练。
2.根据权利要求1所述的方法，其特征在于，所述映射参数为车载相机的内外参数，所述根据所述至少一个图像和所述至少一个图像的标注信息中的映射参数的真值，包括：
将所述至少一个图像输入所述检测模型的第一网络，得到所述第一网络输出的各个所述图像对应的内外参数的预测值；
根据所述至少一个图像对应的内外参数的预测值和所述至少一个图像标注的内外参数的真值间的差异，确定第一损失函数；
根据所述第一损失函数，对所述第一网络进行训练。
3.根据权利要求2所述的方法，其特征在于，所述第一网络包括顺序连接的至少一个第一特征提取层和前馈神经网络层，所述将所述至少一个图像输入所述检测模型的第一网络，得到所述第一网络输出的各个所述图像对应的内外参数的预测值，包括：
针对每一个所述图像，将所述图像输入所述至少一个第一特征提取层进行特征提取，得到第一目标特征图；其中，前层的第一特征提取层输出的特征图的尺寸，大于后层的第一特征提取层输出的特征图的尺寸；
将所述第一目标特征图输入所述前馈神经网络层进行特征处理，得到所述图像对应的内外参数的预测值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个图像对应的内外参数的预测值和所述至少一个图像标注的内外参数的真值间的差异，确定第一损失函数，包括：
针对每一个图像，根据所述图像对应的内外参数中各个参数的预测值和真值间的差异，确定第一子损失函数；
将所述至少一个第一子损失函数进行加权相加，得到所述第一损失函数。
5.根据权利要求1所述的方法，其特征在于，所述映射参数为车载相机的重映射参数，所述根据所述至少一个图像和所述至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对所述检测模型的第一网络训练，包括：
将所述至少一个图像输入所述检测模型的第一网络，得到所述至少一个图像对应的重映射参数的预测值；其中，重映射参数指示了图像坐标系下各个位置坐标与车辆坐标系中各个位置坐标间的映射关系；
根据所述至少一个图像对应的重映射参数的预测值和所述至少一个图像标注的重映射参数的真值间的差异，确定第二损失函数；
根据所述第二损失函数，对所述第一网络进行训练。
6.根据权利要求5所述的方法，其特征在于，所述第一网络包括顺序连接的至少一个第二特征提取层和至少一个上采样卷积层，所述将所述至少一个图像输入所述检测模型的第一网络，得到所述至少一个图像对应的重映射参数的预测值，包括：
针对每一个所述图像，将所述图像输入所述至少一个第二特征提取层进行特征提取，得第二目标特征图；其中，前层的第二特征提取层输出的特征图的尺寸，大于后层的第二特征提取层输出的特征图的尺寸；
将所述第二目标特征图输入所述至少一个上采样卷积层，得到所述图像对应的重映射参数的预测值。
7.根据权利要求5所述的方法，其特征在于，根据所述至少一个图像对应的重映射参数的预测值和所述至少一个图像标注的重映射参数的真值间的差异，确定第二损失函数，包括：
针对每一个图像，根据图像坐标系下所述图像中各个位置坐标对应的重映射参数的预测值和真值间的差异，确定第二子损失函数；
将所述至少一个第二子损失函数进行加权相加，得到所述第二损失函数。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据至少一个修正后的图像和所述至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对所述检测模型的第二网络训练，包括：
将所述至少一个修正后的图像，输入所述检测模型的第二网络，得到所述至少一个修正后的图像对应的预测障碍物接地线；
根据所述至少一个预测障碍物接地线和标注的真值障碍物接地线间的差异，对所述第二网络进行训练。
9.一种可行使区域的确定方法，其特征在于，包括：
获取至少一个车载相机采集的至少一个图像；
将所述至少一个图像输入训练得到的检测模型的第一网络，得到所述第一网络输出的所述至少一个图像对应的映射参数；
根据所述映射参数对所述至少一个图像进行修正；
将修正后的至少一个图像输入训练得到的所述检测模型的第二网络，得到所述至少一个图像中包括的障碍物的接地线；
根据所述障碍物的接地线，确定所述车辆的可行使区域；其中，所述检测模型的第一网络和第二网络是采用权利要求1-8任一项所述的检测模型的训练方法训练得到的。
10.一种检测模型的训练装置，其特征在于，包括：
获取模块，用于执行获取训练样本；所述训练样本包括至少一个车载相机采集的至少一个图像，和所述至少一个图像的标注信息；其中，图像和车载相机一一对应；
第一训练模块，用于执行根据所述至少一个图像和所述至少一个图像的标注信息中的映射参数的真值，执行第一训练任务，以对所述检测模型的第一网络训练；
修正模块，用于执行根据训练后的所述第一网络输出的各个所述图像对应的映射参数的预测值对各个所述图像进行修正；
第二训练模块，用于执行根据至少一个修正后的图像和所述至少一个修正后的图像对应的标注信息中的真值障碍物接地线，执行第二训练任务，以对所述检测模型的第二网络训练。
11.一种可行使区域的确定装置，其特征在于，包括：
获取模块，用于获取至少一个车载相机采集的至少一个图像；
第一识别模块，用于将所述至少一个图像输入训练得到的检测模型的第一网络，得到所述第一网络输出的所述至少一个图像对应的映射参数；
修正模块，用于根据所述映射参数对所述至少一个图像进行修正；
第二识别模块，用于将修正后的至少一个图像输入训练得到的所述检测模型的第二网络，得到所述至少一个图像中包括的障碍物的接地线；
确定模块，用于根据所述障碍物的接地线，确定所述车辆的可行使区域；其中，所述检测模型的第一网络和第二网络是采用权利要求10所述的检测模型的训练装置训练得到的。
12.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现权利要求1~8中任一项所述方法的步骤，或实现权利要求9中所述方法的步骤。
13.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1~8中任一项所述方法的步骤，或实现权利要求9中所述方法的步骤。
CN202310921068.2A 2023-07-26 检测模型的训练方法、可行使区域的确定方法和装置 Active CN116863429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310921068.2A CN116863429B (zh) 2023-07-26 检测模型的训练方法、可行使区域的确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310921068.2A CN116863429B (zh) 2023-07-26 检测模型的训练方法、可行使区域的确定方法和装置

Publications (2)

Publication Number Publication Date
CN116863429A true CN116863429A (zh) 2023-10-10
CN116863429B CN116863429B (zh) 2024-05-31

Family

ID=

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960456A (zh) * 2017-03-28 2017-07-18 长沙全度影像科技有限公司 一种鱼眼相机标定算法评价的方法
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
CN108665415A (zh) * 2017-03-27 2018-10-16 纵目科技（上海）股份有限公司 基于深度学习的图像质量提升方法及其装置
CN108860139A (zh) * 2018-04-11 2018-11-23 浙江零跑科技有限公司 一种基于深度增强学习的自动泊车轨迹规划方法
CN109726627A (zh) * 2018-09-29 2019-05-07 初速度（苏州）科技有限公司 一种神经网络模型训练及通用接地线的检测方法
WO2020103892A1 (zh) * 2018-11-21 2020-05-28 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质
CN112036385A (zh) * 2020-11-04 2020-12-04 天津天瞳威势电子科技有限公司 库位修正方法、装置、电子设备及可读存储介质
US20210004021A1 (en) * 2019-07-05 2021-01-07 DeepMap Inc. Generating training data for deep learning models for building high definition maps
US20210366155A1 (en) * 2020-05-20 2021-11-25 Beijing Baidu Netcom Science And Technology Co., Ltd. . Method and Apparatus for Detecting Obstacle
US20220196459A1 (en) * 2020-12-22 2022-06-23 Dibi (Chongqing) Intelligent Technology Research Institute Co., Ltd. Real-time vehicle overload detection method based on convolutional neural network
CN115147809A (zh) * 2022-06-30 2022-10-04 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、设备以及存储介质
CN115457499A (zh) * 2022-09-26 2022-12-09 上海汽车集团股份有限公司 一种深度学习网络训练方法、装置、设备及存储介质
CN115511752A (zh) * 2022-10-31 2022-12-23 合肥埃科光电科技股份有限公司 基于bp神经网络的点坐标去畸变方法及存储介质
US20230176216A1 (en) * 2021-12-03 2023-06-08 Argo AI, LLC Automatic bootstrap for autonomous vehicle localization
US11694428B1 (en) * 2022-07-07 2023-07-04 Ludong University Method for detecting Ophiocephalus argus cantor under intra-class occulusion based on cross-scale layered feature fusion
CN116486377A (zh) * 2023-04-26 2023-07-25 小米汽车科技有限公司 可行驶区域的生成方法及装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665415A (zh) * 2017-03-27 2018-10-16 纵目科技（上海）股份有限公司 基于深度学习的图像质量提升方法及其装置
CN106960456A (zh) * 2017-03-28 2017-07-18 长沙全度影像科技有限公司 一种鱼眼相机标定算法评价的方法
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
CN108860139A (zh) * 2018-04-11 2018-11-23 浙江零跑科技有限公司 一种基于深度增强学习的自动泊车轨迹规划方法
CN109726627A (zh) * 2018-09-29 2019-05-07 初速度（苏州）科技有限公司 一种神经网络模型训练及通用接地线的检测方法
WO2020062433A1 (zh) * 2018-09-29 2020-04-02 初速度（苏州）科技有限公司 一种神经网络模型训练及通用接地线的检测方法
WO2020103892A1 (zh) * 2018-11-21 2020-05-28 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质
US20210004021A1 (en) * 2019-07-05 2021-01-07 DeepMap Inc. Generating training data for deep learning models for building high definition maps
US20210366155A1 (en) * 2020-05-20 2021-11-25 Beijing Baidu Netcom Science And Technology Co., Ltd. . Method and Apparatus for Detecting Obstacle
CN112036385A (zh) * 2020-11-04 2020-12-04 天津天瞳威势电子科技有限公司 库位修正方法、装置、电子设备及可读存储介质
US20220196459A1 (en) * 2020-12-22 2022-06-23 Dibi (Chongqing) Intelligent Technology Research Institute Co., Ltd. Real-time vehicle overload detection method based on convolutional neural network
US20230176216A1 (en) * 2021-12-03 2023-06-08 Argo AI, LLC Automatic bootstrap for autonomous vehicle localization
CN115147809A (zh) * 2022-06-30 2022-10-04 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、设备以及存储介质
US11694428B1 (en) * 2022-07-07 2023-07-04 Ludong University Method for detecting Ophiocephalus argus cantor under intra-class occulusion based on cross-scale layered feature fusion
CN115457499A (zh) * 2022-09-26 2022-12-09 上海汽车集团股份有限公司 一种深度学习网络训练方法、装置、设备及存储介质
CN115511752A (zh) * 2022-10-31 2022-12-23 合肥埃科光电科技股份有限公司 基于bp神经网络的点坐标去畸变方法及存储介质
CN116486377A (zh) * 2023-04-26 2023-07-25 小米汽车科技有限公司 可行驶区域的生成方法及装置

Similar Documents

Publication Publication Date Title
CN111442776B (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
US11734918B2 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
US11436743B2 (en) Systems and methods for semi-supervised depth estimation according to an arbitrary camera
US9286524B1 (en) Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
CN111448478A (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN111178122B (zh) 道路场景中三维车道的检测及平面表示
US10762650B1 (en) System and method for estimating depth using a monocular camera
CN110726399A (zh) 姿态估计
CN111539484B (zh) 训练神经网络的方法及装置
CN111627054A (zh) 用于预测高置信度密集点云的深度补全误差地图的方法和装置
US11144818B2 (en) Network architecture for ego-motion estimation
US11652972B2 (en) Systems and methods for self-supervised depth estimation according to an arbitrary camera
CN116626670B (zh) 自动驾驶模型的生成方法、装置、车辆及存储介质
US11243536B2 (en) Vehicular electronic device and operation method thereof
CN116168362A (zh) 车辆感知模型的预训练方法、装置、电子设备及车辆
CN116863429B (zh) 检测模型的训练方法、可行使区域的确定方法和装置
CN116343174A (zh) 目标检测方法、装置、车辆和存储介质
CN116863429A (zh) 检测模型的训练方法、可行使区域的确定方法和装置
CN114821517A (zh) 用于学习神经网络以确定环境中车辆姿态的方法和系统
EP3982332A1 (en) Methods and systems for generating training data for horizon and road plane detection
CN116740681B (zh) 目标检测方法、装置、车辆和存储介质
CN115661798B (zh) 确定目标区域的方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant