CN116188893A - 基于bev的图像检测模型训练及目标检测方法和装置 - Google Patents

基于bev的图像检测模型训练及目标检测方法和装置 Download PDF

Info

Publication number
CN116188893A
CN116188893A CN202211664848.5A CN202211664848A CN116188893A CN 116188893 A CN116188893 A CN 116188893A CN 202211664848 A CN202211664848 A CN 202211664848A CN 116188893 A CN116188893 A CN 116188893A
Authority
CN
China
Prior art keywords
image
bev
feature
target
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211664848.5A
Other languages
English (en)
Inventor
何叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211664848.5A priority Critical patent/CN116188893A/zh
Publication of CN116188893A publication Critical patent/CN116188893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种基于BEV的图像检测模型训练及目标检测方法和装置，涉及人工智能技术领域，尤其涉及自动驾驶技术领域。该方法包括：对N个视角图像进行特征提取，得到N个多层图像特征图，并基于N个多层图像特征图进行深度估计，得到N个深度特征图；基于N个多层图像特征图、N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果；根据深度特征图和目标检测结果，对图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。本公开能够提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测。

Description

基于BEV的图像检测模型训练及目标检测方法和装置
技术领域
本公开涉及人工智能技术领域，尤其涉及自动驾驶技术领域。
背景技术
在自动驾驶中，常常需要基于车载摄像头采集的图像在鸟瞰视角(Bird’s EyeView，BEV)空间中使用，以便执行后续的驾驶规划等操作。
随着自动驾驶汽车(SDV)装备传感器的多样性和数量越来越复杂，以统一的视角表示不同视角的特征变得至关重要。著名的鸟瞰视图(BEV)是一种自然而直接的候选视图，可以作为统一的表示。与二维视觉领域中被广泛研究的前视图或透视视图相比，BEV表示具有一些内在的优点。首先，它不存在二维任务中普遍存在的遮挡和尺度问题。识别有遮挡或交叉交通的车辆可以得到更好的解决。此外，以这种形式表示物体或道路元素将有利于后续模块(如规划、控制)的开发和部署。
因此，如何进一步提高图像检测效率以及准确率、提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测，已经成为重要的研究方向之一。
发明内容
本公开提供了一种基于BEV的图像检测模型训练及目标检测方法和装置。
根据本公开的一方面，提供了一种图像检测模型的训练方法，该方法包括：
对N个视角图像进行特征提取，得到N个多层图像特征图，并基于所述N个多层图像特征图进行深度估计，得到N个深度特征图，所述N为正整数；
基于所述N个多层图像特征图、所述N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果，所述l为正整数；
根据所述深度特征图和所述目标检测结果，对所述图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。
根据本公开的一方面，提供了一种目标检测方法，该方法包括：
获取当前时刻的待检测N个视角图像，并提取所述待检测N个视角图像的N个多层图像特征图；
基于所述N个多层图像特征图进行深度估计，得到N个深度特征图；
将所述N个多层图像特征图和所述N个深度特征图输入目标图像检测模型中，由所述目标图像检测模型基于所述N个多层图像特征图和所述N个深度特征图和模型上一次的BEV特征图进行注意力机制，得到目标BEV特征图；
对目标BEV特征图进行目标检测，得到目标检测结果；
其中，所述目标图像检测模型为采用如第一方面实施例的图像检测模型的训练方法训练得到。
本公开可以提高图像检测效率以及准确率、提升特征空间转换的准确性，将多视角图像从不同的图像空间映射到统一的BEV空间的过程中引入了深度的信息，能够提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测。
根据本公开的另一方面，提供了一种图像检测模型的训练装置，包括：
特征图获取模块，用于对N个视角图像进行特征提取，得到N个多层图像特征图，并基于N个多层图像特征图进行深度估计，得到N个深度特征图，N为正整数；
训练模块，用于基于N个多层图像特征图、N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果，l为正整数；
调整模块，用于根据深度特征图和目标检测结果，对图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。
根据本公开的另一方面，提供了一种目标检测装置，包括：
提取模块，用于获取当前时刻的待检测N个视角图像，并提取待检测N个视角图像的N个多层图像特征图；
深度估计模块，用于基于N个多层图像特征图进行深度估计，得到N个深度特征图；
获取模块，用于将N个多层图像特征图和N个深度特征图输入目标图像检测模型中，由目标图像检测模型基于N个多层图像特征图和N个深度特征图和模型上一次的BEV特征图进行注意力机制，得到目标BEV特征图；
目标检测模块，用于对目标BEV特征图进行目标检测，得到目标检测结果；
其中，目标图像检测模型为采用如图像检测模型的训练装置训练得到。
根据本公开的另一方面，提供了一种电子设备，包括至少一个处理器，以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一个方面实施例的图像检测模型的训练方法或第二个方面实施例的目标检测方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一个方面实施例的图像检测模型的训练方法或第二个方面实施例的目标检测方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一个方面实施例的图像检测模型的训练方法或第二个方面实施例的目标检测方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一个实施例的图像检测模型的训练方法的流程图；
图2是根据本公开一个实施例的图像检测模型的训练方法的流程图；
图3是根据本公开一个实施例的图像检测模型的训练方法的流程图；
图4是根据本公开一个实施例的图像检测模型的训练方法的示意图；
图5是根据本公开一个实施例的图像检测模型的训练方法的示意图；
图6是根据本公开一个实施例的目标检测方法的流程图；
图7是根据本公开一个实施例的图像检测模型的训练装置的结构图；
图8是根据本公开一个实施例的目标检测装置的结构图；
图9是用来实现本公开实施例的图像检测模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开实施例涉及计算机视觉、深度学习等人工智能技术领域。
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
无人驾驶技术是传感器、计算机、人工智能、通信、导航定位、模式识别、机器视觉、智能控制等多门前沿学科的综合体。
自动驾驶一般指自动驾驶系统，其采用先进的通信、计算机、网络和控制技术，对列车实现实时、连续控制。采用现代通信手段，直接面对列车，可实现车地间的双向数据通信，传输速率快，信息量大，后续追踪列车和控制中心可以及时获知前行列车的确切位置，使得运行管理更加灵活，控制更为有效，更加适应列车自动驾驶的需求。
下面结合参考附图描述本公开的基于BEV的图像检测模型训练及目标检测方法和装置。
图1是根据本公开一个实施例的图像检测模型的训练方法的流程图，如图1所示，该方法包括以下步骤：
S101，对N个视角图像进行特征提取，得到N个多层图像特征图，并基于N个多层图像特征图进行深度估计，得到N个深度特征图，N为正整数。
可选地，本公开实施例中，调用N个图像采集装置，如相机，采集N个视角的图像，也就是说，N个图像采集装置部署在不同的位置，任一图像采集装置对应一个视角，对当前场景下的图像进行采集，得到N个视角图像，进而通过神经网络对N个视角图像进行特征提取，得到N个多层图像特征图。
可选地，本公开实施例中，使用残差网络(Residual Network)进行图像特征提取，例如，可以使用ResNet50或者ResNet101对N个视角图像进行特征提取，得到N个多层图像特征图。
在一些实现中，为了优化提取多尺度目标的特征，还可以使用特征图金字塔网络(Feature Pyramid Networks，FPN)对提取出来的多层图像特征图进行多尺度融合。
从图像空间映射到BEV空间，未考虑深度信息的情况下，有可能会在BEV空间下会沿着深度的射线方向预测出一系列误检框，为此，本公开实施例中，基于N个多层图像特征图进行深度估计，得到N个深度特征图，以便于后续将多个输入图像的特征进行自适应的融合并映射到统一的BEV空间下，减少出现的误检问题。
在一些实现中，对N个多层图像特征图中每个多层图像特征图的像素进行一个多分类的分类任务，对每个像素点预测多个深度，最后把每个深度的概率加权起来，得到最后的深度值，以此类推，获取N个深度特征图。深度特征图中每个像素都有一个深度值。
S102，基于N个多层图像特征图、N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果，l为正整数。
本公开实施例中，第1次训练的初始BEV特征图是随机初始化生成的，根据基于N个多层图像特征图、N个深度特征图和初始BEV特征图进行第1次训练，输出的BEV特征图1。
可选地由图像检测模型中的注意力机制网络对N个多层图像特征图、N个深度特征图和BEV特征图l进行注意力机制，例如全局注意力机制(Globalcross-attention)或可变形注意力机制(Deformable cross-attention)，得到BEV特征图l+1。
可选地，图像检测模型中还包括目标检测网络，由图像检测模型中的目标检测网络，对BEV特征图l+1进行目标检测，得到目标检测结果。可选地，目标检测网络可以是深度神经网络。
S103，根据深度特征图和目标检测结果，对图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。
本公开实施例中，可以根据深度特征图和目标检测结果，获取损失函数，以对图像检测模型进行模型参数调整。
在一些实现中，获取深度特征图和参考深度特征图之间的第一损失函数，获取目标检测结果和参考检测结果之间的第二损失函数。根据第一损失函数和第二损失函数之和，得到图像检测模型的总损失函数，根据总损失函数对图像检测模型进行模型参数调整。
在一些实现中，获取深度特征图和参考深度特征图之间的第一损失函数，基于第一损失函数对图像检测模型进行调整。
在一些实现中，获取目标检测结果和参考检测结果之间的第二损失函数，基于第二损失函数对图像检测模型进行调整。
可选地，对调整后的图像检测模型进行继续训练，直至达到预设训练次数或误差达到预设范围，得到目标图像检测模型。
本公开实施例中，对N个视角图像进行特征提取，得到N个多层图像特征图，并基于N个多层图像特征图进行深度估计，得到N个深度特征图，N为正整数；基于N个多层图像特征图、N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果，l为正整数；根据深度特征图和目标检测结果，对图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。本公开可以提高图像检测效率以及准确率、提升特征空间转换的准确性，将多视角图像从不同的图像空间映射到统一的BEV空间的过程中引入了深度的信息，能够提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测。
图2是根据本公开一个实施例的图像检测模型的训练方法的流程图，如图2所示，该方法包括以下步骤：
S201，对N个视角图像进行特征提取，得到N个多层图像特征图，并基于N个多层图像特征图进行深度估计，得到N个深度特征图，N为正整数。
关于步骤S201的介绍可以参见上述实施例中的相关内容，此处不再赘述。
需要说明的是，本公开实施例中，获取N个多层图像特征图后，基于S个FPN层进行多尺度融合，目的是优化提取多尺度目标的特征。
S202，由图像检测模型中的注意力机制网络对N个多层图像特征图、N个深度特征图和BEV特征图l进行注意力机制，得到BEV特征图l+1。
在一些实现中，以全注意力机制获取BEV特征图l+1举例说明，将每个bev query和他能够投影上的图像逐像素计算global attention，也就是说，确定从激光雷达坐标系向图像坐标系的转换矩阵(lidar2img参数)。基于转换矩阵，确定BEV特征图l对应的T个查询向量可投影至的目标图像，其中，目标图像为多视角图像中的n个图像，n为整数，且1≤n≤N，T为正整数。进一步地，确定目标图像对应的每层图像特征图的值向量和键向量，对查询向量和每层图像特征图的值向量和键向量进行逐个像素位置的多头全局注意力机制，得到BEV特征图l+1。
可选地，BEV特征图可表示为Fbev∈RC*X*Y，其中，T＝X*Y，X、Y为正整数，X*Y表示查询query的形状，C为每个query的特征维度。
可选地，多视角图像可表示为I∈RN*3*H*W，H表示每张多视角图像的长，W表示每张多视角图像的宽，H*W表示每张多视角图像的尺寸大小。
可选地，图像特征图可表示为Fimg∈RN*C*h*w，h表示每张图像特征图的长，w表示每张图像特征图的宽，h*w表示每张图像特征图的尺寸大小。
在一些实现中，对查询向量和每层图像特征图的值向量和键向量进行逐个像素位置的多头全局注意力机制，得到BEV特征图l+1，包括：对T个查询向量中的查询向量i，根据查询向量i和第s层图像特征图的值向量和键向量，得到目标图像对应的第s层的第一矩阵，并对每层的第一矩阵相加，得到注意力头的第二矩阵。其中，i和s均为整数，且1≤s≤S，1≤i≤T。根据注意力头的第二矩阵与注意力头的权重矩阵，得到注意力头的第三矩阵，并对每个注意力头的第三矩阵相加，得到查询向量i的全局注意力矩阵。对T个查询向量的全局注意力矩阵相加，得到BEV特征图l+1。
在一些实现中，根据查询向量i和第s图像特征图的值向量和键向量，得到目标图像对应的第s层的第一矩阵，包括：根据目标图像的深度特征图，确定目标图像上位置j的第一深度值。根据查询向量i中位置j的第二深度值和第一深度值之差的绝对值，确定位置j在查询向量i维度上的第一权重。根据查询向量i、位置j在第s层图像特征图上的键(Key)、位置j的权重和位置j在第s层图像特征图上的值(Value)，得到目标图像对应的第s层的第一矩阵。
可选地，可以采用如下公式获取BEV特征图l+1：
Figure BDA0004012598580000081
其中，DGGCA表示以全注意力机制获取的BEV特征图l+1，n为查询向量i可投影的目标图像的数量，
Figure BDA0004012598580000082
表示查询向量i中位置j的第二深度值，/>
Figure BDA0004012598580000083
表示位置j在第s层图像特征图上的值，/>
Figure BDA0004012598580000084
表示目标图像上位置j的第一深度值，/>
Figure BDA0004012598580000085
表示位置j在第s层图像特征图上的键，abs(...)表示取差值绝对值的运算，σ(…)表示归一化指数(softmax)函数，M表示注意力头的数量，Wm表示第m个注意力头可学习的参数。
在一些实现中，以可变形注意力机制获取BEV特征图l+1举例说明，将bev query通过lidar2img投影到不同的图像位置处，在其周围采样L个点，此时根据不同点的深度与bevquery深度的相似度给不同采样点不同的权重。也就是说，确定从激光雷达坐标系向图像坐标系的转换矩阵。基于转换矩阵，确定BEV特征图l对应的T个查询向量投影至目标图像上的投影图像位置。其中，目标图像为多视角图像中的n个图像，n为整数，且1≤n≤N，T为正整数。对投影图像位置的周围进行采样，得到采样位置。对查询向量、每层图像特征图的键向量和采样位置进行多头可变形注意力机制，得到BEV特征图l+1。
在一些实现中，对查询向量、每层图像特征图的键向量和采样位置进行多头可变形注意力机制，得到BEV特征图l+1，包括：对T个查询向量中的查询向量i，根据查询向量i、采样位置和第s层图像特征图，得到采样位置在第s层的第四矩阵。对每层的第四矩阵相加，得到注意力头的第五矩阵。根据注意力头的第五矩阵与注意力头的权重矩阵，得到注意力头的第六矩阵，并对每个注意力头的第六矩阵相加，得到查询向量i的可变形注意力矩阵。对T个查询向量的可变形注意力矩阵相加，得到BEV特征图l+1。
在一些实现中，根据查询向量i、采样位置和第s层图像特征图，得到采样位置在第s层的第四矩阵，包括：根据目标图像的深度特征图，确定采样位置f的第三深度值。根据查询向量i中采样位置f的第四深度值和第三深度值之差的绝对值，确定采样位置f在查询向量i维度上的第二权重。对查询向量i的第一坐标进行坐标拉伸，得到第s层尺寸下的第二坐标。根据第二坐标、采样位置f的第二权重和第s层图像特征图上的值，得到采样位置在第s层的第四矩阵。
可选地，可以采用如下公式获取BEV特征图l+1：
Figure BDA0004012598580000091
其中，DGDCA表示以可变形注意力机制获取的BEV特征图l+1，F表示每张投影图像位置的周围进行采样的数量，Δpmsqk和Amsqk分别表示第m个注意力头的第s层图像特征图的第k个采样点的偏移和注意力权重，
Figure BDA0004012598580000092
表示尺度因子，/>
Figure BDA0004012598580000093
表示查询向量i的归一化坐标，df表示采样位置f的第三深度值，/>
Figure BDA0004012598580000094
表示查询向量i中采样位置f的第四深度值，WS′表示第s层图像特征图(每个特征尺度)的权重，/>
Figure BDA0004012598580000095
表示位置l在第s层图像特征图上的值。
S203，由图像检测模型中的目标检测网络，对BEV特征图l+1进行目标检测，得到目标检测结果。
S204，根据深度特征图和目标检测结果，对图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。
关于步骤S203～步骤S204的介绍可以参见上述实施例中的内容，此处不再赘述。
在一些实现中，获取深度特征图和参考深度特征图之间的第一损失函数，基于第一损失函数对图像检测模型进行调整。举例说明，对于分类任务来说，在生成通道为num_class的热力图，训练时将每个真实目标的3D中心点投影到BEV空间下生成2维高斯分布特征图，并使用损失函数(如focalloss)来进行损失计算。对于回归任务来说，生成通道数为8的热力图，对每个像素点回归出3D中心点的偏移o∈R2、目标纵轴方向的高度hg∈R1、长宽高维度s∈R3以及朝向角(sin(β)，cos(β))∈[-1，1]2。使用损失函数(如L1loss)来进行损失计算。
在一些实现中，获取目标检测结果和参考检测结果之间的第二损失函数，基于第二损失函数对图像检测模型进行调整。举例说明，在3D空间中随机初始化900个目标查询(object query)，然后通过转换器transformer计算900个object query和bev特征图之间的相似性来预测出900个目标的3D信息，包括类别、位置、维度、朝向信息，类别使用focalloss计算损失，其他信息使用L1loss计算损失，测试时取多个预测结果输出。
本公开可以提高图像检测效率以及准确率、提升特征空间转换的准确性，将多视角图像从不同的图像空间映射到统一的BEV空间的过程中引入了深度的信息，能够提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测。
图3是根据本公开一个实施例的图像检测模型的训练方法的流程图，如图3所示，本公开实施例中，获取N个视角图像，对N个视角图像进行特征提取，得到N个多层图像特征图，并基于所述N个多层图像特征图进行深度估计，得到N个深度特征图。将所述N个多层图像特征图、所述N个深度特征图、初始BEV特征图，输入图像检测模型(也即深度引导注意力机制模块)，进行全局注意力机制或可变形注意力机制，获取目标BEV特征图，并根据所述N个多层图像特征图、所述N个深度特征图、目标BEV特征图再次输入深度引导注意力机制模块，进行全局注意力机制或可变形注意力机制，以更新目标BEV特征图。
将所述N个多层图像特征图、所述N个深度特征图、初始BEV特征图，输入深度引导注意力机制模块，进行全局注意力机制的过程如图4所示，将N个多层图像特征图、所述N个深度特征图、初始BEV特征图输入线性层(Linear Layer)，提取Query(Q)、Key(K)和Value(V)，将Query、Key进行Softmax函数运算，并进行标准注意力(Cross-Attention)操作后，和Value一起输入Linear Layer进行特征提取，以获取目标BEV特征图。
将所述N个多层图像特征图、所述N个深度特征图、初始BEV特征图，输入深度引导注意力机制模块，进行可变形注意力机制的过程如图5所示，将N个多层图像特征图的偏移(offset)输入Linear Layer进行特征提取，并与初始BEV特征图按位相加，获取融合后的特征图，将融合后的特征图输入Linear Layer进行特征提取，并进行Softmax函数运算和Cross-Attention操作后，和N个深度特征图、N个多层图像特征图一起输入Linear Layer进行特征提取，以获取目标BEV特征图。
可选地，Linear Layer可以是多层感知机MLP层。
本公开可以提高图像检测效率以及准确率、提升特征空间转换的准确性，将多视角图像从不同的图像空间映射到统一的BEV空间的过程中引入了深度的信息，能够提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测。
图6是根据本公开一个实施例的目标检测方法的流程图，如图6所示，该方法包括以下步骤：
S601，获取当前时刻的待检测N个视角图像，并提取待检测N个视角图像的N个多层图像特征图。
可选地，本公开实施例中，调用N个图像采集装置，如相机，采集N个视角的图像，也就是说，N个图像采集装置部署在不同的位置，任一图像采集装置对应一个视角，对当前场景下的图像进行采集，得到N个视角图像，进而通过神经网络对N个视角图像进行特征提取，得到N个多层图像特征图。
可选地，本公开实施例中，使用残差网络(Residual Network)进行图像特征提取，例如，可以使用ResNet50或者ResNet101对N个视角图像进行特征提取，得到N个多层图像特征图。
在一些实现中，为了优化提取多尺度目标的特征，还可以使用特征图金字塔网络(Feature Pyramid Networks，FPN)对提取出来的多层图像特征图进行多尺度融合。
S602，基于N个多层图像特征图进行深度估计，得到N个深度特征图。
在一些实现中，对N个多层图像特征图中每个多层图像特征图的像素进行一个多分类的分类任务，对每个像素点预测多个深度，最后把每个深度的概率加权起来，得到最后的深度值，以此类推，获取N个深度特征图。深度特征图中每个像素都有一个深度值。
S603，将N个多层图像特征图和N个深度特征图输入目标图像检测模型中，由目标图像检测模型基于N个多层图像特征图和N个深度特征图和模型上一次的BEV特征图进行注意力机制，得到目标BEV特征图。
其中，目标图像检测模型为采用如图像检测模型的训练方法训练得到。第一次BEV特征图由服务器随机初始化获取。
S604，对目标BEV特征图进行目标检测，得到目标检测结果。
在一些实现中，图像检测模型中还可以包括目标检测网络，由目标检测网络对目标BEV特征图进行目标检测，得到目标检测结果。可选地，目标检测网络可以是深度神经网络。
本公开实施例中，获取当前时刻的待检测N个视角图像，并提取待检测N个视角图像的N个多层图像特征图，基于N个多层图像特征图进行深度估计，得到N个深度特征图，将N个多层图像特征图和N个深度特征图输入目标图像检测模型中，由目标图像检测模型基于N个多层图像特征图和N个深度特征图和模型上一次的BEV特征图进行注意力机制，得到目标BEV特征图，对目标BEV特征图进行目标检测，得到目标检测结果。本公开可以提高图像检测效率以及准确率、提升特征空间转换的准确性，将多视角图像从不同的图像空间映射到统一的BEV空间的过程中引入了深度的信息，能够提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测。
图7是根据本公开一个实施例的图像检测模型的训练装置的结构图，如图7所示，图像检测模型的训练装置700包括：
特征图获取模块710，用于对N个视角图像进行特征提取，得到N个多层图像特征图，并基于N个多层图像特征图进行深度估计，得到N个深度特征图，N为正整数；
训练模块720，用于基于N个多层图像特征图、N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果，l为正整数；
调整模块730，用于根据深度特征图和目标检测结果，对图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。
在一些实现中，训练模块720，还用于：
由图像检测模型中的注意力机制网络对N个多层图像特征图、N个深度特征图和BEV特征图l进行注意力机制，得到BEV特征图l+1；
由图像检测模型中的目标检测网络，对BEV特征图l+1进行目标检测，得到目标检测结果。
在一些实现中，训练模块720，还用于：
确定从激光雷达坐标系向图像坐标系的转换矩阵；
基于转换矩阵，确定BEV特征图l对应的T个查询向量可投影至的目标图像，其中，目标图像为多视角图像中的n个图像，n为整数，且1≤n≤N，T为正整数；
确定目标图像对应的每层图像特征图的值向量和键向量；
对查询向量和每层图像特征图的值向量和键向量进行逐个像素位置的多头全局注意力机制，得到BEV特征图l+1。
在一些实现中，训练模块720，还用于：
对T个查询向量中的查询向量i，根据查询向量i和第s层图像特征图的值向量和键向量，得到目标图像对应的第s层的第一矩阵，并对每层的第一矩阵相加，得到注意力头的第二矩阵；其中，i和s均为整数，且1≤i≤T；
根据注意力头的第二矩阵与注意力头的权重矩阵，得到注意力头的第三矩阵，并对每个注意力头的第三矩阵相加，得到查询向量i的全局注意力矩阵；
对T个查询向量的全局注意力矩阵相加，得到BEV特征图l+1。
在一些实现中，训练模块720，还用于：
根据目标图像的深度特征图，确定目标图像上位置j的第一深度值；
根据查询向量i中位置j的第二深度值和第一深度值，确定位置j在查询向量i维度上的第一权重；
根据查询向量i、位置j在第s层图像特征图上的键、位置j的权重和位置j在第s层图像特征图上的值，得到目标图像对应的第s层的第一矩阵。
在一些实现中，训练模块720，还用于：
确定从激光雷达坐标系向图像坐标系的转换矩阵；
基于转换矩阵，确定BEV特征图l对应的T个查询向量投影至目标图像上的投影图像位置；其中，目标图像为多视角图像中的n个图像，n为整数，且1≤n≤N，T为正整数；
对投影图像位置的周围进行采样，得到采样位置；
对查询向量、每层图像特征图的键向量和采样位置进行多头可变形注意力机制，得到BEV特征图l+1。
在一些实现中，训练模块720，还用于：
对T个查询向量中的查询向量i，根据查询向量i、采样位置和第s层图像特征图，得到采样位置在第s层的第四矩阵；
对每层的第四矩阵相加，得到注意力头的第五矩阵；
根据注意力头的第五矩阵与注意力头的权重矩阵，得到注意力头的第六矩阵，并对每个注意力头的第六矩阵相加，得到查询向量i的可变形注意力矩阵；
对T个查询向量的可变形注意力矩阵相加，得到BEV特征图l+1。
在一些实现中，训练模块720，还用于：
根据目标图像的深度特征图，确定采样位置f的第三深度值；
根据查询向量i中采样位置f的第四深度值和第三深度值，确定采样位置f在查询向量i维度上的第二权重；
对查询向量i的第一坐标进行坐标拉伸，得到第s层尺寸下的第二坐标；
根据第二坐标、采样位置f的第二权重和第s层图像特征图上的值，得到采样位置在第s层的第四矩阵。
在一些实现中，调整模块730，还用于：
获取深度特征图和参考深度特征图之间的第一损失函数；
获取目标检测结果和参考检测结果之间的第二损失函数；
根据第一损失函数和第二损失函数，得到图像检测模型的总损失函数；
根据总损失函数对图像检测模型进行模型参数调整。
本公开可以提高图像检测效率以及准确率、提升特征空间转换的准确性，将多视角图像从不同的图像空间映射到统一的BEV空间的过程中引入了深度的信息，能够提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测。
图8是根据本公开一个实施例的目标检测装置的结构图，如图8所示，目标检测装置800包括：
提取模块810，用于获取当前时刻的待检测N个视角图像，并提取待检测N个视角图像的N个多层图像特征图；
深度估计模块820，用于基于N个多层图像特征图进行深度估计，得到N个深度特征图；
获取模块830，用于将N个多层图像特征图和N个深度特征图输入目标图像检测模型中，由目标图像检测模型基于N个多层图像特征图和N个深度特征图和模型上一次的BEV特征图进行注意力机制，得到目标BEV特征图；
目标检测模块840，用于对目标BEV特征图进行目标检测，得到目标检测结果；
其中，目标图像检测模型为采用如图像检测模型的训练装置训练得到。
本公开可以提高图像检测效率以及准确率、提升特征空间转换的准确性，将多视角图像从不同的图像空间映射到统一的BEV空间的过程中引入了深度的信息，能够提升特征空间转换的准确性，在BEV空间下进行准确且高效的3D目标检测。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9是用来实现本公开实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像检测模型的训练方法或目标检测方法。例如，在一些实施例中，图像检测模型的训练方法或目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像检测模型的训练方法或目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像检测模型的训练方法或目标检测方法。
在一些实现中，本公开还提出了一种自动驾驶车辆，包括如上述的电子设备。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种图像检测模型的训练方法，其中，所述方法包括：
对N个视角图像进行特征提取，得到N个多层图像特征图，并基于所述N个多层图像特征图进行深度估计，得到N个深度特征图，所述N为正整数；
基于所述N个多层图像特征图、所述N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果，所述l为正整数；
根据所述深度特征图和所述目标检测结果，对所述图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。
2.根据权利要求1所述的方法，其中，所述基于所述N个多层图像特征图、所述N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果，包括：
由所述图像检测模型中的注意力机制网络对所述N个多层图像特征图、所述N个深度特征图和所述BEV特征图l进行注意力机制，得到所述BEV特征图l+1；
由所述图像检测模型中的目标检测网络，对所述BEV特征图l+1进行目标检测，得到所述目标检测结果。
3.根据权利要求2所述的方法，其中，所述由所述图像检测模型中的注意力机制网络对所述N个多层图像特征图、所述N个估计深度图和所述BEV特征图l进行注意力机制，得到所述BEV特征图l+1，包括：
确定从激光雷达坐标系向图像坐标系的转换矩阵；
基于所述转换矩阵，确定所述BEV特征图l对应的T个查询向量可投影至的目标图像，其中，所述目标图像为所述多视角图像中的n个图像，所述n为整数，且1≤n≤N，所述T为正整数；
确定所述目标图像对应的每层图像特征图的值向量和键向量；
对所述查询向量和所述每层图像特征图的值向量和键向量进行逐个像素位置的多头全局注意力机制，得到所述BEV特征图l+1。
4.根据权利要求3所述的方法，其中，所述对所述查询向量和所述每层图像特征图的值向量和键向量进行逐个像素位置的多头全局注意力机制，得到所述BEV特征图l+1，包括：
对所述T个查询向量中的查询向量i，根据所述查询向量i和第s层图像特征图的值向量和键向量，得到所述目标图像对应的第s层的第一矩阵，并对每层的所述第一矩阵相加，得到注意力头的第二矩阵；其中，i和s均为整数，且1≤i≤T；
根据注意力头的第二矩阵与所述注意力头的权重矩阵，得到所述注意力头的第三矩阵，并对每个所述注意力头的第三矩阵相加，得到所述查询向量i的全局注意力矩阵；
对所述T个查询向量的全局注意力矩阵相加，得到所述BEV特征图l+1。
5.根据权利要求4所述的方法，其中，所述根据所述查询向量i和第s图像特征图的值向量和键向量，得到所述目标图像对应的第s层的第一矩阵，包括：
根据所述目标图像的深度特征图，确定所述目标图像上位置j的第一深度值；
根据所述查询向量i中所述位置j的第二深度值和所述第一深度值，确定所述位置j在所述查询向量i维度上的第一权重；
根据所述查询向量i、所述位置j在第s层图像特征图上的键、所述位置j的所述权重和位置j在第s层图像特征图上的值，得到所述目标图像对应的第s层的第一矩阵。
6.根据权利要求2所述的方法，其中，所述由所述图像检测模型中的注意力机制网络对所述N个多层图像特征图、所述N个估计深度图和所述BEV特征图l进行注意力机制，得到所述BEV特征图l+1，包括：
确定从激光雷达坐标系向图像坐标系的转换矩阵；
基于所述转换矩阵，确定所述BEV特征图l对应的T个查询向量投影至目标图像上的投影图像位置；其中，所述目标图像为所述多视角图像中的n个图像，所述n为整数，且1≤n≤N，所述T为正整数；
对所述投影图像位置的周围进行采样，得到采样位置；
对所述查询向量、每层图像特征图的键向量和所述采样位置进行多头可变形注意力机制，得到所述BEV特征图l+1。
7.根据权利要求6所述的方法，其中，所述对所述查询向量、每层图像特征图的键向量和所述采样位置进行多头可变形注意力机制，得到所述BEV特征图l+1，包括：
对所述T个查询向量中的查询向量i，根据所述查询向量i、所述采样位置和第s层图像特征图，得到所述采样位置在第s层的第四矩阵；
对每层的第四矩阵相加，得到注意力头的第五矩阵；
根据注意力头的第五矩阵与所述注意力头的权重矩阵，得到所述注意力头的第六矩阵，并对每个所述注意力头的第六矩阵相加，得到所述查询向量i的可变形注意力矩阵；
对所述T个查询向量的可变形注意力矩阵相加，得到所述BEV特征图l+1。
8.根据权利要求7所述的方法，其中，所述根据所述查询向量i、所述采样位置和第s层图像特征图，得到所述采样位置在第s层的第四矩阵，包括：
根据所述目标图像的深度特征图，确定所述采样位置f的第三深度值；
根据所述查询向量i中所述采样位置f的第四深度值和所述第三深度值，确定所述采样位置f在所述查询向量i维度上的第二权重；
对所述查询向量i的第一坐标进行坐标拉伸，得到第s层尺寸下的第二坐标；
根据所述第二坐标、所述采样位置f的所述第二权重和所述第s层图像特征图上的值，得到所述采样位置在第s层的第四矩阵。
9.根据权利要求1-8中任一项所述的方法，其中，所述根据所述深度特征图和所述目标检测结果，对所述图像检测模型进行模型参数调整，包括：
获取所述深度特征图和参考深度特征图之间的第一损失函数；
获取所述目标检测结果和参考检测结果之间的第二损失函数；
根据所述第一损失函数和所述第二损失函数，得到所述图像检测模型的总损失函数；
根据所述总损失函数对所述图像检测模型进行模型参数调整。
10.一种目标检测方法，其中，包括：
获取当前时刻的待检测N个视角图像，并提取所述待检测N个视角图像的N个多层图像特征图；
基于所述N个多层图像特征图进行深度估计，得到N个深度特征图；
将所述N个多层图像特征图和所述N个深度特征图输入目标图像检测模型中，由所述目标图像检测模型基于所述N个多层图像特征图和所述N个深度特征图和模型上一次的BEV特征图进行注意力机制，得到目标BEV特征图；
对目标BEV特征图进行目标检测，得到目标检测结果；
其中，所述目标图像检测模型为采用如权利要求1-9中任一项所述的装置训练得到。
11.一种图像检测模型的训练装置，其中，所述装置包括：
特征图获取模块，用于对N个视角图像进行特征提取，得到N个多层图像特征图，并基于所述N个多层图像特征图进行深度估计，得到N个深度特征图，所述N为正整数；
训练模块，用于基于所述N个多层图像特征图、所述N个深度特征图和第l次训练输出的鸟瞰视角BEV特征图l，对图像检测模型进行第l+1次训练，输出BEV特征图l+1和目标检测结果，所述l为正整数；
调整模块，用于根据所述深度特征图和所述目标检测结果，对所述图像检测模型进行模型参数调整，并对调整后的图像检测模型进行继续训练，直至得到目标图像检测模型。
12.根据权利要求11所述的装置，其中，所述训练模块，还用于：
由所述图像检测模型中的注意力机制网络对所述N个多层图像特征图、所述N个深度特征图和所述BEV特征图l进行注意力机制，得到所述BEV特征图l+1；
由所述图像检测模型中的目标检测网络，对所述BEV特征图l+1进行目标检测，得到所述目标检测结果。
13.根据权利要求12所述的装置，其中，所述训练模块，还用于：
确定从激光雷达坐标系向图像坐标系的转换矩阵；
基于所述转换矩阵，确定所述BEV特征图l对应的T个查询向量可投影至的目标图像，其中，所述目标图像为所述多视角图像中的n个图像，所述n为整数，且1≤n≤N，所述T为正整数；
确定所述目标图像对应的每层图像特征图的值向量和键向量；
对所述查询向量和所述每层图像特征图的值向量和键向量进行逐个像素位置的多头全局注意力机制，得到所述BEV特征图l+1。
14.根据权利要求13所述的装置，其中，所述训练模块，还用于：
对所述T个查询向量中的查询向量i，根据所述查询向量i和第s层图像特征图的值向量和键向量，得到所述目标图像对应的第s层的第一矩阵，并对每层的所述第一矩阵相加，得到注意力头的第二矩阵；其中，i和s均为整数，且1≤i≤T；
根据注意力头的第二矩阵与所述注意力头的权重矩阵，得到所述注意力头的第三矩阵，并对每个所述注意力头的第三矩阵相加，得到所述查询向量i的全局注意力矩阵；
对所述T个查询向量的全局注意力矩阵相加，得到所述BEV特征图l+1。
15.根据权利要求14所述的装置，其中，所述训练模块，还用于：
根据所述目标图像的深度特征图，确定所述目标图像上位置j的第一深度值；
根据所述查询向量i中所述位置j的第二深度值和所述第一深度值，确定所述位置j在所述查询向量i维度上的第一权重；
根据所述查询向量i、所述位置j在第s层图像特征图上的键、所述位置j的所述权重和位置j在第s层图像特征图上的值，得到所述目标图像对应的第s层的第一矩阵。
16.根据权利要求12所述的装置，其中，所述训练模块，还用于：
确定从激光雷达坐标系向图像坐标系的转换矩阵；
基于所述转换矩阵，确定所述BEV特征图l对应的T个查询向量投影至目标图像上的投影图像位置；其中，所述目标图像为所述多视角图像中的n个图像，所述n为整数，且1≤n≤N，所述T为正整数；
对所述投影图像位置的周围进行采样，得到采样位置；
对所述查询向量、每层图像特征图的键向量和所述采样位置进行多头可变形注意力机制，得到所述BEV特征图l+1。
17.根据权利要求16所述的装置，其中，所述训练模块，还用于：
对所述T个查询向量中的查询向量i，根据所述查询向量i、所述采样位置和第s层图像特征图，得到所述采样位置在第s层的第四矩阵；
对每层的第四矩阵相加，得到注意力头的第五矩阵；
根据注意力头的第五矩阵与所述注意力头的权重矩阵，得到所述注意力头的第六矩阵，并对每个所述注意力头的第六矩阵相加，得到所述查询向量i的可变形注意力矩阵；
对所述T个查询向量的可变形注意力矩阵相加，得到所述BEV特征图l+1。
18.根据权利要求17所述的装置，其中，所述训练模块，还用于：
根据所述目标图像的深度特征图，确定所述采样位置f的第三深度值；
根据所述查询向量i中所述采样位置f的第四深度值和所述第三深度值，确定所述采样位置f在所述查询向量i维度上的第二权重；
对所述查询向量i的第一坐标进行坐标拉伸，得到第s层尺寸下的第二坐标；
根据所述第二坐标、所述采样位置f的所述第二权重和所述第s层图像特征图上的值，得到所述采样位置在第s层的第四矩阵。
19.根据权利要求11-18中任一项所述的装置，其中，所述调整模块，还用于：
获取所述深度特征图和参考深度特征图之间的第一损失函数；
获取所述目标检测结果和参考检测结果之间的第二损失函数；
根据所述第一损失函数和所述第二损失函数，得到所述图像检测模型的总损失函数；
根据所述总损失函数对所述图像检测模型进行模型参数调整。
20.一种目标检测装置，其中，包括：
提取模块，用于获取当前时刻的待检测N个视角图像，并提取所述待检测N个视角图像的N个多层图像特征图；
深度估计模块，用于基于所述N个多层图像特征图进行深度估计，得到N个深度特征图；
获取模块，用于将所述N个多层图像特征图和所述N个深度特征图输入目标图像检测模型中，由所述目标图像检测模型基于所述N个多层图像特征图和所述N个深度特征图和模型上一次的BEV特征图进行注意力机制，得到目标BEV特征图；
目标检测模块，用于对目标BEV特征图进行目标检测，得到目标检测结果；
其中，所述目标图像检测模型为采用如权利要求11-19中任一项所述的装置训练得到。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法或执行权利要求10中所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法的步骤或执行根据权利要求10中所述的方法的步骤。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法或实现根据权利要求10中所述的方法。
24.一种自动驾驶车辆，包括如权利要求21所述的电子设备。
CN202211664848.5A 2022-12-22 2022-12-22 基于bev的图像检测模型训练及目标检测方法和装置 Pending CN116188893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211664848.5A CN116188893A (zh) 2022-12-22 2022-12-22 基于bev的图像检测模型训练及目标检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211664848.5A CN116188893A (zh) 2022-12-22 2022-12-22 基于bev的图像检测模型训练及目标检测方法和装置

Publications (1)

Publication Number Publication Date
CN116188893A true CN116188893A (zh) 2023-05-30

Family

ID=86447085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211664848.5A Pending CN116188893A (zh) 2022-12-22 2022-12-22 基于bev的图像检测模型训练及目标检测方法和装置

Country Status (1)

Country Link
CN (1) CN116188893A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664824A (zh) * 2023-06-26 2023-08-29 北京智源人工智能研究院 基于多尺度roi投影的物体检测任务bev特征提取方法及系统
CN116758301A (zh) * 2023-08-14 2023-09-15 腾讯科技（深圳）有限公司 一种图像处理方法以及相关设备
CN117351450A (zh) * 2023-12-06 2024-01-05 吉咖智能机器人有限公司 一种单目3d检测方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664824A (zh) * 2023-06-26 2023-08-29 北京智源人工智能研究院 基于多尺度roi投影的物体检测任务bev特征提取方法及系统
CN116758301A (zh) * 2023-08-14 2023-09-15 腾讯科技（深圳）有限公司 一种图像处理方法以及相关设备
CN117351450A (zh) * 2023-12-06 2024-01-05 吉咖智能机器人有限公司 一种单目3d检测方法、装置、电子设备及存储介质
CN117351450B (zh) * 2023-12-06 2024-02-27 吉咖智能机器人有限公司 一种单目3d检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR102581429B1 (ko) 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN113377888B (zh) 训练目标检测模型和检测目标的方法
CN112560684B (zh) 车道线检测方法、装置、电子设备、存储介质以及车辆
CN113361710B (zh) 学生模型训练方法、图片处理方法、装置及电子设备
US20220172376A1 (en) Target Tracking Method and Device, and Electronic Apparatus
CN114419519B (zh) 目标对象检测方法、装置、电子设备和存储介质
CN116402876A (zh) 双目深度估计方法、装置、嵌入式设备和可读存储介质
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
CN115866229B (zh) 多视角图像的视角转换方法、装置、设备和介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN115239776B (zh) 点云的配准方法、装置、设备和介质
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN113984072B (zh) 车辆定位方法、装置、设备、存储介质及自动驾驶车辆
CN115880555A (zh) 目标检测方法、模型训练方法、装置、设备及介质
CN116129422A (zh) 单目3d目标检测方法、装置、电子设备和存储介质
CN114972465A (zh) 图像目标深度的检测方法、装置、电子设备和存储介质
CN115205806A (zh) 生成目标检测模型的方法、装置和自动驾驶车辆
CN115240171B (zh) 道路结构感知方法及装置
CN114495042B (zh) 目标检测方法和装置
CN116229209B (zh) 目标模型的训练方法、目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination