CN114842287A - 深度引导变形器的单目三维目标检测模型训练方法及装置 - Google Patents
深度引导变形器的单目三维目标检测模型训练方法及装置 Download PDFInfo
- Publication number
- CN114842287A CN114842287A CN202210307546.6A CN202210307546A CN114842287A CN 114842287 A CN114842287 A CN 114842287A CN 202210307546 A CN202210307546 A CN 202210307546A CN 114842287 A CN114842287 A CN 114842287A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- monocular
- depth
- deformer
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 129
- 238000001514 detection method Methods 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000000007 visual effect Effects 0.000 claims abstract description 48
- 230000001131 transforming effect Effects 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 25
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种深度引导变形器的单目三维目标检测模型训练方法及装置，该方法包括：根据各个三维包围框中心点坐标及其绝对深度值训练得到第一模型；通过第一模型变换各个原始深度图，得到各个目标深度图，通过移窗视觉变形器网络融合各个目标深度图及其单目三维图像，得到各个高阶图像特征；通过预设锚框提取各个高阶图像特征的各个建议框，通过预设算法计算各个建议框的损失值；根据各个损失值计算全局损失值，结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。本申请实施例提供的深度引导变形器的单目三维目标检测模型训练方法得到携带深度信息的单目三维目标检测模型，通过单目三维目标检测模型提升了单目三维目标的检测性能。
Description
技术领域
本申请涉及计算机视觉和模式识别技术领域，尤其涉及一种深度引导变形器的单目三维目标检测模型训练方法及装置。
背景技术
目标检测是计算机视觉中一项基本而重要的任务，而三维目标检测在机器人感知、混合现实和自动驾驶领域有着非常重要的应用。大多数现有的三维物体检测方法依靠激光雷达传感器提供深度信息，然而激光雷达成本较高、寿命较短，限制了其在工业中的应用。与之相比，相机成本低、寿命长，且易于安装，因此单目三维目标检测技术十分受到关注。但由于单目三维图像中天然缺乏深度信息，给单目三维目标检测任务带来了巨大的挑战，如何提升单目三维目标的检测性能成为现阶段需要研究的问题。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请提供一种深度引导变形器的单目三维目标检测模型训练方法及装置，旨在训练出携带有深度信息的单目三维目标检测模型，提升单目三维目标的检测性能。
第一方面，本申请提供一种深度引导变形器的单目三维目标检测模型训练方法，包括：
根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；
通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；
通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；
根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
在一个实施例中，所述通过预设算法计算各个所述建议框的损失值，包括：
通过所述移窗视觉变形器网络对各个所述建议框进行预测，得到各个所述建议框的物体类别概率；
结合交叉熵损失函数和各个所述物体类别概率，计算各个所述建议框与真实类别的各个第一损失值；
确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值。
所述确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值，包括：
通过所述移窗视觉变形器网络的回归建议框确定各个所述建议框的二维参数和三维参数；
通过SmoothL1损失函数结合各个所述二维参数，计算出各个所述建议框与二维真实框的二维损失值；
通过所述SmoothL1损失函数结合各个所述三维参数，计算出各个所述建议框与三维真实框的三维损失值；
将各个所述二维损失值和各个所述三维损失值，确定为各个所述第二损失值。
所述根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型之后，还包括：
通过预设单目深度估计模型提取待检测单目三维图像的原始深度图；
通过所述第一模型对所述待检测单目三维图像的原始深度图进行变换，得到所述待检测单目三维图像的目标深度图；
将所述待检测单目三维图像及其目标深度图归一化为预设大小，得到归一化后的待检测单目三维图像及其目标深度图；
通过所述单目三维目标检测模型对所述归一化后的待检测单目三维图像及其目标深度图进行目标检测，得到目标检测结果；
将所述目标检测结果与预设测试数据标签进行对比，根据对比结果确定所述单目三维目标检测模型的目标检测性能。
所述根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型，包括：
通过投影矩阵将各个所述三维包围框中心点坐标投影至图像平面中，确定各个二维中心点坐标；
在各个所述单目三维图像的原始深度图中，确定与各个所述二维中心点坐标对应的坐标的绝对深度值；
通过归一化流将各个所述三维包围框中心点坐标的深度分布和各个所述绝对深度值的深度分布进行预设次拟合训练，得到所述第一模型。
所述通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征，包括：
通过所述移窗视觉变形器网络提取各个所述目标深度图的查询特征，以及各个所述目标深度图对应的单目三维图像的键特征；
通过所述移窗视觉变形器网络的交叉注意力机制将各个所述查询特征和各个所述键特征进行融合，得到各个注意力特征；
通过所述移窗视觉变形器网络的窗口不同位置的深度关系，对各个所述注意力特征进行加权，得到所述高阶图像特征。
所述根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型之前，还包括：
通过预设单目深度估计模型提取各个单目三维图像的原始深度图，基于各个所述单目三维图像及其原始深度图，构建训练集。
第二方面，本申请还提供一种深度引导变形器的单目三维目标检测模型训练装置包括：
确定训练模块，用于根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；
变换融合模块，用于通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；
提取计算模块，用于通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；
计算训练模块，用于根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述深度引导变形器的单目三维目标检测模型训练方法。
第四方面，本申请还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述深度引导变形器的单目三维目标检测模型训练方法。
第五方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述深度引导变形器的单目三维目标检测模型训练方法。
本申请提供的深度引导变形器的单目三维目标检测模型训练方法及装置，在单目三维目标检测模型构建的过程中，训练了将各个原始深度图进行变换的第一模型，通过移窗视觉变形器网络将通过第一模型变换后目标深度图融合为各个高阶图像特征，通过预设锚框提取的各个高阶图像特征的建议框的损失值，结合预设模型训练方法训练得到单目三维目标检测模型，从而得到携带有深度信息的单目三维目标检测模型，通过单目三维目标检测模型提升了单目三维目标的检测性能。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的深度引导变形器的单目三维目标检测模型训练方法的流程示意图之一；
图2是本申请提供的深度引导变形器的单目三维目标检测模型训练方法的流程示意图之二；
图3是本申请提供的深度引导变形器的单目三维目标检测模型训练装置的结构示意图；
图4是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合图1至图4描述本申请提供的深度引导变形器的单目三维目标检测模型训练方法及装置。图1是本申请提供的深度引导变形器的单目三维目标检测模型训练方法的流程示意图之一；图2是本申请提供的深度引导变形器的单目三维目标检测模型训练方法的流程示意图之二；图3是本申请提供的深度引导变形器的单目三维目标检测模型训练装置的结构示意图；图4是本申请提供的电子设备的结构示意图。
本申请实施例提供了深度引导变形器的单目三维目标检测模型训练方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。
本申请实施例以电子设备作为执行主体进行举例，本申请实施例以模型构建系统作为电子设备的表现形式之一，并不进行限制。
参照图1，图1是本申请提供的深度引导变形器的单目三维目标检测模型训练方法的流程示意图之一。本申请实施例提供的深度引导变形器的单目三维目标检测模型训练方法包括：
步骤S10，根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型。
需要说明的是，在训练单目三维目标检测模型之前，需要构建训练集，具体为：模型构建系统通过预设单目深度估计模型提取各个单目三维图像的原始深度图，将各个单目三维图像及其原始深度图进行集合，构建训练集。其中，预设单目深度估计模型是预训练好的单目深度估计模型，单目三维图像即为单目三维RGB图像。进一步地，通过预设单目深度估计模型提取各个单目三维图像的原始深度图，并将各个单目三维图像及其原始深度图构建训练集，使得训练集中携带有单目三维图像的深度信息。
进一步地，构建好训练集之后，模型构建系统统计训练集中所有单目三维图像的三维包围框中心点坐标，同时模型构建系统将所有的三维包围框中心点坐标转换为平面坐标，即将所有的三维包围框中心点坐标投影至平面中。接着，模型构建系统根据各个平面坐标在各个单目三维图像对应的原始深度图中查找相应坐标的绝对深度值。最后，模型构建系统将各个三维包围框中心点坐标及其各个绝对深度值进行拟合训练，得到第一模型，具体如步骤S101至步骤S103所述。
进一步地，步骤S101至步骤S103的描述如下：
步骤S101，通过投影矩阵将各个所述三维包围框中心点坐标投影至图像平面中，确定各个二维中心点坐标；
步骤S102，在各个所述单目三维图像的原始深度图中，确定与各个所述二维中心点坐标对应的坐标的绝对深度值；
步骤S103，通过归一化流将各个所述三维包围框中心点坐标的深度分布和各个所述绝对深度值的深度分布进行预设次拟合训练，得到所述第一模型。
具体地，模型构建系统通过投影矩阵将各个三维包围框中心点坐标投影到图像平面中，即将各个三维包围框中心点坐标平面二维化处理，也即将各个三维包围框中心点坐标转换为平面坐标，得到各个二维中心点坐标。接着，模型构建系统在各个单目三维图像的原始深度图中，确定出与各个二维中心点坐标对应的坐标的绝对深度值。最后，模型构建系统通过归一化流将各个三维包围框中心点坐标的深度分布以及各个绝对深度值的深度分布进行拟合训练，经过预设次迭代拟合训练后得到第一模型，其中，预设次是根据实际情况设定的，第一模型可以即为第一模型F1。
本申请实施例归一化流将各个三维包围框中心点坐标的深度分布和各个绝对深度值的深度分布进行预设次拟合训练，得到携带有深度信息的第一模型，为后续训练出携带有深度信息的单目三维目标检测模型提供基础。
步骤S20，通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征。
进一步地，模型构建系统通过第一模型对各个原始深度图进行变换，得到各个原始深度图的各个新的深度图，即各个目标深度图。本申请实施例通过第一模型对各个原始深度图进行变换的目的是使用归一化流方法将深度先验引入深度图以提升深度图质量。
进一步地，模型构建系统在将各个目标深度图及其单目三维图像进行融合之前，需要将各个目标深度图及其单目三维图像归一化为预设大小，预设大小根据需求设定，预设大小如384×1280×3像素。接着，模型构建系统将预设大小归一化处理后的各个目标深度图及其单目三维图像传输至移窗视觉变形器网络。最后，模型构建系统通过移窗视觉变形器网络将预设大小归一化处理后的各个目标深度图及其单目三维图像进行融合，得到各个高阶图像特征，具体如步骤S201至步骤S203所述。
也就是说，本申请实施例中是将预设大小归一化处理后的各个目标深度图及其单目三维图像进行融合，而不是直接将各个目标深度图及其单目三维图像进行融合，使得各个目标深度图及其单目三维图像更加具有统一性。
进一步地，步骤S201至步骤S203的描述如下：
步骤S201，通过所述移窗视觉变形器网络提取各个所述目标深度图的查询特征，以及各个所述目标深度图对应的单目三维图像的键特征；
步骤S202，通过移窗视觉变形器网络的交叉注意力机制将各个所述查询特征和各个所述键特征进行融合，得到各个注意力特征；
步骤S203，通过所述移窗视觉变形器网络的窗口不同位置的深度关系，对各个所述注意力特征进行加权，得到所述高阶图像特征。
具体地，模型构建系统通过移窗视觉变形器网络的层级化提取各个目标深度图的查询特征，查询特征可以记为Qd，同时模型构建系统也需要通过移窗视觉变形器网络的层级化提取各个目标深度图对应的单目三维图像的键特征，键特征可以记为Ki。进一步地，模型构建系统通过移窗视觉变形器网络的交叉注意力机制将各个查询特征Qd和各个键特征Ki进行融合，得到各个注意力特征，注意力特征可以记为attention(Q，K，V)。最后，模型构建系统通过移窗视觉变形器网络的窗口不同位置的深度关系对各个注意力特征进行加权，得到高阶图像特征，具体加权公式如下所示：
其中，dj和dk表示同一窗口内的j位置和k位置的不同位置的深度值。
本申请实施例通过移窗视觉变形器网络的窗口不同位置的深度关系引导目标深度图及其单目三维图像融合，提升了特征融合质量。
步骤S30，通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，通过预设算法计算各个所述建议框的损失值。
需要说明的是，在通过预设锚框提取各个所述高阶图像特征的候选特征区域得到各个建议框之前，模型构建系统需要构建预设锚框。在本实施例中，模型构建系统预先定义确定数量的二维-三维联合锚框，具体为：模型构建系统在二维空间中按照不同的长范围、宽范围和预设比例定义二维锚框，然后对于二维锚框中的每个二维锚点，从训练数据集中确定相应先验计算的平均统计量作为每个二维锚点的三维参数。最后将所有三维标注框投影到二维空间并计算其与每个二维锚点的交并比，将相应的三维框分配给交并比大于等于0.5的锚框。
进一步地，构建完预设锚框之后，模型构建系统通过预设锚框提取各个高阶图像特征的候选特征区域，得到各个建议框。接着，模型构建系统通过移窗视觉变形器网络的检测头部预测各个建议框属于某个物体类别的概率。进一步地，模型构建系统根据各个建议框属于某个物体类别的概率，计算各个建议框与真实类别的损失值，同时，模型构建系统需要计算各个建议框与各维度真实框之间的损失值，具体步骤如步骤S301至步骤S303所述。
进一步地，步骤S301至步骤S303的描述如下：
步骤S301，通过所述移窗视觉变形器网络对各个所述建议框进行预测，得到各个所述建议框的物体类别概率；
步骤S302，结合交叉熵损失函数和各个所述物体类别概率，计算各个所述建议框与真实类别的各个第一损失值；
步骤S303，确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值。
具体地，模型构建系统通过移窗视觉变形器网络的检测头部对各个建议框进行预测，确定各个建议框属于某个物体类别的物体类别概率，物体类别概率可以记为ct。接着，模型构建系统结合交叉熵损失函数和各个物体类别概率，计算各个建议框与真实类别的第一偏差。其中，第一偏差可以理解为损失值。因此可以理解为：模型构建系统结合交叉熵损失函数和各个物体类别概率ct，计算各个建议框与真实类别的第一损失值，第一损失值可以记为Lc，第一损失值Lc的计算公式为：Lc＝-log(ct)。进一步地，模型构建系统通过移窗视觉变形器网络的回归建议框的二维参数和三维参数修正各个建议框，并利用预设损失函数计算各个建议框与二维真实框和三维真实框的第二偏差，其中，第二偏差可以理解为第二损失值，预设损失函数可以为SmoothL1损失函数。因此可以理解为：模型构建系统通过移窗视觉变形器网络的回归建议框的二维参数和三维参数修正各个建议框，并利用SmoothL1损失函数计算各个建议框与二维真实框和三维真实框的第二损失值，具体如步骤S3031至步骤S3034所述。
本申请实施例结合交叉熵损失函数和各个物体类别概率，准确计算出各个建议框与真实类别的各个第一损失值，同时结合预设损失函数和各维度参数，准确计算出各个建议框与各维度真实框之间的第二损失值，为后续构建准确的单目三维目标检测模型提供精准的第一损失值和第二损失值。
进一步地，步骤S3031至步骤S3034的描述如下：
步骤S3031，通过所述移窗视觉变形器网络的回归建议框确定各个所述建议框的二维参数和三维参数；
步骤S3032，通过SmoothL1损失函数结合各个所述二维参数，计算出各个所述建议框与二维真实框的二维损失值；
步骤S3033，通过所述SmoothL1损失函数结合各个所述三维参数，计算出各个所述建议框与三维真实框的三维损失值；
步骤S3034，将各个所述二维损失值和各个所述三维损失值，确定为各个所述第二损失值。
具体地，模型构建系统通过移窗视觉变形器网络的回归建议框确定修正各个建议框的二维参数和三维参数。接着，模型构建系统通过SmoothL1损失函数结合各个二维参数，计算出各个建议框与二维真实框的二维损失值，其中，二维损失值可以记为L2D。同时，模型构建系统通过SmoothL1损失函数结合各个三维参数，计算出各个建议框与三维真实框的三维损失值，其中，三维损失值可以记为L3D。最后，模型构建系统将各个二维损失值和各个三维损失值，确定为各个建议框的第二损失值，即第二损失值＝L2D+L3D。
本申请实施例通过SmoothL1损失函数结合各个二维参数和各个三维参数，精准地计算出各个建议框的第二损失值，为后续构建准确的单目三维目标检测模型提供精准的第二损失值。
步骤S40，根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
模型构建系统根据各个建议框的第一损失值Lc和第二损失值L2D+L3D，计算各个建议框的全局损失值，其中，全局损失值可以记为L，全局损失值L的计算公式如下所示：
L＝(1-ct)γ(Lc+L2D+L3D)，其中，超参数γ用于调节第一损失值Lc和第二损失值L2D+L3D之间的权重比例，通常设置为0.5。
进一步地，本申请实施例中的预设模型训练方法为反向传播算法和随机梯度下降法。因此可以理解为，模型构建系统通过反向传播算法和随机梯度下降法减小全局损失值L的预测整体误差，经过多次迭代训练模型后，得到最终的单目三维目标检测模型。
本实施例提供了深度引导变形器的单目三维目标检测模型训练方法，在单目三维目标检测模型构建的过程中，训练了将各个原始深度图进行变换的第一模型，通过移窗视觉变形器网络将通过第一模型变换后目标深度图融合为各个高阶图像特征，通过预设锚框提取的各个高阶图像特征的建议框的损失值，结合预设模型训练方法训练得到单目三维目标检测模型，从而得到携带有深度信息的单目三维目标检测模型，通过单目三维目标检测模型提升了单目三维目标的检测性能。
进一步地，参照图2，图2是本申请提供的深度引导变形器的单目三维目标检测模型训练方法的流程示意图之二，步骤S40之后，还包括：
步骤S50，通过预设单目深度估计模型提取待检测单目三维图像的原始深度图；
步骤S60，通过所述第一模型对所述待检测单目三维图像的原始深度图进行变换，得到所述待检测单目三维图像的目标深度图；
步骤S70，将待检测单目三维图像及其目标深度图归一化为预设大小，得到归一化后的待检测单目三维图像及其目标深度图；
步骤S80，通过单目三维目标检测模型对所述归一化后的待检测单目三维图像及其目标深度图进行目标检测，得到目标检测结果；
步骤S90，将所述目标检测结果与预设测试数据标签进行对比，根据对比结果确定所述单目三维目标检测模型的目标检测性能。
在训练得到单目三维目标检测模型之后，需要通过单目三维目标检测模型对待检测单目三维图像进行目标检测。在此之前，需要用户终端传入待检测单目三维图像，或者在模型构建系统中设定自动获取待检测单目三维图像，本申请实施例以前者为例。因此，目标检测的具体过程如下：模型构建系统接收到用户终端传入的待检测单目三维图像后，首先需要通过预设单目深度估计模型提取待检测单目三维图像的原始深度图。接着，模型构建系统通过上述步骤S10训练的第一模型对待检测单目三维图像的原始深度图进行变换，得到待检测单目三维图像的的新的深度图，即待检测单目三维图像的目标深度图。再接着，模型构建系统需要将待检测单目三维图像及其目标深度图归一化为预设大小，得到预设大小归一化后的待检测单目三维图像及其目标深度图，本申请实施例中的预设大小根据需求设定，预设大小如384×1280×3像素。进一步地，模型构建系统将预设大小归一化处理后的待检测单目三维图像及其目标深度图传输至单目三维目标检测模型。再接着，模型构建系统通过单目三维目标检测模型对预设大小归一化处理后的待检测单目三维图像及其目标深度图进行目标检测，得到目标检测结果。最后，模型构建系统将目标检测结果与预设测试数据标签进行对比，根据对比结果确定单目三维目标检测模型的目标检测性能，其中，对比结果可以为目标检测结果符合预设测试数据标签，对比结果页可以为目标检测结果不符合预设测试数据标签。
本实施例提供了深度引导变形器的单目三维目标检测模型训练方法，通过训练好的单目三维目标检测模型对待检测单目三维图像进行目标检测，根据目标检测结果与预设测试数据标签确定目标检测性能，从而确定是否需要进一步优化单目三维目标检测模型，从而能够训练出单目三维目标的检测性能更加精准的单目三维目标检测模型。
进一步地，对本申请提供的深度引导变形器的单目三维目标检测模型训练装置进行描述，深度引导变形器的单目三维目标检测模型训练装置与深度引导变形器的单目三维目标检测模型训练方法可相互对应。
如图3所示，图3是本申请提供的深度引导变形器的单目三维目标检测模型训练装置的结构示意图，深度引导变形器的单目三维目标检测模型训练装置包括：
确定训练模块301，用于根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；
变换融合模块302，用于通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；
提取计算模块303，用于通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；
计算训练模块304，用于根据各个所述损失值计算全局损失值，结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
进一步地，提取计算模块303包括确定单元，用于：
根据预设中位数函数结合各个所述出行频率总值，计算各个所述出行频率总值的中分位值；
确定各个所述出行频率总值中的目标出行频率总值，其中，所述目标出行频率总值大于所述中分位值；
将所述目标出行频率总值的目标用户确定为所述潜在用户。
进一步地，计算训练模块304还用于：
通过所述移窗视觉变形器网络对各个所述建议框进行预测，得到各个所述建议框的物体类别概率；
结合交叉熵损失函数和各个所述物体类别概率，计算各个所述建议框与真实类别的各个第一损失值；
确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值。
进一步地，提取计算模块303还用于：
通过所述移窗视觉变形器网络的回归建议框确定各个所述建议框的二维参数和三维参数；
通过SmoothL1损失函数结合各个所述二维参数，计算出各个所述建议框与二维真实框的二维损失值；
通过所述SmoothL1损失函数结合各个所述三维参数，计算出各个所述建议框与三维真实框的三维损失值；
将各个所述二维损失值和各个所述三维损失值，确定为各个所述第二损失值。
进一步地，深度引导变形器的单目三维目标检测模型训练装置包括，检测模块，用于：
通过预设单目深度估计模型提取待检测单目三维图像的原始深度图；
通过所述第一模型对所述待检测单目三维图像的原始深度图进行变换，得到所述待检测单目三维图像的目标深度图；
将所述待检测单目三维图像及其目标深度图归一化为预设大小，得到归一化后的待检测单目三维图像及其目标深度图；
通过所述单目三维目标检测模型对所述归一化后的待检测单目三维图像及其目标深度图进行目标检测，得到目标检测结果；
将所述目标检测结果与预设测试数据标签进行对比，根据对比结果确定所述单目三维目标检测模型的目标检测性能。
进一步地，确定训练模块301还用于：
通过投影矩阵将各个所述三维包围框中心点坐标投影至图像平面中，确定各个二维中心点坐标；
在各个所述单目三维图像的原始深度图中，确定与各个所述二维中心点坐标对应的坐标的绝对深度值；
通过归一化流将各个所述三维包围框中心点坐标的深度分布和各个所述绝对深度值的深度分布进行预设次拟合训练，得到所述第一模型。
进一步地，变换融合模块302还用于：
通过所述移窗视觉变形器网络提取各个所述目标深度图的查询特征，以及各个所述目标深度图对应的单目三维图像的键特征；
通过所述移窗视觉变形器网络的交叉注意力机制将各个所述查询特征和各个所述键特征进行融合，得到各个注意力特征；
通过所述移窗视觉变形器网络的窗口不同位置的深度关系，对各个所述注意力特征进行加权，得到所述高阶图像特征。
进一步地，深度引导变形器的单目三维目标检测模型训练装置包括，构建模块，用于：
通过预设单目深度估计模型提取各个单目三维图像的原始深度图，基于各个所述单目三维图像及其原始深度图，构建训练集。
本申请提供的深度引导变形器的单目三维目标检测模型训练装置的具体实施例与上述深度引导变形器的单目三维目标检测模型训练方法各实施例基本相同，在此不作赘述。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行深度引导变形器的单目三维目标检测模型训练方法，该方法包括：
根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；
通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；
通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；
根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的深度引导变形器的单目三维目标检测模型训练方法，该方法包括：
根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；
通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；
通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；
根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以执行上述各提供的深度引导变形器的单目三维目标检测模型训练方法，该方法包括：
根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；
通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；
通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；
根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种深度引导变形器的单目三维目标检测模型训练方法，其特征在于，包括：
根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；
通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；
通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；
根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
2.根据权利要求1所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述通过预设算法计算各个所述建议框的损失值，包括：
通过所述移窗视觉变形器网络对各个所述建议框进行预测，得到各个所述建议框的物体类别概率；
结合交叉熵损失函数和各个所述物体类别概率，计算各个所述建议框与真实类别的各个第一损失值；
确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值。
3.根据权利要求2所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值，包括：
通过所述移窗视觉变形器网络的回归建议框确定各个所述建议框的二维参数和三维参数；
通过SmoothL1损失函数结合各个所述二维参数，计算出各个所述建议框与二维真实框的二维损失值；
通过所述SmoothL1损失函数结合各个所述三维参数，计算出各个所述建议框与三维真实框的三维损失值；
将各个所述二维损失值和各个所述三维损失值，确定为各个所述第二损失值。
4.根据权利要求1所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型之后，还包括：
通过预设单目深度估计模型提取待检测单目三维图像的原始深度图；
通过所述第一模型对所述待检测单目三维图像的原始深度图进行变换，得到所述待检测单目三维图像的目标深度图；
将所述待检测单目三维图像及其目标深度图归一化为预设大小，得到归一化后的待检测单目三维图像及其目标深度图；
通过所述单目三维目标检测模型对所述归一化后的待检测单目三维图像及其目标深度图进行目标检测，得到目标检测结果；
将所述目标检测结果与预设测试数据标签进行对比，根据对比结果确定所述单目三维目标检测模型的目标检测性能。
5.根据权利要求1所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型，包括：
通过投影矩阵将各个所述三维包围框中心点坐标投影至图像平面中，确定各个二维中心点坐标；
在各个所述单目三维图像的原始深度图中，确定与各个所述二维中心点坐标对应的坐标的绝对深度值；
通过归一化流将各个所述三维包围框中心点坐标的深度分布和各个所述绝对深度值的深度分布进行预设次拟合训练，得到所述第一模型。
6.根据权利要求1所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征，包括：
通过所述移窗视觉变形器网络提取各个所述目标深度图的查询特征，以及各个所述目标深度图对应的单目三维图像的键特征；
通过所述移窗视觉变形器网络的交叉注意力机制将各个所述查询特征和各个所述键特征进行融合，得到各个注意力特征；
通过所述移窗视觉变形器网络的窗口不同位置的深度关系，对各个所述注意力特征进行加权，得到所述高阶图像特征。
7.根据权利要求1至6任一项所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型之前，还包括：
通过预设单目深度估计模型提取各个单目三维图像的原始深度图，基于各个所述单目三维图像及其原始深度图，构建训练集。
8.一种深度引导变形器的单目三维目标检测模型训练装置，其特征在于，包括：
确定训练模块，用于根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；
变换融合模块，用于通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；
提取计算模块，用于通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；
计算训练模块，用于根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。
9.根据权利要求8所述的深度引导变形器的单目三维目标检测模型训练装置，其特征在于，所述提取计算模块包括确定单元，所述确定单元用于：
通过所述移窗视觉变形器网络对各个所述建议框进行预测，得到各个所述建议框的物体类别概率；
结合交叉熵损失函数和各个所述物体类别概率，计算各个所述建议框与真实类别的各个第一损失值；
确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值。
10.根据权利要求8所述的深度引导变形器的单目三维目标检测模型训练装置，其特征在于，所述计算训练模块还用于：
通过所述移窗视觉变形器网络的回归建议框确定各个所述建议框的二维参数和三维参数；
通过SmoothL1损失函数结合各个所述二维参数，计算出各个所述建议框与二维真实框的二维损失值；
通过所述SmoothL1损失函数结合各个所述三维参数，计算出各个所述建议框与三维真实框的三维损失值；
将各个所述二维损失值和各个所述三维损失值，确定为各个所述第二损失值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210307546.6A CN114842287B (zh) | 2022-03-25 | 2022-03-25 | 深度引导变形器的单目三维目标检测模型训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210307546.6A CN114842287B (zh) | 2022-03-25 | 2022-03-25 | 深度引导变形器的单目三维目标检测模型训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114842287A true CN114842287A (zh) | 2022-08-02 |
| CN114842287B CN114842287B (zh) | 2022-12-06 |
Family
ID=82564583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210307546.6A Active CN114842287B (zh) | 2022-03-25 | 2022-03-25 | 深度引导变形器的单目三维目标检测模型训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842287B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315402A (zh) * | 2023-11-02 | 2023-12-29 | 北京百度网讯科技有限公司 | 三维对象检测模型的训练方法及三维对象检测方法 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102914267A (zh) * | 2012-09-27 | 2013-02-06 | 无锡天授信息科技有限公司 | 一种运动目标尺寸检测系统及方法 |
| CN109241856A (zh) * | 2018-08-13 | 2019-01-18 | 浙江零跑科技有限公司 | 一种单目车载视觉系统立体目标检测方法 |
| CN110070025A (zh) * | 2019-04-17 | 2019-07-30 | 上海交通大学 | 基于单目图像的三维目标检测系统及方法 |
| US20200019760A1 (en) * | 2018-07-16 | 2020-01-16 | Alibaba Group Holding Limited | Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses |
| US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
| CN111222395A (zh) * | 2019-10-21 | 2020-06-02 | 杭州飞步科技有限公司 | 目标检测方法、装置与电子设备 |
| US20210150726A1 (en) * | 2019-11-14 | 2021-05-20 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| CN112883790A (zh) * | 2021-01-15 | 2021-06-01 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于单目摄像头的3d物体检测方法 |
| CN112990050A (zh) * | 2021-03-26 | 2021-06-18 | 清华大学 | 一种基于轻量级特征金字塔结构的单目3d目标检测方法 |
| CN113011364A (zh) * | 2021-03-30 | 2021-06-22 | 北京市商汤科技开发有限公司 | 神经网络训练、目标对象检测、行驶控制方法及装置 |
| CN113032613A (zh) * | 2021-03-12 | 2021-06-25 | 哈尔滨理工大学 | 一种基于交互注意力卷积神经网络的三维模型检索方法 |
| CN113221744A (zh) * | 2021-05-12 | 2021-08-06 | 天津大学 | 一种基于深度学习的单目图像3d物体检测方法 |
| CN113284221A (zh) * | 2021-05-17 | 2021-08-20 | 中移(上海)信息通信科技有限公司 | 一种目标物检测方法、装置及电子设备 |
| CN113344998A (zh) * | 2021-06-25 | 2021-09-03 | 北京市商汤科技开发有限公司 | 深度检测方法、装置、计算机设备及存储介质 |
| US20210358153A1 (en) * | 2020-01-19 | 2021-11-18 | Shenzhen Sensetime Technology Co., Ltd. | Detection methods, detection apparatuses, electronic devices and storage media |
| CN113762358A (zh) * | 2021-08-18 | 2021-12-07 | 江苏大学 | 一种基于相对深度训练的半监督学习三维重建方法 |
| US20210397855A1 (en) * | 2020-06-23 | 2021-12-23 | Toyota Research Institute, Inc. | Monocular depth supervision from 3d bounding boxes |
| CN113887290A (zh) * | 2021-08-31 | 2022-01-04 | 际络科技(上海)有限公司 | 单目3d检测方法、装置、电子设备及存储介质 |
| CN113902897A (zh) * | 2021-09-29 | 2022-01-07 | 北京百度网讯科技有限公司 | 目标检测模型的训练、目标检测方法、装置、设备和介质 |
| CN114187589A (zh) * | 2021-12-14 | 2022-03-15 | 京东鲲鹏(江苏)科技有限公司 | 一种目标检测方法、装置、设备和存储介质 |
-
2022
- 2022-03-25 CN CN202210307546.6A patent/CN114842287B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102914267A (zh) * | 2012-09-27 | 2013-02-06 | 无锡天授信息科技有限公司 | 一种运动目标尺寸检测系统及方法 |
| US20200019760A1 (en) * | 2018-07-16 | 2020-01-16 | Alibaba Group Holding Limited | Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses |
| CN109241856A (zh) * | 2018-08-13 | 2019-01-18 | 浙江零跑科技有限公司 | 一种单目车载视觉系统立体目标检测方法 |
| US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
| CN110070025A (zh) * | 2019-04-17 | 2019-07-30 | 上海交通大学 | 基于单目图像的三维目标检测系统及方法 |
| CN111222395A (zh) * | 2019-10-21 | 2020-06-02 | 杭州飞步科技有限公司 | 目标检测方法、装置与电子设备 |
| US20210150726A1 (en) * | 2019-11-14 | 2021-05-20 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| US20210358153A1 (en) * | 2020-01-19 | 2021-11-18 | Shenzhen Sensetime Technology Co., Ltd. | Detection methods, detection apparatuses, electronic devices and storage media |
| US20210397855A1 (en) * | 2020-06-23 | 2021-12-23 | Toyota Research Institute, Inc. | Monocular depth supervision from 3d bounding boxes |
| CN112883790A (zh) * | 2021-01-15 | 2021-06-01 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于单目摄像头的3d物体检测方法 |
| CN113032613A (zh) * | 2021-03-12 | 2021-06-25 | 哈尔滨理工大学 | 一种基于交互注意力卷积神经网络的三维模型检索方法 |
| CN112990050A (zh) * | 2021-03-26 | 2021-06-18 | 清华大学 | 一种基于轻量级特征金字塔结构的单目3d目标检测方法 |
| CN113011364A (zh) * | 2021-03-30 | 2021-06-22 | 北京市商汤科技开发有限公司 | 神经网络训练、目标对象检测、行驶控制方法及装置 |
| CN113221744A (zh) * | 2021-05-12 | 2021-08-06 | 天津大学 | 一种基于深度学习的单目图像3d物体检测方法 |
| CN113284221A (zh) * | 2021-05-17 | 2021-08-20 | 中移(上海)信息通信科技有限公司 | 一种目标物检测方法、装置及电子设备 |
| CN113344998A (zh) * | 2021-06-25 | 2021-09-03 | 北京市商汤科技开发有限公司 | 深度检测方法、装置、计算机设备及存储介质 |
| CN113762358A (zh) * | 2021-08-18 | 2021-12-07 | 江苏大学 | 一种基于相对深度训练的半监督学习三维重建方法 |
| CN113887290A (zh) * | 2021-08-31 | 2022-01-04 | 际络科技(上海)有限公司 | 单目3d检测方法、装置、电子设备及存储介质 |
| CN113902897A (zh) * | 2021-09-29 | 2022-01-07 | 北京百度网讯科技有限公司 | 目标检测模型的训练、目标检测方法、装置、设备和介质 |
| CN114187589A (zh) * | 2021-12-14 | 2022-03-15 | 京东鲲鹏(江苏)科技有限公司 | 一种目标检测方法、装置、设备和存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| KUAN-CHIH HUANG等: "MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer", 《ARXIV:2203.10981》 * |
| YANGHAO LI等: "Improved Multiscale Vision Transformers for Classification and Detection", 《ARXIV:2112.01526V1》 * |
| 罗倩慧: "室内外环境中的物体检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 董红召等: "旋转框定位的多尺度再生物品目标检测算法", 《浙江大学学报（工学版）》 * |
| 赵华卿: "基于深度信息的三维目标检测及优化", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315402A (zh) * | 2023-11-02 | 2023-12-29 | 北京百度网讯科技有限公司 | 三维对象检测模型的训练方法及三维对象检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114842287B (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11328401B2 (en) | Stationary object detecting method, apparatus and electronic device | |
| CN113674421B (zh) | 3d目标检测方法、模型训练方法、相关装置及电子设备 | |
| EP4116462A2 (en) | Method and apparatus of processing image, electronic device, storage medium and program product | |
| CN110414526B (zh) | 语义分割网络的训练方法、训练装置、服务器和存储介质 | |
| CN109118532B (zh) | 视觉景深估计方法、装置、设备及存储介质 | |
| US11367195B2 (en) | Image segmentation method, image segmentation apparatus, image segmentation device | |
| JP7273129B2 (ja) | 車線検出方法、装置、電子機器、記憶媒体及び車両 | |
| CN117875719B (zh) | 基于目标三维立体测距的变电站安全预警方法 | |
| US20220172376A1 (en) | Target Tracking Method and Device, and Electronic Apparatus | |
| CN114187624A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN112330709A (zh) | 一种前景图像提取方法、装置、可读存储介质及终端设备 | |
| CN113901911A (zh) | 图像识别、模型训练方法、装置、电子设备及存储介质 | |
| EP4123595A2 (en) | Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium | |
| EP3001382A2 (en) | Method and apparatus for generating disparity map based on image frames photographed by stereo camera | |
| CN114449343A (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN113379877A (zh) | 人脸视频生成方法、装置、电子设备及存储介质 | |
| CN114842287B (zh) | 深度引导变形器的单目三维目标检测模型训练方法及装置 | |
| CN114663598A (zh) | 三维建模方法、装置和存储介质 | |
| CN114299230A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
| CN113706705A (zh) | 用于高精地图的图像处理方法、装置、设备以及存储介质 | |
| CN113378864A (zh) | 一种锚框参数的确定方法、装置、设备及可读存储介质 | |
| CN115965961B (zh) | 局部到全局的多模态融合方法、系统、设备及存储介质 | |
| US20230162383A1 (en) | Method of processing image, device, and storage medium | |
| CN114627438A (zh) | 目标检测模型生成方法、目标检测方法、设备及介质 | |
| CN116563604A (zh) | 端到端目标检测模型训练、图像目标检测方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |