CN118072285A - 基于单目视觉的适应雨雾天气的单目3d目标检测方法 - Google Patents

Abstract

本发明是一种基于单目视觉的适应雨雾天气的单目3D目标检测方法。该方法通过采集恶劣天气下的路面场景图像，并利用特征提取器处理这些图像，获取深度特征、2D边界框和基本3D边界框信息。核心技术包括一种结合了弱约束编码器和强约束解码器的自适应学习策略，以及一个双层深度感知模块，以提升在多种挑战性环境下的检测性能。此外，深度预测被建模为遵循拉普拉斯分布，用于增强对目标深度和不确定性的理解。该方法不仅提高了目标检测的准确性和鲁棒性，还通过结合特征提取和3D检测技术，实现了高效且准确的目标识别，适合于实时或资源受限的应用，为单目3D目标检测在复杂环境中的应用提供了创新且有效的解决方案。

Description

基于单目视觉的适应雨雾天气的单目3D目标检测方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及基于单目视觉的适应雨雾天气的单目3D目标检测方法，具体涉及基于单目深度估计和检测算法的单目3D目标检测方法。

背景技术

在智能视觉系统中，3D目标检测扮演着至关重要的角色。传统的3D目标检测方法通常依赖激光雷达传感器或立体相机进行深度估计，尽管这些方法可以提供准确的深度信息，但它们显著增加了实用系统的成本。因此，单目3D目标检测已成为一个有希望的替代方案，引起研究界的极大兴趣。

在过去几年中，已经提出并成功实施了许多单目3D目标检测技术。这些方法可以大致分为两类：基于单幅图像的技术和利用辅助信息的技术。基于单幅图像的技术，主要侧重于从单个输入图像中提取深度信息。它们采用创新策略，如深度感知卷积和深度误差分析，以提高检测性能，提供成本效益和简单性。另一方面，基于辅助信息的方法，结合了额外的数据源，如CAD模型或点云，来丰富检测过程。这些附加信息有助于克服单图像方法的局限性，导致更精确和准确的对象定位和分类。

然而，如MonoDETR、MonoDLE及GUPNet等主流方法在以下两个方面存在巨大的挑战。首先，3D目标检测不可避免地会遇到现实世界的不利条件，如雨天遮挡、雾天散射和低光照情况下的纹理损失。这些条件导致图像质量下降，部分或完全遮挡对象，模糊效果和对比度降低，最终破坏检测性能。其次，单目3D检测本质上受到单一视点的限制，从单个2D图像中恢复深度信息变得困难，因为相机投影过程导致了空间信息的丢失。这一限制可能导致深度估计中的模糊不清和不确定性，给准确的对象定位和分类带来挑战。因此，为了保障模型的鲁棒性，需要一种结合深度估计的可以理解不同雨雾天气环境的单目3D目标检测方法。

发明内容

本发明提出了一种基于单目视觉的适应雨雾天气的单目3D目标检测方法，专为恶劣天气条件设计。该方法有效地克服了雨、雾条件下常见的深度信息损失问题，提高了3D目标检测的准确性和鲁棒性。本发明的核心在于结合先进的自适应学习策略和双层深度感知技术，以增强在多种挑战性环境下的3D目标检测性能。

本发明的技术方案如下：

1)利用单目相机采集恶劣天气条件下的路面场景图像；

2)应用特征提取器对步骤1)采集到的图像在由弱约束编码器和强约束解码器组成的自适应学习策略帮助下进行特征提取，以获得聚合特征、对象特征；

3)利用步骤2)获得的对象特征和聚合特征通过双层深度感知模块同时预测场景深度和物体深度；

4)利用步骤2)获得的聚合特征在2D检测头中预测目标的2D边界框，然后利用步骤2)获得的对象特征在3D检测头中预测目标的3D中心偏移、3D尺寸和方向；

5)将步骤3)得到的场景深度和物体深度视为遵循Laplace分布，为场景深度和场景深度的不确定性以及物体深度和物体深度的不确定性建模，计算得到目标深度；

6)对于步骤2)到步骤5)构建的3D检测模型，输出结果在训练过程中，同时计算与自适应学习策略和3D目标检测任务相关的损失，获得训练好的检测模型；

7)利用步骤2)到步骤6)训练好的检测模型，输出3D检测结果并结合步骤1)中采集的图片对应的原始相机参数确定目标的二维图像坐标以及三维空间坐标。

本发明的有益效果：

本发明提出了一种适应雨雾天气的单目3D目标检测方法，旨在解决恶劣天气条件下传统单目3D目标检测技术面临的挑战。此方法有效克服了雨雾等条件导致的深度信息损失问题，大大提高了目标检测的准确性和鲁棒性。核心技术包括先进的自适应学习策略和双层深度感知技术，增强了模型在多种恶劣环境下的性能。此外，本发明通过结合特征提取和3D检测技术，实现了高效且准确的目标识别，降低了计算复杂度，使其更适合实时或资源受限的应用。总体来说，本发明为单目3D目标检测在复杂环境中的应用提供了一种创新且高效的解决方案。

附图说明

图1为单目相机模型示意图，展示相机的基本结构和在恶劣天气条件下的图像捕获原理。

图2为图像捕获过程图，描述在雨天和雾天等不同恶劣天气条件下捕获图像的场景和技术细节。

图3为特征提取过程示意图，阐述如何从预处理后的图像中提取低级特征、高级特征、聚合特征和对象特征。

图4为弱约束编码器工作原理图，详细展示编码器如何处理和分析不同恶劣环境下的图像特征。

图5为强约束解码器工作原理图，描绘解码器如何进行场景分析和特征感知。

图6为双层深度感知模块工作流程图，解释该模块如何同时处理和预测场景深度和物体深度。

图7为3D目标检测流程详细图，展示从2D边界框预测到3D目标参数估计的完整步骤。

图8为场景深度和物体深度基于Laplace分布的预测和不确定性建模图。

图9为系统总体工作流程图，总结展示从图像采集到最终3D目标检测的整个流程。

图10为实验结果图，通过实际测试数据展示系统在特定恶劣天气条件(雨雾和低光)下的检测效果和准确性。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式

本发明的基于单目视觉的适应雨雾天气的单目3D目标检测方法的基本流程如图9示，具体如下：

1)利用单目相机采集恶劣天气条件下的路面场景图像；

为了收集图像数据，首先使用了单目相机来进行捕获路面场景的操作，特别是在恶劣天气条件下，如雨雾天。所获得的图像展现了这些天气对环境可见度和图像清晰度的影响，为实验提供了基本的参数信息，其中，单目相机采集图像如图1所示。

收集的数据集涵盖了多种不利天气条件，以确保全面性。在这一过程中，大气效应对图像的影响得到了考虑，并且基于大气光衰减理论，对雾天条件进行了建模。这种方法详细考虑了雨纹和雾效应对图像的影响。对于雨天条件，雨滴的动力学及其对图像质量的影响也被纳入考量。模拟了雨纹引起的失真，并考虑了雨滴与大气光的相互作用，以精准还原恶劣天气下的图像特征。此外，为模拟低光条件，采用了亮度校正方法。因为在恶劣天气下，光线经由雨滴或雾气的散射和吸收而导致图像变暗。通过在数据集中加入这些低光条件，能够更好地模拟实际恶劣天气下的图像质量，提供更具挑战性的数据样本。综合不同恶劣天气条件的影响，可以全面评估和训练单目3D目标检测算法在这些条件下的性能。这样的数据集提供了具有挑战性的场景，有助于改进算法的鲁棒性和准确性，图2展示了该方法中使用的不同环境数据。

2)应用特征提取器对步骤1)采集到的图像在由弱约束编码器和强约束解码器组成的自适应学习策略帮助下进行特征提取，以获得聚合特征、对象特征；

2.1)使用特征提取器进行特征提取：该特征提取器包括一个标准的DLA34特征提取器、一个特征聚合网络和一个ROI对齐。步骤1)采集的图像作为输入，进入标准的DLA34特征提取器中，生成低级特征，低级特征由DLA34进一步提取获得高级特征，高级特征进入特征聚合网络，生成聚合特征，聚合特征通过ROI对齐生成对象特征。如图3所示。该特征提取器是一个多尺度的特征提取器，分不同层次的将不同特征提取出来，并且使用特征合并的方法将不同层次的特征合并到了一起。

2.2)使用自适应学习策略更好的进行特征提取：自适应学习策略包括一个弱约束编码器(如图4所示，包括三组残差块，每个残差块中包括一个层归一化、一个基于窗口的多头自注意力还有一个标准的多层感知机)、一个强约束解码器(如图5所示，强约束解码器包括一个层归一化、一个基于窗口的多头交叉注意力还有一个标准的多层感知机)和一个投影模块(投影模块包括三个卷积层以及一个标准的多层感知机)步骤2.1)输出的低级特征输入弱约束编码器，提取出图片和环境相关的特征。之后定义好一系列的查询，弱约束编码器的输出结果输入强约束解码器当做键值对，来对不同恶劣场景进行问询，获得对不同环境下正确的感知特征。弱约束编码器和强约束解码器输出的特征输入进投影模块，在投影模块一层层传递，生成清晰图像。此时步骤2.1)更新，输出更加恶劣环境鲁棒的高级特征、聚合特征和对象特征作为步骤2)的最终输出。

3)利用步骤2)获得的对象特征和聚合特征通过双层深度感知模块同时预测场景深度和物体深度；

定义双层深度感知模块为两个独立的线性回归层R₁和R₂，并且将物理意义的深度(即某个点到相机基线的距离)分为81个类，每一个类代表一个数值(单位为米)。经过步骤2)后，获得的对象特征进入双层深度感知模块。首先通过R₁回归物体深度，然后该对象特征拼接步骤2)的聚合特征通过R₂回归出场景深度。该步骤如图6所示，该步骤基于一个假设，即3D检测需要的目标深度由两个不同的元素构成：物体深度和场景深度。物体深度是指与每个物体的内在属性相关的深度，它可以通过分析物体周围的局部特征来预测。与之相对，场景深度指的是传感器和物体表面对应的每个7×7单元的物理深度，它代表了传感器与物体之间的距离，需要考虑整个场景的信息。在恶劣环境条件下，对场景深度的全面感知对于准确预测目标深度至关重要。特别是对于单目系统，场景深度的预测高度依赖于整个场景的信息，并且对天气条件特别敏感。

通过结合场景深度和物体深度的预测，双层深度感知模块显著提升了在各种具有挑战性的天气条件下进行准确深度估计的能力。这种模块使得模型不仅能够更好地理解场景的结构，还能够洞察物体间的相互关系，从而构建出一个更强大、更可靠的三维目标检测系统。

4)利用步骤2)获得的聚合特征在2D检测头中预测目标的2D边界框，然后利用步骤2)获得的对象特征在3D检测头中预测目标的3D中心偏移、3D尺寸和方向；

步骤2)获得的聚合特征用来预测二维边界框，步骤2)获得的对象特征用来预测物体的三维中心偏移、尺寸和方向。这种综合的处理方式赋予了模型在二维和三维空间中的高准确性和鲁棒性。如图7所示。本方法的所有预测都是基于回归模型进行的，即深度学习中的回归头，通过回归模型预测出想要的信息，具体如下。

4.1)二维边界框预测：首先，通过分析步骤2)获得的聚合特征，进行二维边界框的预测。这些特征可能包含图像中的颜色、纹理和边缘等信息。处理和分析这些特征可以精确地定位图像中物体的位置和形状，并生成相应的二维边界框。

4.2)三维信息预测：在三维检测环节，步骤2)获得的对象特征被用来推断物体的三维属性，包括三维中心偏移(即物体在图像平面内的中心点与相机中心的平移距离)、三维尺寸(即在三维空间中的长度、宽度和高度)和物体的方向(即物体相对于相机坐标系的旋转角度)。

5)将步骤3)得到的场景深度和物体深度视为遵循Laplace分布，为场景深度和场景深度的不确定性以及物体深度和物体深度的不确定性建模，计算得到目标深度；

5.1)拉普拉斯分布建模深度和不确定性：使用了带有不确定性的深度估计方式，将步骤3)中获得的两个深度进行深度和不确定性建模。物体深度为d_obj,假设其服从拉普拉斯分布L(d_obj,u_obj)。其中u_obj代表该深度的不确定性。同理对于场景深度d_sce假设其服从拉普拉斯分布L(d_sce,u_sce)。传统的物体检测任务通常将深度估计视为一个确定性问题，即模型直接预测物体的精确深度值。然而，由于传感器噪声、遮挡和视角等因素，深度估计实际上包含一定的不确定性。因此，本方法采用的估计建模了不确定性。

5.2)拉普拉斯分布计算：将步骤5.1)中服从拉普拉斯分布的物体深度和场景深度进行合并。对于合并后的目标深度d_ins，假设其服从拉普拉斯分布L(d_ins，u_ins)。按照拉普拉斯分布的计算可得，d_ins＝d_obj+d_sce，并且拉晋拉斯分布具有尖峰和重尾的特性，非常适合用来表示含有不确定性的深度估计。本方法将深度预测建模为拉普拉斯分布，可以得到一个概率分布，其尖峰代表估计的深度值，而重尾则表示深度估计的不确定性。本方法使用拉普拉斯分布，对每个目标的深度以及相应的几何不确定性进行建模。

5.3)进行可信深度估计：将步骤5.2)中计算得到的L(d_ins，u_ins)进行可信深度估计。为了获得最终的目标深度D_ins，首先将不确定性转换成概率，通过公式p_ins＝exp(-u_ins)获得目标深度分布的概率，通过公式：

得到最终的目标深度D_ins。

本实施例中场景深度和物体深度基于Laplace分布的预测和不确定性建模图如图8所示。

6)对于步骤2)到步骤5)构建的3D检测模型，输出结果的在训练过程中，同时计算与自适应学习策略和3D目标检测任务相关的损失，获得训练好的检测模型；

为了实施场景约束损失和三维目标检测损失，采纳了多种损失函数，损失函数如下：

其中，代表步骤2)进行的自适应学习策略的损失，/>代表步骤4)中检测目标的类别的损失，/>代表步骤4)中检测目标的2维位置的损失，/>代表步骤4)中检测目标的2维大小的损失，/>代表步骤4)中检测目标的3维大小的损失，/>代表步骤4)中检测目标3维位置的损失，/>代表步骤4)中检测目标的旋转角的损失，/>代表步骤5)进行的目标可信深度估计的损失。

通过三维中心投影及目标深度来恢复检测目标的位置。该过程涉及预测三维投影偏移到二维中心，并将目标深度划分为场景深度和物体深度。激光雷达提供的高精度深度信息作为场景深度的监督信号。通过最小化预测的场景深度与激光雷达深度之间的差异，可以学习到准确的场景深度信息，从而更深入地理解环境的几何结构。将目标深度与场景深度进行相减，得到检测目标相对于场景的深度信息，作为物体深度的监督信号。通过最小化预测的物体深度与真实物体深度之间的差异，可以学习到准确的物体深度估计，进而提高三维目标检测的准确性。对于恢复检测目标的位置，采用三维中心投影的方法。该方法通过预测检测目标在三维空间中的投影偏移量，并将其映射到二维图像平面上的中心点，可以准确地定位检测目标在图像中的位置。投影偏移量的损失计算基于预测的二维中心和真实二维中心的比较，以指导模型学习准确的投影偏移。

7)利用步骤2)到步骤6)训练好的检测模型，输出3D检测结果并结合步骤1)中采集的图片对应的原始相机参数确定目标的二维图像坐标以及三维空间坐标。

检测模型总体结构如图9所示，能够输出目标的3D检测结果，其中包括目标在图像中的二维图像坐标和三维信息。这些坐标反映了目标在图像中的位置信息，为后续的分析和应用提供了基础。结合相应的原始相机参数，可以将目标的二维图像坐标转换成三维空间坐标。

相机参数主要包括内参和外参。内参涉及相机的内部特性，如焦距和像素尺寸，而外参则涉及相机的位置和朝向。通过应用这些内参和外参，可以进行透视投影，将目标的二维图像坐标映射到三维空间中。

完成此映射后，便能获取目标在相机坐标系下的三维坐标，从而详细描述目标在空间中的具体位置，如图10所示。这种转换使得从二维图像中提取的数据能够被有效地应用于三维空间分析和其他高级应用。

Claims (5)

1.基于单目视觉的适应雨雾天气的单目3D目标检测方法，其特征在于，步骤如下：

1)利用单目相机采集恶劣天气条件下的路面场景图像；

2)应用特征提取器对步骤1)采集到的图像在由弱约束编码器和强约束解码器组成的自适应学习策略帮助下进行特征提取，以获得聚合特征、对象特征；

3)利用步骤2)获得的对象特征和聚合特征通过双层深度感知模块同时预测场景深度和物体深度；

4)利用步骤2)获得的聚合特征在2D检测头中预测目标的2D边界框，然后利用步骤2)获得的对象特征在3D检测头中预测目标的3D中心偏移、3D尺寸和方向；

5)将步骤3)得到的场景深度和物体深度视为遵循Laplace分布，为场景深度和场景深度的不确定性以及物体深度和物体深度的不确定性建模，计算得到目标深度；

6)对于步骤2)到步骤5)构建的3D检测模型，输出结果在训练过程中，同时计算与自适应学习策略和3D目标检测任务相关的损失，获得训练好的检测模型；

7)利用步骤2)到步骤6)训练好的检测模型，输出3D检测结果并结合步骤1)中采集的图片对应的原始相机参数确定目标的二维图像坐标以及三维空间坐标。

2.根据权利要求1所述基于单目视觉的适应雨雾天气的单目3D目标检测方法，其特征在于，步骤2)具体如下：

2.1)使用特征提取器进行特征提取：该特征提取器包括一个标准的DLA34特征提取器、一个特征聚合网络和一个ROI对齐；步骤1)采集的图像作为输入，进入标准的DLA34特征提取器中，生成低级特征，低级特征由DLA34进一步提取获得高级特征，高级特征进入特征聚合网络，生成聚合特征，聚合特征通过ROI对齐生成对象特征；

2.2)使用自适应学习策略更好的进行特征提取：自适应学习策略包括一个弱约束编码器、一个强约束解码器和一个投影模块；其中，弱约束编码器包括三组残差块，每个残差块中包括一个层归一化、一个基于窗口的多头自注意力还有一个多层感知机；强约束解码器包括一个层归一化、一个基于窗口的多头交叉注意力还有一个多层感知机；投影模块包括三个卷积层以及一个多层感知机；步骤2.1)输出的低级特征输入弱约束编码器，提取出图片和环境相关的特征；之后定义好一系列的查询，弱约束编码器的输出结果输入强约束解码器当做键值对，来对不同恶劣场景进行问询，获得对不同环境下正确的感知特征；弱约束编码器和强约束解码器输出的特征输入进投影模块，在投影模块一层层传递，生成清晰图像；此时步骤2.1)更新，输出更加恶劣环境鲁棒的高级特征、聚合特征和对象特征作为步骤2)的最终输出。

3.根据权利要求1所述基于单目视觉的适应雨雾天气的单目3D目标检测方法，其特征在于，步骤3)具体如下：

定义双层深度感知模块为两个独立的线性回归层R₁和R₂，并且将物理意义的深度分为81个类，每一个类代表一个数值；经过步骤2)后，获得的对象特征进入双层深度感知模块；首先通过R₁回归物体深度，然后该对象特征拼接步骤2)的聚合特征通过R₂回归出场景深度。

4.根据权利要求1所述基于单目视觉的适应雨雾天气的单目3D目标检测方法，其特征在于，步骤5)具体如下：

5.1)拉普拉斯分布建模深度和不确定性：使用带有不确定性的深度估计方式，将步骤3)中获得的物体深度和场景深度都进行深度和不确定性建模；物体深度为d_obj，假设其服从拉普拉斯分布L(d_obj，u_obj)，其中u_obj代表该深度的不确定性；同理对于场景深度d_sce假设其服从拉普拉斯分布L(d_sce，u_sce)；

5.2)拉普拉斯分布计算：将步骤5.1)中服从拉普拉斯分布的物体深度和场景深度进行合并；对于合并后的目标深度d_ins，假设其服从拉普拉斯分布L(d_ins，u_ins)；按照拉普拉斯分布的计算得，d_ins＝d_obj+d_sce，并且

5.3)进行可信深度估计：将步骤5.2)中计算得到的L(d_ins，u_ins)进行可信深度估计；为了获得最终的目标深度D_ins，首先将不确定性转换成概率，通过公式p_ins＝exp(-u_ins)获得目标深度分布的概率，通过公式：

得到最终的目标深度D_ins。

5.根据权利要求1所述基于单目视觉的适应雨雾天气的单目3D目标检测方法，其特征在于，步骤6)中，损失函数如下：

其中，代表步骤2)进行的自适应学习策略的损失，/>代表步骤4)中检测目标的类别的损失，/>代表步骤4)中检测目标的2维位置的损失，/>代表步骤4)中检测目标的2维大小的损失，/>代表步骤4)中检测目标的3维大小的损失，/>代表步骤4)中检测目标3维位置的损失，/>代表步骤4)中检测目标的旋转角的损失，/>代表步骤5)进行的目标可信深度估计的损失。