CN117173257A - 3d目标检测及其标定参数增强方法、电子设备、介质 - Google Patents
3d目标检测及其标定参数增强方法、电子设备、介质 Download PDFInfo
- Publication number
- CN117173257A CN117173257A CN202311447800.3A CN202311447800A CN117173257A CN 117173257 A CN117173257 A CN 117173257A CN 202311447800 A CN202311447800 A CN 202311447800A CN 117173257 A CN117173257 A CN 117173257A
- Authority
- CN
- China
- Prior art keywords
- parameter
- parameters
- enhancement
- calibration
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000002708 enhancing effect Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000006073 displacement reaction Methods 0.000 claims description 55
- 238000005070 sampling Methods 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000003094 perturbing effect Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及自动驾驶领域，具体提供一种3D目标检测及其标定参数增强方法、电子设备、介质，旨在解决实际检测时获取的标定参数不精确时，模型的3D目标检测性能大幅回退的问题。为此目的，本申请的3D目标检测标定参数增强方法包括：获取待增强的标定参数，所述标定参数包括第一标定参数和/或第二标定参数；基于车载传感器获取用于增强所述标定参数的增强参数；基于所述增强参数对所述标定参数进行扰动，以实现标定参数增强。以实现对标定参数的增强，从而让模型在训练过程中调整参数适应标定参数不准的数据，提高模型的鲁棒性，使得3D目标检测的结果更加准确。
Description
技术领域
本申请涉及自动驾驶领域，具体提供一种3D目标检测及其标定参数增强方法、电子设备、介质。
背景技术
目前3D目标检测在自动驾驶越来越受到大家的关注，在实际业务中发挥着越来越重要的作用，精准的3D检测对于下游的规划和控制模块至关重要。
现有技术中，点云图像融合的3D目标检测方法可以取得较好的效果，但是它比较依赖标定参数的精准性，由于在进行点云和图像的时空融合时，需要多方面用到标定参数，例如：需要通过点云外部参数将点云特征投影到车体坐标系、通过图像内部参数和图像外部参数将图像特征投影到车体坐标系、通过自车位移标定参数将上一时刻的特征对齐到当前时刻。然而，现有技术中的标定参数难以精确获取。
如果这些标定参数不精准，就会导致特征无法对齐，进而影响点云和图像的时空融合性能，导致目标检测结果不准确。因此，相对于模型在测试中的3D目标检测性，现有技术中由于实际检测时获取的标定参数不精确，会引发模型的3D目标检测性能大幅回退的问题。
相应地，本领域需要一种新的标定参数增强方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本申请，提供一种3D目标检测及其标定参数增强方法、电子设备、介质，以解决或至少部分地解决实际检测时获取的标定参数不精确时，模型的3D目标检测性能大幅回退的问题。
在第一方面，本申请提供一种3D目标检测标定参数增强方法，应用于驾驶设备，包括：
获取待增强的标定参数，所述标定参数包括第一标定参数和/或第二标定参数，其中所述第一标定参数用于将车载传感器获取的数据映射到车体坐标系，所述第二标定参数用于在3D目标检测中将不同时刻融合的特征进行自车位移对齐；
基于车载传感器获取用于增强所述标定参数的增强参数，所述增强参数包括点云外参增强参数、图像内参增强参数、图像外参增强参数和自车位移增强参数中至少一种；
基于所述增强参数对所述标定参数进行扰动，以实现标定参数增强。
在上述3D目标检测标定参数增强方法的一个技术方案中，所述第一标定参数包括点云外参，和/或，图像外参以及图像内参，所述第二标定参数包括所述驾驶设备自车位移；所述驾驶设备设置有环境感知传感器和/或车身感知传感器，所述环境感知传感器至少包括激光雷达和/或车载摄像头，所述车身感知传感器至少包括位置传感器；所述获取待增强的标定参数包括：
基于所述激光雷达获取点云数据；
基于所述点云数据获取所述点云外参；
和/或，基于所述车载摄像头获取图像数据；
基于所述图像数据获取所述图像外参和/或所述图像内参；
和/或，基于所述激光雷达、所述车载摄像头、所述位置传感器中至少一种获取所述自车位移。
在上述3D目标检测标定参数增强方法的一个技术方案中，所述基于所述增强参数对所述标定参数进行扰动，以实现标定参数增强，包括：
将所述标定参数的增强参数加到对应的标定参数上，以对所述标定参数进行扰动。
在上述3D目标检测标定参数增强方法的一个技术方案中，基于车载传感器获取用于增强所述标定参数的增强参数包括：
基于车载传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数；
以获取的所述超参数作为所述增强参数。
在上述3D目标检测标定参数增强方法的一个技术方案中，所述传感器包括设置在驾驶设备上的激光雷达，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述激光雷达在驾驶设备行驶中相对驾驶设备的位置变化，获取点云外参增强参数区间，所述点云外参增强参数区间包括第一角度扰动参数区间和/或第一位移扰动参数区间；
基于至少一个所述点云外参增强参数区间进行随机采样，获得点云外参增强参数。
在上述3D目标检测标定参数增强方法的一个技术方案中，所述传感器包括设置在驾驶设备上的车载摄像头，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述摄像头在驾驶设备行驶中相对驾驶设备的位置变化，获取图像外参增强参数区间，所述图像外参增强参数区间包括第二角度扰动参数区间和/或第二位移扰动参数区间；
基于至少一个所述图像外参增强参数区间进行随机采样，获得图像外参增强参数。
在上述3D目标检测标定参数增强方法的一个技术方案中，所述传感器包括设置在驾驶设备上的车载摄像头，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述摄像头的成像情况以及图像标定的精度，获取图像内参增强参数区间，所述图像内参增强参数区间包括主点扰动参数区间和/或焦距扰动参数区间；
基于至少一个所述图像内参增强参数区间进行随机采样，获得图像内参增强参数。
在上述3D目标检测标定参数增强方法的一个技术方案中，所述传感器包括驾驶设备上的位置传感器，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述位置传感器的精准程度获取自车位移的增强参数区间，所述自车位移的增强参数区间包括第三角度扰动参数区间和/或第三位移扰动参数区间；
基于至少一个所述自车位移的增强参数区间进行随机采样，获得自车位移增强参数。
在上述3D目标检测标定参数增强方法的一个技术方案中，所述方法还包括：
基于机器学习算法进行超参数调优，获取所述超参数区间。
在第二方面，本申请提供一种3D目标检测方法，应用于驾驶设备，所述驾驶设备设置有传感器，所述方法包括：
基于所述传感器获取待检测数据，或，基于所述传感器获取待检测数据及驾驶设备自车位移，其中所述待检测数据包括点云数据和图像数据；
基于上述3D目标检测标定参数增强方法的技术方案中任一项技术方案所述的3D目标检测标定参数增强方法，对所述点云数据、图像数据和自车位移中至少一种的标定参数进行增强，获取增强后的标定参数；
基于所述增强后的标定参数和所述待检测数据进行3D目标检测。
在上述3D目标检测方法的一个技术方案中，基于所述增强后的标定参数和所述待检测数据进行3D目标检测包括：
至少基于所述增强后的标定参数对所述点云数据和图像数据进行特征提取，所述增强后的标定参数包括点云外参，和/或，图像外参以及图像内参；
基于提取后的特征进行点云数据和图像数据的特征融合；
基于融合后的特征进行3D目标检测。
在上述3D目标检测方法的一个技术方案中，至少基于所述增强后的标定参数对所述点云数据和图像数据进行特征提取包括：
至少基于所述增强后的标定参数将所述点云数据和图像数据映射到车体坐标系；
对所述映射后的点云数据和图像数据进行特征提取，获取点云俯视图特征和图像俯视图特征；
所述基于提取后的特征进行点云数据和图像数据的特征融合包括基于所述点云俯视图特征和图像俯视图特征进行点云数据和图像数据的特征融合。
在上述3D目标检测方法的一个技术方案中，所述增强后的标定参数还包括自车位移，所述基于融合后的特征进行3D目标检测包括：
基于所述自车位移将不同时刻点云数据和图像数据融合后的特征进行自车位移对齐，并将对齐后的特征进行特征拼接以得到时序融合后的特征；
基于所述时序融合后的特征获取3D目标检测结果。
在第三方面，提供一种电子设备，该电子设备包括处理器和存储器，所述存储器适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述3D目标检测标定参数增强方法或3D目标检测方法的技术方案中任一项技术方案所述的3D目标检测标定参数增强方法或3D目标检测方法。
在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述3D目标检测标定参数增强方法或3D目标检测方法的技术方案中任一项技术方案所述的3D目标检测标定参数增强方法或3D目标检测方法。
在第五方面，提供一种驾驶设备，所述驾驶设备包括驾驶设备本体以及上述的电子设备。
本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本申请的技术方案中，通过基于车载传感器获取用于增强所述标定参数的增强参数，并基于所述增强参数对标定参数进行扰动，实现对标定参数的增强，从而让模型在训练过程中调整参数适应标定参数不准的数据，提高模型的鲁棒性，使得 3D目标检测的结果更加准确。
附图说明
参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
图1是本申请的一个实施例的3D目标检测标定参数增强方法的主要步骤流程图；
图2是本申请的一个实施例的3D目标检测方法的主要步骤流程图；
图3是本申请的一个实施例的3D目标检测方法的详细步骤流程图；
图4是本申请的一个实施例的目标检测模型输出3D目标检测结果的示意图，其中(a)是标定参数为第一精度的示意图，(b)是标定参数为第二精度的示意图，(c)是标定参数为第三精度的示意图，(d)是标定参数为第四精度的示意图；
图5是用于执行本申请的3D目标检测标定参数增强方法或3D目标检测方法的电子设备的主要结构框图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。
在本申请的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
本申请提供一种3D目标检测标定参数增强方法，应用于驾驶设备。
参阅附图1，图1是根据本申请的一个实施例的3D目标检测标定参数增强方法的主要步骤流程示意图。如图1所示，本申请实施例中的3D目标检测标定参数增强方法主要包括下列步骤S11-步骤S13。
步骤S11，获取待增强的标定参数，所述标定参数包括第一标定参数和/或第二标定参数，其中所述第一标定参数用于将车载传感器获取的数据映射到车体坐标系，所述第二标定参数用于在3D目标检测中将不同时刻融合的特征进行自车位移对齐。
在本申请的一个实施例中，所述第一标定参数包括点云外参，和/或，图像外参以及图像内参，所述第二标定参数包括所述驾驶设备自车位移；所述驾驶设备设置有环境感知传感器和/或车身感知传感器，所述环境感知传感器至少包括激光雷达和/或车载摄像头，所述车身感知传感器至少包括位置传感器。
具体地，所述点云外参是用于描述获取点云数据的激光雷达相对于车体坐标系的位置和方向的参数，通常包括旋转角度和位置；所述图像外参是用于描述获取图像数据的车载摄像头相对于车体坐标系的位置和方向的参数，通常包括车载摄像头的旋转角度和位置；所述图像内参是用于描述车载摄像头内部特性的参数，通常至少包括主点和焦距。示例性地，可以采用张正友标定法来确定图像内、外参，也可以采用Open CV提供的calibrateCamera函数确定图像内参。
其中，所述车载传感器获取的数据可以直接映射到车体坐标系；也可以先映射到世界坐标系，再基于驾驶设备的位姿等数据进一步映射至车体坐标系。具体地，所述点云外参和图像外参可以直接基于所述激光雷达和车载摄像头获取；也可以基于将传感器数据映射到世界坐标系中的激光雷达外参以及相机外参获取。
在本实施例中，所述获取待增强的标定参数包括：
基于所述激光雷达获取点云数据；
基于所述点云数据获取所述点云外参；
和/或，基于所述车载摄像头获取图像数据；
基于所述图像数据获取所述图像外参和/或所述图像内参；
和/或，基于所述激光雷达、所述车载摄像头、所述位置传感器中至少一种获取所述自车位移。
具体地，所述自车位移即所述驾驶设备自身的位移数据，所述自车位移可以基于激光雷达、车载摄像头、位置传感器中的任一个获取；为了获得更高精度的定位，也可以采用激光雷达、车载摄像头、位置传感器相结合的方式获取自车位移。
步骤S12，基于车载传感器获取用于增强所述标定参数的增强参数，所述增强参数包括点云外参增强参数、图像内参增强参数、图像外参增强参数和自车位移增强参数中至少一种。
在本申请的一个实施例中，基于车载传感器获取用于增强所述标定参数的增强参数包括：
基于车载传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数；
以获取的所述超参数作为所述增强参数。
进一步地，在本实施例中，所述传感器包括设置在驾驶设备上的激光雷达，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述激光雷达在驾驶设备行驶中相对驾驶设备的位置变化，获取点云外参增强参数区间，所述点云外参增强参数区间包括第一角度扰动参数区间和/或第一位移扰动参数区间；
基于至少一个所述点云外参增强参数区间进行随机采样，获得点云外参增强参数。
示例性地，所述第一角度扰动参数区间包括：Yaw：[-n1，n1]；Pitch：[-n2，n2]；Roll：[-n3，n3]，其中Yaw（偏航角）表示绕垂直轴旋转的角度，即表征激光雷达的水平旋转，Pitch（俯仰角）表示绕横轴旋转的角度，即表征激光雷达的俯仰角的变化，Roll（横滚角）表示绕纵轴旋转的角度，即表征激光雷达的滚转角变化。Yaw、Pitch、Roll的取值区间共同构成了第一角度扰动参数区间，n1、n2、n3的具体数值根据实际情况获取。
所述第一位移扰动参数区间包括：x：[-n4，n4]；y：[-n5，n5]；z：[-n6，n6]，其中x、y、z分别表示激光雷达在水平的x轴方向、垂直的y轴方向以及纵深的z轴方向上的位移。x、y、z的取值区间共同构成了第一位移扰动参数区间，n4、n5、n6的具体数值根据实际情况获取。
基于至少一个所述点云外参增强参数区间进行随机采样，获得点云外参增强参数，即基于所述第一角度扰动参数区间和/或所述第一位移扰动参数区间，获得点云外参增强参数。其中，所述激光雷达在驾驶设备行驶中相对驾驶设备的位置变化越大，所述第一角度扰动参数区间和所述第一位移扰动参数区间的范围越大，当使用时间较长时，激光雷达容易松动，或者当激光雷达悬架调节时，会导致激光雷达在驾驶设备行驶中相对驾驶设备的位置变化增大，点云外参增强参数区间扩大。
在本申请的一个实施例中，所述传感器包括设置在驾驶设备上的车载摄像头，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述摄像头在驾驶设备行驶中相对驾驶设备的位置变化，获取图像外参增强参数区间，所述图像外参增强参数区间包括第二角度扰动参数区间和/或第二位移扰动参数区间；
基于至少一个所述图像外参增强参数区间进行随机采样，获得图像外参增强参数。
示例性地，所述第二角度扰动参数区间包括：Yaw：[-n7，n7]；Pitch：[-n8，n8]；Roll：[-n9，n9]，其中Yaw（偏航角）表示绕垂直轴旋转的角度，即表征车载摄像头的水平旋转，Pitch（俯仰角）表示绕横轴旋转的角度，即表征车载摄像头的俯仰角的变化，Roll（横滚角）表示绕纵轴旋转的角度，即表征车载摄像头的滚转角变化。Yaw、Pitch、Roll的取值区间共同构成了第二角度扰动参数区间，n7、n8、n9的具体数值根据实际情况获取。
所述第二位移扰动参数区间包括：x：[-n10，n10]；y：[-n11，n11]；z：[-n12，n12]，其中x、y、z分别表示车载摄像头在水平的x轴方向、垂直的y轴方向以及纵深的z轴方向上的位移。x、y、z的取值区间共同构成了第二位移扰动参数区间，n10、n11、n12的具体数值根据实际情况获取。
基于至少一个所述图像外参增强参数区间进行随机采样，获得图像外参增强参数，即基于所述第二角度扰动参数区间和/或所述第二位移扰动参数区间，获得图像外参增强参数。其中，所述摄像头在驾驶设备行驶中相对驾驶设备的位置变化越大，所述第二角度扰动参数区间和所述第二位移扰动参数区间的范围越大，当使用时间较长时，车载摄像头容易松动，或者当车载摄像头悬架调节时，会导致摄像头在驾驶设备行驶中相对驾驶设备的位置变化增大，图像外参增强参数区间扩大。
在本申请的一个实施例中，所述传感器包括设置在驾驶设备上的车载摄像头，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述摄像头的成像情况以及图像标定的精度，获取图像内参增强参数区间，所述图像内参增强参数区间包括主点扰动参数区间和/或焦距扰动参数区间；
基于至少一个所述图像内参增强参数区间进行随机采样，获得图像内参增强参数。
示例性地，所述主点扰动参数区间包括：Cx：[-n13，n13]；Cy：[-n14，n14]，其中Cx、Cy分别表示主点在图像平面上的水平位置和垂直位置。Cx，Cy的取值区间共同构成了主点扰动参数区间，n13、n14的具体数值根据实际情况获取。
所述焦距扰动参数区间包括：Fx：[-n15，n15]；Fy：[-n16，n16]，其中Fx、Fy分别表示车载摄像头在水平方向、垂直方向上的焦距，n15、n16的具体数值根据实际情况获取。
基于至少一个所述图像内参增强参数区间进行随机采样，获得图像内参增强参数，即基于所述主点扰动参数区间和/或所述焦距扰动参数区间，获得图像内参增强参数。其中，所述车载摄像头的成像情况越佳、图像标定的精度越高，误差越小，所述主点扰动参数区间及焦距扰动参数区间的范围越小。
在本申请的一个实施例中，所述传感器包括驾驶设备上的位置传感器，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述位置传感器的精准程度获取自车位移的增强参数区间，所述自车位移的增强参数区间包括第三角度扰动参数区间和/或第三位移扰动参数区间；
基于至少一个所述自车位移的增强参数区间进行随机采样，获得自车位移增强参数。
示例性地，所述第三角度扰动参数区间包括：Yaw：[-n17，n17]；Pitch：[-n18，n18]；Roll：[-n19，n19]，其中Yaw（偏航角）表示绕垂直轴旋转的角度，即表征驾驶设备的水平旋转，Pitch（俯仰角）表示绕横轴旋转的角度，即表征驾驶设备的俯仰角的变化，Roll（横滚角）表示绕纵轴旋转的角度，即表征驾驶设备的滚转角变化。Yaw、Pitch、Roll的取值区间共同构成了第三角度扰动参数区间，n17、n18、n19的具体数值根据实际情况获取。由于驾驶设备行驶的路况不同，驾驶设备的Yaw、Pitch、Roll可能获取到其中一个或多个的取值区间。
所述第三位移扰动参数区间包括：x：[-n20，n20]；y：[-n21，n21]；z：[-n22，n22]，其中x、y、z分别表示驾驶设备在水平的x轴方向、垂直的y轴方向以及纵深的z轴方向上的位移。x、y、z的取值区间共同构成了第三位移扰动参数区间，n20、n21、n22的具体数值根据实际情况获取。
基于至少一个所述自车位移的增强参数区间进行随机采样，获得自车位移增强参数，即基于所述第三角度扰动参数区间和/或所述第三位移扰动参数区间，获得自车位移增强参数。其中，在基于位置传感器获取自车位移的情况下，所述位置传感器的精准程度越高，对驾驶设备的定位越精准，所述第三角度扰动参数区间及第三位移扰动参数区间的范围越大。
进一步地，在本申请的一个实施例中，所述方法还包括：
基于机器学习算法进行超参数调优，获取所述超参数区间。
相较于仅仅基于历史数据经验值获取上述的超参数区间，采用机器学习算法处理相关数据，可以获得更加精确地超参数区间的范围。
步骤S13，基于所述增强参数对所述标定参数进行扰动，以实现标定参数增强。
具体地，所述基于所述增强参数对所述标定参数进行扰动，以实现标定参数增强，包括：
将所述标定参数的增强参数加到对应的标定参数上，以对所述标定参数进行扰动。
基于上述步骤S11-步骤S13，通过基于车载传感器获取用于增强所述标定参数的增强参数，并基于所述增强参数对标定参数进行扰动，实现对标定参数的增强，从而让模型在训练过程中调整参数适应标定参数不准的数据，提高模型的鲁棒性，使得 3D目标检测的结果更加准确。
进一步地，本申请还提供了一种3D目标检测方法，请参阅附图2，图2是根据本申请的一个实施例的3D目标检测方法的主要步骤流程示意图。
如图2所示，本申请实施例中的3D目标检测方法应用于驾驶设备，所述驾驶设备设置有传感器，所述方法主要包括下列步骤S21-步骤S23。
步骤S21，基于所述传感器获取待检测数据，或，基于所述传感器获取待检测数据及驾驶设备自车位移，其中所述待检测数据包括点云数据和图像数据。
步骤S22，基于上述3D目标检测标定参数增强方法的技术方案中任一项技术方案所述的3D目标检测标定参数增强方法，对所述点云数据、图像数据和自车位移中至少一种的标定参数进行增强，获取增强后的标定参数。
步骤S23，基于所述增强后的标定参数和所述待检测数据进行3D目标检测。
在本申请的一个实施例中，基于所述增强后的标定参数和所述待检测数据进行3D目标检测包括：
至少基于所述增强后的标定参数对所述点云数据和图像数据进行特征提取，所述增强后的标定参数包括点云外参，和/或，图像外参以及图像内参；
基于提取后的特征进行点云数据和图像数据的特征融合；
基于融合后的特征进行3D目标检测。
示例性地，可以基于所述增强后一个或多个标定参数进行特征提取，即可以基于点云外参增强参数、图像内参增强参数、图像外参增强参数中的任一个、任意两个、或三个进行特征提取。
本申请还提供了一种3D目标检测方法的实施例，请参阅附图3，图3是根据本申请的一个实施例的3D目标检测方法的详细步骤流程示意图。
如图3所示，本实施例中的3D目标检测方法包括下列步骤S301-步骤S308。
步骤S301，基于点云外参增强参数对点云数据进行点云外参增强；
步骤S302，基于所述增强后的点云外参进行点云数据的特征提取，获取点云俯视图特征；
步骤S303，基于图像内参增强参数对图像数据进行图像内参增强；
步骤S304，基于图像外参增强参数对图像数据进行图像外参增强；
步骤S305，基于所述增强后的图像内参和/或图像外参进行图像数据的特征提取，获取图像俯视图特征；
上述步骤S301、S303、S304可全部执行，也可选择任意一或两者执行，若所述点云数据或图像数据未进行标定参数增强，即直接基于原始的所述点云数据或图像数据进行特征提取，获取对应的点云俯视图特征或图像俯视图特征。
此外，在特征提过程中，所述点云数据和图像数据均完成了向车体坐标系的映射转换。
在本实施中，至少基于所述增强后的标定参数对所述点云数据和图像数据进行特征提取包括：
至少基于所述增强后的标定参数将所述点云数据和图像数据映射到车体坐标系；
对所述映射后的点云数据和图像数据进行特征提取，获取点云俯视图特征和图像俯视图特征；
所述基于提取后的特征进行点云数据和图像数据的特征融合包括基于所述点云俯视图特征和图像俯视图特征进行点云数据和图像数据的特征融合。
具体地，参阅图3中步骤S306，所述基于所述点云俯视图特征和图像俯视图特征进行特征融合的步骤为空间融合，以获取点云图像融合后特征。
在本实施例中，所述增强后的标定参数还包括自车位移，所述基于融合后的特征进行3D目标检测包括：
步骤S307，基于所述自车位移将不同时刻点云数据和图像数据融合后的特征进行自车位移对齐，并将对齐后的特征进行特征拼接以得到时序融合后特征；示例性地，以当前时刻为T，可以获取T时刻点云图像融合后特征，以及T-n时刻点云图像融合后特征进行特征对齐，再基于对齐后的融合后的特征进行进行特征拼接，得到时序融合后特征，n在预设范围内即可，如：可采用T以及T-1时刻点云图像融合后特征进行特征对齐。
其中，将对齐后的特征进行特征拼接以得到时序融合后特征，即为时序融合。
步骤S308，基于所述时序融合后的特征获取3D目标检测结果。
具体地，在一个实施例中，将时空融合特征送入预测头网络，这个网络通常由多层卷积层组成。所述预测头网络将对点云数据和图像数据进行进一步的处理，最终得到3D目标预测的结果，包括目标的位置、尺寸、类别等信息。
示例性地，输出的目标位置可以以三维坐标的形式表示，如(x, y, z)；目标尺寸通常需指出目标在三维空间中的长度、宽度和高度；目标类别用于表示检测目标所属的类别，例如车辆、行人、树木等。
3D目标检测的结果可以帮助自动驾驶系统理解环境中的物体，并做出相应的决策和规划，以确保车辆安全地行驶并与周围环境进行合理互动。
基于上述步骤S301-步骤S308，通过基于增强后的标定参数进行3D目标检测，可以提高算法的鲁棒性，使得3D目标检测的结果更加准确；分别基于点云外参增强参数、图像内参增强参数、图像外参增强参数中的一个或多个进行特征提取，以及基于自车位移进行特征对其并进行时序融合，以获取3D目标检测结果，使得时序融合的过程更精确、容错率更高，进一步提高实际检测时模型的3D目标检测性能。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本申请的保护范围之内。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
进一步地，本申请提供一个实施例，以示意上述3D目标检测方法的输出性能。
示例性的，请参阅附图4。图4是本申请一个实施例的目标检测模型输出3D目标检测结果的示意图，其中(a)是标定参数为第一精度的示意图，(b)是标定参数为第二精度的示意图，(c)是标定参数为第三精度的示意图，(d)是标定参数为第四精度的示意图。
其中，图4的(a)到图4的(d)分别表示随着标定参数的精度逐渐降低，输出3D目标检测结果的示意图；其中401、402、403、404分别为随着标定参数的精度逐渐降低时，待测目标货车的检测结果示意。
进一步地，本申请还提供了一种电子设备。请参阅附图5，图5是用于执行本申请的3D目标检测标定参数增强方法或3D目标检测方法的电子设备的主要结构框图。
如图5所示，在根据本申请的一个电子设备实施例中，电子设备500包括处理器501和存储器502，存储器502可以被配置成存储执行上述方法实施例的3D目标检测标定参数增强方法或3D目标检测方法的程序代码503，处理器501可以被配置成用于执行存储器502中的程序代码503，该程序代码503包括但不限于执行上述方法实施例的3D目标检测标定参数增强方法或3D目标检测方法的程序代码503。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。
示例性地，处理器501可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器502可以是电子设备500的内部存储单元，例如，是电子设备500的硬盘或内存；存储器502也可以是电子设备500的外部存储设备，例如，在电子设备500上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器502还可以既包括电子设备500的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备500所需的其它程序和数据，存储器502还可以用于暂时地存储已经输出或者将要输出的数据。
在一些可能的实施方式中，电子设备500可以包括多个处理器501和存储器502。而执行上述方法实施例的3D目标检测标定参数增强方法或3D目标检测方法的程序代码503可以被分割成多段子程序，每段子程序分别可以由处理器501加载并运行以执行上述方法实施例的3D目标检测标定参数增强方法或3D目标检测方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储器502中，每个处理器501可以被配置成用于执行一个或多个存储器502中的程序，以共同实现上述方法实施例的3D目标检测标定参数增强方法或3D目标检测方法，即每个处理器501分别执行上述方法实施例的3D目标检测标定参数增强方法或3D目标检测方法的不同步骤，来共同实现上述方法实施例的3D目标检测标定参数增强方法或3D目标检测方法。
上述多个处理器501可以是部署于同一个设备上的处理器，例如上述电子设备可以是由多个处理器组成的高性能设备，上述多个处理器501可以是该高性能设备上配置的处理器。此外，上述多个处理器501也可以是部署于不同设备上的处理器，例如上述电子设备可以是服务器集群，上述多个处理器501可以是服务器集群中不同服务器上的处理器。
电子设备500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备500可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备500的示例，并不构成对电子设备500的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
进一步地，本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例3D目标检测标定参数增强方法或3D目标检测方法的程序，该程序可以由处理器加载并运行以实现上述3D目标检测标定参数增强方法或3D目标检测方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步地，本申请还提供了一种驾驶设备，所述驾驶设备包括驾驶设备本体以及上述的电子设备。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域技术人员可以意识到，结合本申请中实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、驾驶设备信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (16)
1.一种3D目标检测标定参数增强方法，应用于驾驶设备，其特征在于，包括：
获取待增强的标定参数，所述标定参数包括第一标定参数和/或第二标定参数，其中所述第一标定参数用于将车载传感器获取的数据映射到车体坐标系，所述第二标定参数用于在3D目标检测中将不同时刻融合的特征进行自车位移对齐；
基于车载传感器获取用于增强所述标定参数的增强参数，所述增强参数包括点云外参增强参数、图像内参增强参数、图像外参增强参数和自车位移增强参数中至少一种；
基于所述增强参数对所述标定参数进行扰动，以实现标定参数增强。
2.根据权利要求1所述的方法，其特征在于，所述第一标定参数包括点云外参，和/或，图像外参以及图像内参，所述第二标定参数包括所述驾驶设备自车位移；所述驾驶设备设置有环境感知传感器和/或车身感知传感器，所述环境感知传感器至少包括激光雷达和/或车载摄像头，所述车身感知传感器至少包括位置传感器；所述获取待增强的标定参数包括：
基于所述激光雷达获取点云数据；
基于所述点云数据获取所述点云外参；
和/或，基于所述车载摄像头获取图像数据；
基于所述图像数据获取所述图像外参和/或所述图像内参；
和/或，基于所述激光雷达、所述车载摄像头、所述位置传感器中至少一种获取所述自车位移。
3.根据权利要求1所述的方法，其特征在于，所述基于所述增强参数对所述标定参数进行扰动，以实现标定参数增强，包括：
将所述标定参数的增强参数加到对应的标定参数上，以对所述标定参数进行扰动。
4.根据权利要求1所述的方法，其特征在于，基于车载传感器获取用于增强所述标定参数的增强参数包括：
基于车载传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数；
以获取的所述超参数作为所述增强参数。
5.根据权利要求4所述的方法，其特征在于，所述传感器包括设置在驾驶设备上的激光雷达，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述激光雷达在驾驶设备行驶中相对驾驶设备的位置变化，获取点云外参增强参数区间，所述点云外参增强参数区间包括第一角度扰动参数区间和/或第一位移扰动参数区间；
基于至少一个所述点云外参增强参数区间进行随机采样，获得点云外参增强参数。
6.根据权利要求4所述的方法，其特征在于，所述传感器包括设置在驾驶设备上的车载摄像头，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述摄像头在驾驶设备行驶中相对驾驶设备的位置变化，获取图像外参增强参数区间，所述图像外参增强参数区间包括第二角度扰动参数区间和/或第二位移扰动参数区间；
基于至少一个所述图像外参增强参数区间进行随机采样，获得图像外参增强参数。
7.根据权利要求4所述的方法，其特征在于，所述传感器包括设置在驾驶设备上的车载摄像头，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述摄像头的成像情况以及图像标定的精度，获取图像内参增强参数区间，所述图像内参增强参数区间包括主点扰动参数区间和/或焦距扰动参数区间；
基于至少一个所述图像内参增强参数区间进行随机采样，获得图像内参增强参数。
8.根据权利要求4所述的方法，其特征在于，所述传感器包括驾驶设备上的位置传感器，所述基于传感器获取超参数区间，并在所述超参数区间里随机采样获取超参数，包括：
基于所述位置传感器的精准程度获取自车位移的增强参数区间，所述自车位移的增强参数区间包括第三角度扰动参数区间和/或第三位移扰动参数区间；
基于至少一个所述自车位移的增强参数区间进行随机采样，获得自车位移增强参数。
9.根据权利要求4-8中任一项所述的方法，其特征在于，所述方法还包括：
基于机器学习算法进行超参数调优，获取所述超参数区间。
10.一种3D目标检测方法，应用于驾驶设备，其特征在于，所述驾驶设备设置有传感器，所述方法包括：
基于所述传感器获取待检测数据，或，基于所述传感器获取待检测数据及驾驶设备自车位移，其中所述待检测数据包括点云数据和图像数据；
基于权利要求1-9中任一项所述的方法对所述点云数据、图像数据和自车位移中至少一种的标定参数进行增强，获取增强后的标定参数；
基于所述增强后的标定参数和所述待检测数据进行3D目标检测。
11.根据权利要求10所述的方法，其特征在于，基于所述增强后的标定参数和所述待检测数据进行3D目标检测包括：
至少基于所述增强后的标定参数对所述点云数据和图像数据进行特征提取，所述增强后的标定参数包括点云外参，和/或，图像外参以及图像内参；
基于提取后的特征进行点云数据和图像数据的特征融合；
基于融合后的特征进行3D目标检测。
12.根据权利要求11所述的方法，其特征在于，至少基于所述增强后的标定参数对所述点云数据和图像数据进行特征提取包括：
至少基于所述增强后的标定参数将所述点云数据和图像数据映射到车体坐标系；
对所述映射后的点云数据和图像数据进行特征提取，获取点云俯视图特征和图像俯视图特征；
所述基于提取后的特征进行点云数据和图像数据的特征融合包括基于所述点云俯视图特征和图像俯视图特征进行点云数据和图像数据的特征融合。
13.根据权利要求11或12所述的方法，其特征在于，所述增强后的标定参数还包括自车位移，所述基于融合后的特征进行3D目标检测包括：
基于所述自车位移将不同时刻点云数据和图像数据融合后的特征进行自车位移对齐，并将对齐后的特征进行特征拼接以得到时序融合后的特征；
基于所述时序融合后的特征获取3D目标检测结果。
14.一种电子设备，包括处理器和存储器，所述存储器适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至9中任一项所述的3D目标检测标定参数增强方法或权利要求10至13中任一项所述的3D目标检测方法。
15.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至9中任一项所述的3D目标检测标定参数增强方法或权利要求10至13中任一项所述的3D目标检测方法。
16.一种驾驶设备，其特征在于，所述驾驶设备包括驾驶设备本体以及权利要求14所述的电子设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311447800.3A CN117173257B (zh) | 2023-11-02 | 2023-11-02 | 3d目标检测及其标定参数增强方法、电子设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311447800.3A CN117173257B (zh) | 2023-11-02 | 2023-11-02 | 3d目标检测及其标定参数增强方法、电子设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173257A true CN117173257A (zh) | 2023-12-05 |
| CN117173257B CN117173257B (zh) | 2024-05-24 |
Family
ID=88945364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311447800.3A Active CN117173257B (zh) | 2023-11-02 | 2023-11-02 | 3d目标检测及其标定参数增强方法、电子设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173257B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160343136A1 (en) * | 2014-01-27 | 2016-11-24 | Xylon d.o.o. | Data-processing system and method for calibration of a vehicle surround view system |
| US20180197310A1 (en) * | 2015-01-16 | 2018-07-12 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
| CN108292356A (zh) * | 2015-11-04 | 2018-07-17 | 祖克斯有限公司 | 用于实施自主车辆中的主动安全系统的系统 |
| CN109270534A (zh) * | 2018-05-07 | 2019-01-25 | 西安交通大学 | 一种智能车激光传感器与相机在线标定方法 |
| CN109544642A (zh) * | 2018-11-16 | 2019-03-29 | 北京理工大学 | 一种基于n型靶标的tdi-ccd相机参数标定方法 |
| CN110264525A (zh) * | 2019-06-13 | 2019-09-20 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种基于车道线与目标车辆的相机标定方法 |
| CN110332945A (zh) * | 2019-08-01 | 2019-10-15 | 北京眸星科技有限公司 | 基于交通道路标线视觉识别的车载导航方法和装置 |
| CN112529966A (zh) * | 2020-12-17 | 2021-03-19 | 豪威科技(武汉)有限公司 | 一种车载环视系统的在线标定方法及其车载环视系统 |
| CN114241062A (zh) * | 2021-12-27 | 2022-03-25 | 智道网联科技(北京)有限公司 | 自动驾驶的相机外参确定方法、装置和计算机可读存储介质 |
| CN114757301A (zh) * | 2022-05-12 | 2022-07-15 | 北京地平线机器人技术研发有限公司 | 车载视觉感知方法和装置、可读存储介质、电子设备 |
| WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| WO2023283929A1 (zh) * | 2021-07-16 | 2023-01-19 | 华为技术有限公司 | 双目相机外参标定的方法及装置 |
| CN115713563A (zh) * | 2022-11-21 | 2023-02-24 | 杭州海康机器人股份有限公司 | 一种相机标定的方法、装置、电子设备及存储介质 |
| CN116206302A (zh) * | 2022-12-21 | 2023-06-02 | 中国科学技术大学 | 三维目标检测方法、装置、计算机设备和存储介质 |
-
2023
- 2023-11-02 CN CN202311447800.3A patent/CN117173257B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160343136A1 (en) * | 2014-01-27 | 2016-11-24 | Xylon d.o.o. | Data-processing system and method for calibration of a vehicle surround view system |
| US20180197310A1 (en) * | 2015-01-16 | 2018-07-12 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
| CN108292356A (zh) * | 2015-11-04 | 2018-07-17 | 祖克斯有限公司 | 用于实施自主车辆中的主动安全系统的系统 |
| CN109270534A (zh) * | 2018-05-07 | 2019-01-25 | 西安交通大学 | 一种智能车激光传感器与相机在线标定方法 |
| CN109544642A (zh) * | 2018-11-16 | 2019-03-29 | 北京理工大学 | 一种基于n型靶标的tdi-ccd相机参数标定方法 |
| CN110264525A (zh) * | 2019-06-13 | 2019-09-20 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种基于车道线与目标车辆的相机标定方法 |
| CN110332945A (zh) * | 2019-08-01 | 2019-10-15 | 北京眸星科技有限公司 | 基于交通道路标线视觉识别的车载导航方法和装置 |
| CN112529966A (zh) * | 2020-12-17 | 2021-03-19 | 豪威科技(武汉)有限公司 | 一种车载环视系统的在线标定方法及其车载环视系统 |
| WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| WO2023283929A1 (zh) * | 2021-07-16 | 2023-01-19 | 华为技术有限公司 | 双目相机外参标定的方法及装置 |
| CN114241062A (zh) * | 2021-12-27 | 2022-03-25 | 智道网联科技(北京)有限公司 | 自动驾驶的相机外参确定方法、装置和计算机可读存储介质 |
| CN114757301A (zh) * | 2022-05-12 | 2022-07-15 | 北京地平线机器人技术研发有限公司 | 车载视觉感知方法和装置、可读存储介质、电子设备 |
| CN115713563A (zh) * | 2022-11-21 | 2023-02-24 | 杭州海康机器人股份有限公司 | 一种相机标定的方法、装置、电子设备及存储介质 |
| CN116206302A (zh) * | 2022-12-21 | 2023-06-02 | 中国科学技术大学 | 三维目标检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| HAITAO LI 等: "A Disturbance Estimation Approach to Self-Calibration of Gimbal Resolver- to-Digital Conversion System", 《IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》, 15 February 2022 (2022-02-15) * |
| MARKUS KÄNGSEPP 等: "Calibrated Perception Uncertainty Across Objects and Regions in Bird\'s-Eye-View", 《COMPUTER VISION AND PATTERN RECOGNITION》, 8 November 2022 (2022-11-08) * |
| 王博: "基于激光雷达的自动驾驶三维环境感知系统关键技术研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》, no. 1, 15 January 2023 (2023-01-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117173257B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| US11506769B2 (en) | Method and device for detecting precision of internal parameter of laser radar | |
| CN111336951B (zh) | 用于校准图像传感器的外部参数的方法和设备 | |
| CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN114863096B (zh) | 室内停车场的语义地图构建及定位方法和装置 | |
| CN114913290A (zh) | 多视角融合的场景重建方法、感知网络训练方法及装置 | |
| CN113155143B (zh) | 用于评估自动驾驶用的地图的方法、设备和车辆 | |
| CN111222417A (zh) | 一种用于提高基于车载图像车道线提取精度的方法及装置 | |
| CN110766761A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN114202588A (zh) | 一种车载环视相机快速自动标定方法和装置 | |
| CN110728720A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN117173257B (zh) | 3d目标检测及其标定参数增强方法、电子设备、介质 | |
| CN117671013B (zh) | 点云定位方法、智能设备及计算机可读存储介质 | |
| CN116188319A (zh) | 图像畸变矫正方法、设备、驾驶设备和介质 | |
| CN115511975A (zh) | 一种单目相机的测距方法及计算机程序产品 | |
| CN110852278B (zh) | 地面标识线识别方法、设备及计算机可读存储介质 | |
| CN115346191A (zh) | 用于校准的方法和设备 | |
| CN112560606A (zh) | 挂车角度识别方法及装置 | |
| CN114387583B (zh) | 一种车道线处理的方法和装置 | |
| CN115690261B (zh) | 基于多传感器融合的车位建图方法、车辆及存储介质 | |
| CN117726693A (zh) | 相机标定方法、控制器及车辆 | |
| CN115071684A (zh) | 泊车校准方法、装置、设备及计算机存储介质 | |
| CN113808208A (zh) | 功能安全的列车定位方法、系统、电子设备及存储介质 | |
| CN119251166A (zh) | 点云地图重影检测方法、可读存储介质及智能设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |