CN117078752B - 车辆位姿估计方法、装置、车辆及存储介质 - Google Patents
车辆位姿估计方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN117078752B CN117078752B CN202310889859.1A CN202310889859A CN117078752B CN 117078752 B CN117078752 B CN 117078752B CN 202310889859 A CN202310889859 A CN 202310889859A CN 117078752 B CN117078752 B CN 117078752B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- ground
- coordinate system
- coordinate
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及车辆驾驶技术领域，公开了车辆位姿估计方法、装置、车辆及存储介质，该方法包括：获取鱼眼相机的观测图片；对观测图片进行车型检测以及关键点检测，得到观测图片中目标车辆的目标车型以及接地点，接地点为检测到的关键点在地面上的投影；基于接地点进行坐标系转换，得到接地点在自身车辆对应的第一车体坐标系下的接地坐标；获取目标车型对应的车体顶点在目标车辆对应的第二车体坐标系下的坐标，以得到车体顶点投影到地面的地面坐标，车体顶点与接地点一一对应；将接地坐标与地面坐标进行匹配，并基于匹配结果对目标车辆进行位姿估计，得到目标车辆的位姿。本发明能够解决鱼眼相机的高度畸变造成车辆位姿估计准确性低的问题。
Description
技术领域
本发明涉及车辆驾驶技术领域，具体涉及车辆位姿估计方法、装置、车辆及存储介质。
背景技术
在自动驾驶场景中，精确估计车辆的3D位姿是感知和可视化的需求之一，而在高度畸变的鱼眼相机中，依靠纯视觉输入进行车辆3D位姿估计是一个艰难的任务。目前，基于鱼眼相机对车辆进行位姿估计的方法主要有以下两种：第一种，利用3D目标检测算法进行车辆位姿估计，但是，由于3D检测数据标定难度大，且伴随着鱼眼相机的高度畸变，造成3D目标检测算法的检测精度非常有限。第二种，利用网络直接估计车辆的位姿和体型信息，但是，鱼眼相机的高度畸变会使得其拍摄的图片边缘的深度估计非常不准，导致车辆形变严重，车辆长宽高估计不准。可见，这两种车辆位姿估计方法受到鱼眼相机高度畸变的影响，造成车辆位姿估计的准确性低。
发明内容
有鉴于此，本发明提供了一种车辆位姿估计方法、装置、车辆及存储介质，以解决鱼眼相机的高度畸变造成车辆位姿估计准确性低的问题。
第一方面，本发明提供了一种车辆位姿估计方法，所述方法包括：
获取鱼眼相机的观测图片；
对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，所述接地点为检测到的关键点在地面上的投影；
基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，所述目标车辆为所述自身车辆周围的其他车辆；
获取所述目标车型对应的车体顶点在所述目标车辆对应的第二车体坐标系下的坐标，以得到所述车体顶点在所述第二车体坐标系下投影到地面的地面坐标，所述车体顶点与所述接地点一一对应；
将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿。
在该方式中，通过对观测图片进行车型检测，得到观测图片中目标车辆的目标车型，从而能够根据目标车型确定目标车辆的车体顶点在目标车辆对应的第二车体坐标系下投影到地面的地面坐标，以减小鱼眼相机的高度畸变对车辆位姿估计所带来的影响。同时，通过对观测图片进行关键点检测，得到观测图片中目标车辆的车体顶点对应的接地点，从而获取接地点在自身车辆对应的第一车体坐标系下的接地坐标。因此，只需要利用目标车辆的车体顶点的地面坐标以及与其匹配的接地点的接地坐标，就能够准确确定出目标车辆的位姿，且，由于接地坐标和地面坐标高度方向的坐标为零，则能够避免在估计位姿的过程中引入鱼眼相机畸变后的高度信息，以进一步提高车辆位姿估计的准确性。
在一种可选的实施方式中，所述基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，包括：
获取所述接地点在所述观测图片中的像素坐标；
将所述接地点的像素坐标转换为相机坐标系下的相机坐标；
基于所述相机坐标系与所述第一车体坐标系之间的第一坐标变换关系对所述相机坐标进行处理，得到所述接地点在所述相机坐标系下的深度；
基于所述第一坐标变换关系和所述深度对所述相机坐标进行坐标转换，得到所述接地点在所述第一车体坐标系下的接地坐标。
在该方式中，先将接地点在观测图片中的像素坐标转换为相机坐标，由于接地点在第一车体坐标系下的高度为零，因此，可基于相机坐标系与自身车辆对应的第一车体坐标系之间的第一坐标变换关系对相机坐标进行处理，以得到接地点在相机坐标系下的深度，进而基于深度、相机坐标和第一坐标变换关系，计算得到所述接地点在第一车体坐标系下的接地坐标，从而能够准确估计出与目标车辆的车体顶点对应的接地点在第一车体坐标系下的接地坐标，以进一步确保后续车辆位姿估计的准确性。
在一种可选的实施方式中，所述第一坐标变换关系通过以下公式表示：
Ai＝Rbc*si*f(ai)+tbc；
其中，Ai为第i个所述接地点的所述接地坐标，Rbc为所述相机坐标系到所述第一车体坐标系的第一旋转矩阵，si为第i个所述接地点的所述深度，f(ai)为第i个所述接地点的所述相机坐标，ai为第i个所述接地点的所述像素坐标，f()为所述观测图片对应的像素坐标系到所述相机坐标系的投影变化函数，tbc为所述相机坐标系到所述第一车体坐标系的第一平移向量。
在一种可选的实施方式中，所述将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿，包括：
将所述接地坐标与所述地面坐标进行匹配，得到匹配结果；
基于所述第二车体坐标系与所述第一车体坐标系之间的第二坐标变换关系，对所述匹配结果进行奇异值分解，得到所述第二车体坐标系到所述第一车体坐标系的第二旋转矩阵和第二平移向量；
基于所述第二旋转矩阵和所述第二平移向量，对所述目标车辆进行位姿估计，得到所述目标车辆的位姿。
在该方式中，由于接地坐标与地面坐标相对应，且接地坐标和地面坐标在第一车体坐标系和第二车体坐标系下的高度均为零，从而能够避免高度方向上的未知变量的引入，减少求解第二车体坐标系到第一车体坐标系的第二旋转矩阵和第二平移变量的过程中，所需要用到的关键点信息。因此，仅需要将接地坐标和地面坐标进行匹配，就可以基于匹配结果进行奇异值分解，确定出第二车体坐标系到第一车体坐标系的第二旋转矩阵和第二平移变量，进而利用求解得到的第二旋转矩阵和第二平移变量，得到目标车辆的位姿，计算过程简单。
在一种可选的实施方式中，所述第二坐标变换关系通过以下公式表示：
Ai＝Ropt*Bi+topt；
其中，Ai为第i个所述接地点的所述接地坐标，Ropt为所述第二旋转矩阵，Bi为第i个所述接地点的所述地面坐标，topt为所述第二平移向量。
在一种可选的实施方式中，在对所述观测图片进行关键点检测，得到所述观测图片中目标车辆的接地点时，所述接地点上设有相应的语义标签，所述语义标签用于确定所述接地点与所述目标车辆的车体顶点的对应关系；所述将所述接地坐标与所述地面坐标进行匹配，得到匹配结果，包括：
基于所述接地点的语义标签，确定所述接地点与所述车体顶点的对应关系；
基于所述接地点与所述车体顶点的对应关系，将所述接地坐标与所述地面坐标进行匹配，得到匹配结果。
在该方式中，在对观测图片进行关键点检测时，得到的接地点上还设有用于确定接地点与车体顶点的对应关系的语义标签，因此，可以快速将接地点的接地坐标与车体顶点的地面坐标进行匹配，以提高对目标车辆进行位姿估计的效率。
在一种可选的实施方式中，所述对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，包括：
将所述观测图片输入至预先构建的车辆检测模型中进行车辆检测，得到所述观测图片中目标车辆及其相应的特征数据；
将所述目标车辆和所述特征数据输入至预先训练好的车型分类模型中进行车型检测，得到所述目标车辆的目标车型；
将所述目标车辆和所述特征数据输入至预先训练好的关键点检测模型中进行关键点检测，得到所述目标车辆的接地点。
在该方式中，先对观测图片进行车辆检测，得到目标车辆及其相应的特征数据，再基于目标车辆及其相应的特征数据进行车型检测和关键点检测，从而能够提高车型检测和关键点检测准确性。
第二方面，本发明提供了一种车辆位姿估计装置，所述装置包括：
图片获取模块，用于获取鱼眼相机的观测图片；
物体检测模块，用于对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，所述接地点为检测到的关键点在地面上的投影；
坐标转换模块，用于基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，所述目标车辆为所述自身车辆周围的其他车辆；
车体点获取模块，用于获取所述目标车型对应的车体顶点在所述目标车辆对应的第二车体坐标系下的坐标，以得到所述车体顶点在所述第二车体坐标系下投影到地面的地面坐标，所述车体顶点与所述接地点一一对应；
位姿估计模块，用于将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿。
第三方面，本发明提供了一种车辆，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的车辆位姿估计方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的车辆位姿估计方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的车辆位姿估计方法的流程示意图；
图2是根据本发明实施例的另一车辆位姿估计方法的流程示意图；
图3是根据本发明实施例的车辆位姿估计装置的结构框图；
图4是本发明实施例的车辆控制系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在自动驾驶场景中，前端感知是主要功能模块之一，用于收集环境中的信息并输出给后续定位、决策等功能。停靠的车辆是地库中主要元素之一，精确估计停靠车辆的位置、朝向、体型的3D位姿，是感知和可视化的需求之一。而如何在高度畸变的鱼眼相机中，依靠纯视觉输入，进行3D的感知是一个更加艰难的任务。相关技术中大多依靠3D框检测算法进行车辆位姿估计，但是，由于3D检测数据标定难度大，且伴随着鱼眼相机的高度畸变，造成3D目标检测算法的检测精度非常有限。或者，利用网络直接估计车辆的位姿和体型信息，但是，鱼眼相机的高度畸变会使得其拍摄的图片边缘的深度估计非常不准，导致车辆形变严重，车辆长宽高估计不准。此外，个别相关技术中，还利用关键点检测算法进行车辆位姿估计，但是需要定义的关键点太多，在鱼眼相机的高畸变下，难度会非常大，容易导致车辆位姿估计不准确。可见，相关技术中的车辆位姿估计方法受到鱼眼相机高度畸变的影响，造成车辆位姿估计的准确性低。
鉴于此，根据本发明实施例，提供了一种车辆位姿估计方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种车辆位姿估计方法，可用于上述的车辆，图1是根据本发明实施例的车辆位姿估计方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取鱼眼相机的观测图片。
步骤S102，对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，所述接地点为检测到的关键点在地面上的投影。
需要说明的是，上述步骤S102中，用视为长方体的三维框架参数化目标车辆，三维框架的底面的四个顶点表示目标车辆的四个车体顶点在目标车辆对应的第二车体坐标系的地面上的投影位置。而三维框架的底面的四个顶点就是上述步骤S102所要检测的接地点。可以理解的，接地点在观测图片中的位置即为对观测图片进行关键点检测的关键点。
具体地，可先识别所述观测图片中的目标车辆及其特征数据，再基于识别到的目标车辆及其特征数据进行车型检测以及关键点检测。具体可采用神经网络模型或其他车型分类模型进行车型检测，如：卷积神经网络模型、Faster RCNN深度学习网络模型、Xception-MMD网络模型、分类器等，以及，可采用关键点检测网络进行关键点检测，如：MaskR-CNN网络、Cascade Mask R-CNN网络、OmniDet网络等。
步骤S103，基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，所述目标车辆为所述自身车辆周围的其他车辆。
需要说明的是，接地点在第一车体坐标系下的高度为零，因此，在实际操作中，可利用接地点在第一车体坐标下的高度为零这一信息，推测接地点转换到第一车体坐标下的接地坐标。具体可根据相机内参矩阵，确定像素坐标系到所述相机坐标系的投影变化函数，根据这一投影变化函数和预先获取的接地点在观测图片中的像素坐标，得到接地点在相机坐标系下的相机坐标，再根据相机坐标与第一车体坐标系之间的第一坐标变换关系，得到接地点在第一车体坐标系下的接地坐标。此外，需要说明，相机坐标系到第一车体坐标系的第一旋转矩阵和第一平移变量即鱼眼相机的外参，第一旋转矩阵和第一平移变量是可以预先获取的。
步骤S104，获取所述目标车型对应的车体顶点在所述目标车辆对应的第二车体坐标系下的坐标，以得到所述车体顶点在所述第二车体坐标系下投影到地面的地面坐标，所述车体顶点与所述接地点一一对应。
值得说明的是，由于目前常见的车辆体型比较固定，因此，可以根据车辆的体型将车辆大致分为小轿车、货车(或巴士)两大类车型，当然，根据实际情况可以分为更多类别的车型。然后，给每一类别的车型预先定义车体尺寸，如：长、宽、高。用长方体参数化目标车辆，长方体的底面四个顶点表示车辆四个车体顶点{bj|j＝1,2,3,4}在地面上的投影位置。如：车体左前方的车体顶点b1在地面的投影B1，车体右前方的车体顶点b2在地面的投影B2，车体左后方的车体顶点b3在地面的投影B3，车体右后方的车体顶点b4在地面的投影B4。因此，可以根据目标车辆的目标车型从预先定义的车体尺寸中，得到目标车型对应的目标车体尺寸，以得到所述目标车型对应的车体顶点在目标车辆对应的第二车体坐标系下的地面坐标。
需要说明的是，无论是第一车体坐标系还是第二车体坐标系，可采用右手坐标系定义第一/第二车体坐标系，将车头方向作为y轴，车辆高度方向作为z轴，坐标原点在车辆后轴中心对应的地面上；其中，z轴朝上，y轴朝前。
步骤S105，将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿。
示例性地，假设在自身车辆装载的鱼眼相机拍摄的观测图片上，与目标车辆的车体顶点在地面的投影对应的接地点(即2D像素点)为{ai|i＝1,2,3,4}，接地点在自身车辆对应的第一车体坐标系下的接地坐标为{Ai|i＝1,2,3,4}，车体顶点{bj|j＝1,2,3,4}在目标车辆对应的第二车体坐标系下投影到地面的地面坐标为{Bj|j＝1,2,3,4}；其中，a1对应车体左前方的车体顶点b1，a2对应车体右前方的车体顶点b2，a3对应车体左后方的车体顶点b3，a4对应车体右后方的车体顶点b4，i可视为接地点的语义标签，j可视为车体顶点的语义标签，以用于确定所述接地点与所述目标车辆的车体顶点的对应关系，从而将{Ai|i＝1,2,3,4}与{Bj|j＝1,2,3,4}匹配关联，而在实际操作中{Bj|j＝1,2,3,4}是可以根据目标车型确切得到的，因此，可以利用{Ai|i＝1,2,3,4}与{Bj|j＝1,2,3,4}的匹配结果，计算得到第二车体坐标系到第一车体坐标系的第二旋转矩阵和第二平移变量，以得到目标车辆的位姿。
本实施例提供的车辆位姿估计方法，通过对观测图片进行车型检测，得到观测图片中目标车辆的目标车型，从而能够根据目标车型确定目标车辆的车体顶点在目标车辆对应的第二车体坐标系下投影到地面的地面坐标，以减小鱼眼相机的高度畸变对车辆位姿估计所带来的影响。同时，通过对观测图片进行关键点检测，得到观测图片中目标车辆的车体顶点对应的接地点，从而获取接地点在自身车辆对应的第一车体坐标系下的接地坐标。因此，只需要利用目标车辆的车体顶点的地面坐标以及与其匹配的接地点的接地坐标，就能够准确确定出目标车辆的位姿，且，由于接地坐标和地面坐标高度方向的坐标为零，则能够避免在估计位姿的过程中引入鱼眼相机畸变后的高度信息，以进一步提高车辆位姿估计的准确性。
图2是根据本发明实施例的车辆位姿估计方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取鱼眼相机的观测图片。详细请参见上述实施例的步骤S101，在此不再赘述。
步骤S202，对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，所述接地点为检测到的关键点在地面上的投影。
具体地，上述步骤S202，包括：
步骤S2021，将所述观测图片输入至预先构建的车辆检测模型中进行车辆检测，得到所述观测图片中目标车辆及其相应的特征数据。
具体地，将所述观测图片输入至预先构建的车辆检测模型中进行车辆检测，得到车辆检测框，对所述车辆检测框进行剪裁，得到所述观测图片中的目标车辆及其相应的特征数据。需要说明，这里的特征数据为隐式特征数据。所述车辆检测模型是基于样本图片和所述样本图片中的样本车辆对预先构建的物体检测网络进行训练得到的。
步骤S2022，将所述目标车辆和所述特征数据输入至预先训练好的车型分类模型中进行车型检测，得到所述目标车辆的目标车型。
具体地，所述车型分类模型是基于第一样本车辆、第一样本车辆对应的特征数据和样本车型标签训练得到的。需要说明，若仅针对一种车型的目标车辆进行位姿估计，那么可以省去对目标车辆进行车型检测的步骤。
步骤S2023，将所述目标车辆和所述特征数据输入至预先训练好的关键点检测模型中进行关键点检测，得到所述目标车辆的接地点。
具体地，所述关键点检测模型是基于第二样本车辆、第二样本车辆对应的特征数据和第二样本车辆在样本图片中的样本接地点对预先构建的关键点检测网络进行训练得到的。
需要说明的是，第二样本车辆在样本图片中的样本接地点，即将第二样本车辆视为长方体的三维框架，第二样本车辆的三维框架的地面的四个顶点。
本实施例提供的车辆位姿估计方法，先对观测图片进行车辆检测，得到目标车辆及其相应的特征数据，再基于目标车辆及其相应的特征数据进行车型检测和关键点检测，从而能够提高车型检测和关键点检测准确性。
步骤S203，基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，所述目标车辆为所述自身车辆周围的其他车辆。
具体地，上述步骤S203，包括：
步骤S2031，获取所述接地点在所述观测图片中的像素坐标。
步骤S2032，将所述接地点的像素坐标转换为相机坐标系下的相机坐标。
具体地，可通过相机内参矩阵，确定像素坐标系到相机坐标系的投影变化函数，从而基于投影变化函数将所述接地点的像素坐标转换为相机坐标系下的相机坐标。
步骤S2033，基于所述相机坐标系与所述第一车体坐标系之间的第一坐标变换关系对所述相机坐标进行处理，得到所述接地点在所述相机坐标系下的深度。
具体地，所述第一坐标变换关系通过以下公式表示：
Ai＝Rbc*si*f(ai)+tbc；
其中，Ai为第i个所述接地点的所述接地坐标，Rbc为所述相机坐标系到所述第一车体坐标系的第一旋转矩阵，si为第i个所述接地点的所述深度，f(ai)为第i个所述接地点的所述相机坐标，ai为第i个所述接地点的所述像素坐标，f()为所述观测图片对应的像素坐标系到所述相机坐标系的投影变化函数，tbc为所述相机坐标系到所述第一车体坐标系的第一平移向量。
进一步地，由于接地点在第一车体坐标系中的高度为零，因此，接地点满足(Rbc*si*f(ai)+tbc)[2]＝0；其中，[2]为所述第一车体坐标系下空间点的z维度。从而解等式得到接地点在相机坐标下的深度的表达式为：
需要说明的是，鱼眼相机的投影变换f()是高度非线性的函数。
步骤S2034，基于所述第一坐标变换关系和所述深度对所述相机坐标进行坐标转换，得到所述接地点在所述第一车体坐标系下的接地坐标。
具体地，将上述si的表达式代入上述第一坐标变换关系对应的公式，从而可以根据相机内参获取到的第一旋转矩阵和第一平移向量，计算得到接地点在第一车体坐标系下的接地坐标。
本实施例提供的车辆位姿估计方法，先将接地点在观测图片中的像素坐标转换为相机坐标，由于接地点在第一车体坐标系下的高度为零，因此，可基于相机坐标系与自身车辆对应的第一车体坐标系之间的第一坐标变换关系对相机坐标进行处理，以得到接地点在相机坐标系下的深度，进而基于深度、相机坐标和第一坐标变换关系，计算得到所述接地点在第一车体坐标系下的接地坐标，从而能够准确估计出与目标车辆的车体顶点对应的接地点在第一车体坐标系下的接地坐标，以进一步确保后续车辆位姿估计的准确性。
步骤S204，获取所述目标车型对应的车体顶点在所述目标车辆对应的第二车体坐标系下的坐标，以得到所述车体顶点在所述第二车体坐标系下投影到地面的地面坐标，所述车体顶点与所述接地点一一对应。
具体地，上述步骤S204包括：
步骤a1，获取与所述目标车型对应的目标车体尺寸，所述目标车体尺寸包括目标车体长度和目标车体宽度；
步骤a2，根据所述目标车体长度和所述目标车体宽度，得到所述目标车型对应的车体顶点在所述第二车体坐标系下的坐标，以得到所述车体顶点在所述第二车体坐标系下投影到地面的地面坐标，所述车体顶点与所述接地点一一对应。
示例性地，用右手坐标系定义第二车体坐标系，将车头方向作为y轴，车辆高度方向作为z轴，坐标原点在车后轴中心对应的地面上，z轴朝上，y轴朝前。则，在根据目标车型获取到对应的目标车体长度l和目标车体宽度w后，可以得到在第二车体坐标系下，所述车体顶点投影到地面的地面坐标。例如：b1投影到地面的地面坐标B1＝(0.5w,l,0)，b2投影到地面的地面坐标B2＝(-0.5w,l,0)，b3投影到地面的地面坐标B3＝(0.5w,0,0)，b4投影到地面的地面坐标B4＝(-0.5w,0,0)。
步骤S205，将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿。
具体地，上述步骤S205，包括：
步骤S2051，将所述接地坐标与所述地面坐标进行匹配，得到匹配结果。
示例性地，将A1与B1进行匹配，A2与B2进行匹配，A3与B3进行匹配，A4与B4进行匹配。
步骤S2052，基于所述第二车体坐标系与所述第一车体坐标系之间的第二坐标变换关系，对所述匹配结果进行奇异值分解，得到所述第二车体坐标系到所述第一车体坐标系的第二旋转矩阵和第二平移向量。
具体地，所述第二坐标变换关系通过以下公式表示：
Ai＝Ropt*Bi+topt；
其中，Ai为第i个所述接地点的所述接地坐标，Ropt为所述第二旋转矩阵，Bi为第i个所述接地点的所述地面坐标，topt为所述第二平移向量。
步骤S2053，基于所述第二旋转矩阵和所述第二平移向量，对所述目标车辆进行位姿估计，得到所述目标车辆的位姿。
本实施例提供的车辆位姿估计方法，由于接地坐标与地面坐标相对应，且接地坐标和地面坐标在第一车体坐标系和第二车体坐标系下的高度均为零，从而能够避免高度方向上的未知变量的引入，减少求解第二车体坐标系到第一车体坐标系的第二旋转矩阵和第二平移变量的过程中，所需要用到的关键点信息。因此，仅需要将接地坐标和地面坐标进行匹配，就可以基于匹配结果进行奇异值分解，确定出第二车体坐标系到第一车体坐标系的第二旋转矩阵和第二平移变量，进而利用求解得到的第二旋转矩阵和第二平移变量，得到目标车辆的位姿，计算过程简单。
进一步地，在对所述观测图片进行关键点检测，得到所述观测图片中目标车辆的接地点时，所述接地点上设有相应的语义标签，所述语义标签用于确定所述接地点与所述目标车辆的车体顶点的对应关系；上述步骤S2051，包括：
步骤b1，基于所述接地点的语义标签，确定所述接地点与所述车体顶点的对应关系。
示例性地，参见上述{ai|i＝1,2,3,4}和{bj|j＝1,2,3,4}，i可视为所述接地点的语义标签，如在{ai|i＝1,2,3,4}中：1代表车体左前方的接地点，2代表车体右前方的接地点，3代表车体左后方的接地点，4代表车体右后方的接地点。而在{bj|j＝1,2,3,4}：1代表车体左前方的车体顶点，2代表车体右前方的车体顶点，3代表车体左后方的车体顶点，4代表车体右后方的车体顶点。因此，可以根据接地点的语义标签，确定a1与b1对应，a2与b2对应，a3与b3对应，a4与b4对应。
步骤b2，基于所述接地点与所述车体顶点的对应关系，将所述接地坐标与所述地面坐标进行匹配，得到匹配结果。
可以理解地，在确定所述接地点与所述车体顶点的对应关系后，可确定A1与B1匹配，A2与B2匹配，A3与B3匹配，A4与B4匹配。
本实施例提供的车辆位姿估计方法，在对观测图片进行关键点检测时，得到的接地点上还设有用于确定接地点与车体顶点的对应关系的语义标签，因此，可以快速将接地点的接地坐标与车体顶点的地面坐标进行匹配，以提高对目标车辆进行位姿估计的效率。
可以理解地，基于鱼眼相机的3D框检测难度太大，数据标定难度高，在本实施例中只需要利用目标车辆四个车体顶点及其对应的接地点，再加上体型分类算法，就能够减少关键点的检测，在鱼眼相机的高度畸变的观测图片实现3D车辆位姿和长宽高估计。
在本实施例中还提供了一种车辆位姿估计装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种车辆位姿估计装置，如图3所示，包括：
图片获取模块301，用于获取鱼眼相机的观测图片；
物体检测模块302，用于对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，所述接地点为检测到的关键点在地面上的投影；
坐标转换模块303，用于基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，所述目标车辆为所述自身车辆周围的其他车辆；
车体点获取模块304，用于获取所述目标车型对应的车体顶点在所述目标车辆对应的第二车体坐标系下的坐标，以得到所述车体顶点在所述第二车体坐标系下投影到地面的地面坐标，所述车体顶点与所述接地点一一对应；
位姿估计模块305，用于将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿。
作为其中一种可选的实施方式，物体检测模块302包括：
物体检测单元，用于将所述观测图片输入至预先训练好的车辆检测模型中进行车辆检测，得到所述观测图片中目标车辆及其相应的特征数据；
车型检测单元，用于将所述目标车辆和所述特征数据输入至预先训练好的车型分类模型中进行车型检测，得到所述目标车辆的目标车型；
关键点检测单元，用于将所述目标车辆和所述特征数据输入至预先训练好的关键点检测模型中进行关键点检测，得到所述目标车辆的接地点。
作为其中一种可选的实施方式，坐标转换模块303包括：
像素坐标获取单元，用于获取所述接地点在所述观测图片中的像素坐标；
第一坐标转换单元，用于将所述接地点的像素坐标转换为相机坐标系下的相机坐标；
深度计算单元，用于基于所述相机坐标系与所述第一车体坐标系之间的第一坐标变换关系对所述相机坐标进行处理，得到所述接地点在所述相机坐标系下的深度；
第二坐标转换单元，用于基于所述第一坐标变换关系和所述深度对所述相机坐标进行坐标转换，得到所述接地点在所述第一车体坐标系下的接地坐标。
进一步地，坐标转换模块303中的第一坐标变换关系具体为：
Ai＝Rbc*si*f(ai)+tbc；
其中，Ai为第i个所述接地点的所述接地坐标，Rbc为所述相机坐标系到所述第一车体坐标系的第一旋转矩阵，si为第i个所述接地点的所述深度，f(ai)为第i个所述接地点的所述相机坐标，ai为第i个所述接地点的所述像素坐标，f()为所述观测图片对应的像素坐标系到所述相机坐标系的投影变化函数，tbc为所述相机坐标系到所述第一车体坐标系的第一平移向量。
作为其中一种可选的实施方式，位姿估计模块305包括：
坐标匹配单元，用于将所述接地坐标与所述地面坐标进行匹配，得到匹配结果；
变换参数计算单元，用于基于所述第二车体坐标系与所述第一车体坐标系之间的第二坐标变换关系，对所述匹配结果进行奇异值分解，得到所述第二车体坐标系到所述第一车体坐标系的第二旋转矩阵和第二平移向量；
车辆位姿估计单元，用于基于所述第二旋转矩阵和所述第二平移向量，对所述目标车辆进行位姿估计，得到所述目标车辆的位姿。
进一步地，位姿估计模块305中的第二坐标变换关系通过以下公式表示：
Ai＝Ropt*Bi+topt；
其中，Ai为第i个所述接地点的所述接地坐标，Ropt为所述第二旋转矩阵，Bi为第i个所述接地点的所述地面坐标，topt为所述第二平移向量。
进一步地，物体检测模块302在对所述观测图片进行关键点检测，得到所述观测图片中目标车辆的接地点时，所述接地点上设有相应的语义标签，所述语义标签用于确定所述接地点与所述目标车辆的车体顶点的对应关系；所述坐标匹配单元包括：
关键点匹配子单元，用于基于所述接地点的语义标签，确定所述接地点与所述车体顶点的对应关系；
坐标匹配子单元，用于基于所述接地点与所述车体顶点的对应关系，将所述接地坐标与所述地面坐标进行匹配，得到匹配结果。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的车辆位姿估计装置是以功能单元的形式来呈现，这里的单元是指ASIC(Application Specific Integrated Circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种车辆，具有上述图3所示的车辆位姿估计装置。
请参阅图4，图4是本发明可选实施例提供的一种车辆控制系统的结构示意图，如图4所示，该车辆包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在车辆内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个车辆，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据车辆的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该车辆还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息，以及产生与该车辆的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、轨迹板、触摸板、指示杆、一个或者多个轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种车辆位姿估计方法，其特征在于，所述方法包括：
获取鱼眼相机的观测图片；
对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，所述接地点为检测到的关键点在地面上的投影；
基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，所述目标车辆为所述自身车辆周围的其他车辆；
获取所述目标车型对应的车体顶点在所述目标车辆对应的第二车体坐标系下的坐标，以得到所述车体顶点在所述第二车体坐标系下投影到地面的地面坐标，所述车体顶点与所述接地点一一对应；
将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿；
其中，所述将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿，包括：
将所述接地坐标与所述地面坐标进行匹配，得到匹配结果；
基于所述第二车体坐标系与所述第一车体坐标系之间的第二坐标变换关系，对所述匹配结果进行奇异值分解，得到所述第二车体坐标系到所述第一车体坐标系的第二旋转矩阵和第二平移向量；
基于所述第二旋转矩阵和所述第二平移向量，对所述目标车辆进行位姿估计，得到所述目标车辆的位姿；
在对所述观测图片进行关键点检测，得到所述观测图片中目标车辆的接地点时，所述接地点上设有相应的语义标签，所述语义标签用于确定所述接地点与所述目标车辆的车体顶点的对应关系；所述将所述接地坐标与所述地面坐标进行匹配，得到匹配结果，包括：
基于所述接地点的语义标签，确定所述接地点与所述车体顶点的对应关系；
基于所述接地点与所述车体顶点的对应关系，将所述接地坐标与所述地面坐标进行匹配，得到匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，包括：
获取所述接地点在所述观测图片中的像素坐标；
将所述接地点的像素坐标转换为相机坐标系下的相机坐标；
基于所述相机坐标系与所述第一车体坐标系之间的第一坐标变换关系对所述相机坐标进行处理，得到所述接地点在所述相机坐标系下的深度；
基于所述第一坐标变换关系和所述深度对所述相机坐标进行坐标转换，得到所述接地点在所述第一车体坐标系下的接地坐标。
3.根据权利要求2所述的方法，其特征在于，所述第一坐标变换关系通过以下公式表示：
Ai＝Rbc*si*f(ai)+tbc；
其中，Ai为第i个所述接地点的所述接地坐标，Rbc为所述相机坐标系到所述第一车体坐标系的第一旋转矩阵，si为第i个所述接地点的所述深度，f(ai)为第i个所述接地点的所述相机坐标，ai为第i个所述接地点的所述像素坐标，f()为所述观测图片对应的像素坐标系到所述相机坐标系的投影变化函数，tbc为所述相机坐标系到所述第一车体坐标系的第一平移向量。
4.根据权利要求1所述的方法，其特征在于，所述第二坐标变换关系通过以下公式表示：
Ai＝Ropt*Bi+topt；
其中，Ai为第i个所述接地点的所述接地坐标，Ropt为所述第二旋转矩阵，Bi为第i个所述接地点的所述地面坐标，topt为所述第二平移向量。
5.根据权利要求1所述的方法，其特征在于，所述对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，包括：
将所述观测图片输入至预先构建的车辆检测模型中进行车辆检测，得到所述观测图片中目标车辆及其相应的特征数据；
将所述目标车辆和所述特征数据输入至预先训练好的车型分类模型中进行车型检测，得到所述目标车辆的目标车型；
将所述目标车辆和所述特征数据输入至预先训练好的关键点检测模型中进行关键点检测，得到所述目标车辆的接地点。
6.一种车辆位姿估计装置，其特征在于，所述装置包括：
图片获取模块，用于获取鱼眼相机的观测图片；
物体检测模块，用于对所述观测图片进行车型检测以及关键点检测，得到所述观测图片中目标车辆的目标车型以及接地点，所述接地点为检测到的关键点在地面上的投影；在对所述观测图片进行关键点检测，得到所述观测图片中目标车辆的接地点时，所述接地点上设有相应的语义标签，所述语义标签用于确定所述接地点与所述目标车辆的车体顶点的对应关系；
坐标转换模块，用于基于所述接地点进行坐标系转换，得到所述接地点在自身车辆对应的第一车体坐标系下的接地坐标，所述目标车辆为所述自身车辆周围的其他车辆；
车体点获取模块，用于获取所述目标车型对应的车体顶点在所述目标车辆对应的第二车体坐标系下的坐标，以得到所述车体顶点在所述第二车体坐标系下投影到地面的地面坐标，所述车体顶点与所述接地点一一对应；
位姿估计模块，用于将所述接地坐标与所述地面坐标进行匹配，并基于匹配结果对所述目标车辆进行位姿估计，得到所述目标车辆的位姿；
所述位姿估计模块，还用于：
将所述接地坐标与所述地面坐标进行匹配，得到匹配结果；
基于所述第二车体坐标系与所述第一车体坐标系之间的第二坐标变换关系，对所述匹配结果进行奇异值分解，得到所述第二车体坐标系到所述第一车体坐标系的第二旋转矩阵和第二平移向量；
基于所述第二旋转矩阵和所述第二平移向量，对所述目标车辆进行位姿估计，得到所述目标车辆的位姿；
所述位姿估计模块，还用于：
基于所述接地点的语义标签，确定所述接地点与所述车体顶点的对应关系；
基于所述接地点与所述车体顶点的对应关系，将所述接地坐标与所述地面坐标进行匹配，得到匹配结果。
7.一种车辆，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至5中任一项所述的车辆位姿估计方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至5中任一项所述的车辆位姿估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889859.1A CN117078752B (zh) | 2023-07-19 | 2023-07-19 | 车辆位姿估计方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889859.1A CN117078752B (zh) | 2023-07-19 | 2023-07-19 | 车辆位姿估计方法、装置、车辆及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117078752A CN117078752A (zh) | 2023-11-17 |
| CN117078752B true CN117078752B (zh) | 2024-05-28 |
Family
ID=88707024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310889859.1A Active CN117078752B (zh) | 2023-07-19 | 2023-07-19 | 车辆位姿估计方法、装置、车辆及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078752B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109631896A (zh) * | 2018-07-23 | 2019-04-16 | 同济大学 | 一种基于车辆视觉和运动信息的停车场自主泊车定位方法 |
| CN111862210A (zh) * | 2020-06-29 | 2020-10-30 | 辽宁石油化工大学 | 一种基于环视相机的目标物检测定位方法及装置 |
| CN112489126A (zh) * | 2020-12-10 | 2021-03-12 | 浙江商汤科技开发有限公司 | 车辆关键点信息检测方法、车辆控制方法及装置、车辆 |
| CN114705121A (zh) * | 2022-03-29 | 2022-07-05 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
| CN115131726A (zh) * | 2022-06-06 | 2022-09-30 | 南京积图网络科技有限公司 | 一种车位检测方法、装置、设备及介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3619643A1 (en) * | 2017-05-03 | 2020-03-11 | Mobileye Vision Technologies Ltd. | Detection and classification systems and methods for autonomous vehicle navigation |
| JP6891954B2 (ja) * | 2017-06-23 | 2021-06-18 | 日本電気株式会社 | 物体検知装置、物体検知方法、及びプログラム |
| CN112150551B (zh) * | 2020-09-25 | 2023-07-25 | 北京百度网讯科技有限公司 | 物体位姿的获取方法、装置和电子设备 |
| CN112633258B (zh) * | 2021-03-05 | 2021-05-25 | 天津所托瑞安汽车科技有限公司 | 一种目标确定方法及装置、电子设备、计算机可读存储介质 |
-
2023
- 2023-07-19 CN CN202310889859.1A patent/CN117078752B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109631896A (zh) * | 2018-07-23 | 2019-04-16 | 同济大学 | 一种基于车辆视觉和运动信息的停车场自主泊车定位方法 |
| CN111862210A (zh) * | 2020-06-29 | 2020-10-30 | 辽宁石油化工大学 | 一种基于环视相机的目标物检测定位方法及装置 |
| CN112489126A (zh) * | 2020-12-10 | 2021-03-12 | 浙江商汤科技开发有限公司 | 车辆关键点信息检测方法、车辆控制方法及装置、车辆 |
| CN114705121A (zh) * | 2022-03-29 | 2022-07-05 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
| CN115131726A (zh) * | 2022-06-06 | 2022-09-30 | 南京积图网络科技有限公司 | 一种车位检测方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| Dynamic vehicle pose estimation and tracking based on motion feedback for LiDARs;Fengyu Xu 等;Springer;2362-2390 * |
| 多传感器融合的轨道车体表面特征定位方法;赵世红;王小杰;张湘菊;李龙飞;孟海波;;光学技术(05);41-46 * |
| 车辆振动补偿在接触网几何参数检测中的应用;吴立群;;科技风(05);210-211 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117078752A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111783820B (zh) | 图像标注方法和装置 | |
| CN112861653B (zh) | 融合图像和点云信息的检测方法、系统、设备及存储介质 | |
| CN109544629B (zh) | 摄像头位姿确定方法和装置以及电子设备 | |
| US11222471B2 (en) | Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data | |
| CN104937635B (zh) | 基于模型的多假设目标追踪器 | |
| CN110070564B (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
| CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| US20190303650A1 (en) | Automatic object recognition method and system thereof, shopping device and storage medium | |
| CN112652016A (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN112489126A (zh) | 车辆关键点信息检测方法、车辆控制方法及装置、车辆 | |
| CN111612852A (zh) | 用于验证相机参数的方法和装置 | |
| CN110068824B (zh) | 一种传感器位姿确定方法和装置 | |
| WO2022048493A1 (zh) | 摄像头外参标定的方法与装置 | |
| CN116645649A (zh) | 车辆位姿及尺寸估计方法、设备及存储介质 | |
| CN112487979A (zh) | 目标检测方法和模型训练方法、装置、电子设备和介质 | |
| CN111597987B (zh) | 用于生成信息的方法、装置、设备和存储介质 | |
| CN113544744A (zh) | 一种头部姿态测量方法及装置 | |
| JP2019109747A (ja) | 位置姿勢推定装置、位置姿勢推定方法及びプログラム | |
| JP2022014921A (ja) | 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器 | |
| CN117011474B (zh) | 鱼眼图像样本生成方法、装置、计算机设备及存储介质 | |
| CN117078752B (zh) | 车辆位姿估计方法、装置、车辆及存储介质 | |
| CN114627438A (zh) | 目标检测模型生成方法、目标检测方法、设备及介质 | |
| CN110827337B (zh) | 确定车载相机的姿态的方法、装置和电子设备 | |
| CN114419564B (zh) | 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆 | |
| US20230071291A1 (en) | System and method for a precise semantic segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |