CN114648576A

CN114648576A - 一种目标车辆的定位方法、装置以及系统

Info

Publication number: CN114648576A
Application number: CN202210566504.4A
Authority: CN
Inventors: 张贺; 张如高; 虞正华
Original assignee: Suzhou Moshi Intelligent Technology Co ltd
Current assignee: Suzhou Moshi Intelligent Technology Co ltd
Priority date: 2022-05-24
Filing date: 2022-05-24
Publication date: 2022-06-21
Anticipated expiration: 2042-05-24
Also published as: CN114648576B

Abstract

本发明公开了一种目标车辆的定位方法、装置以及系统，其中，定位方法包括根据自身车辆的相机采集到的目标车辆图像，确定目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标；基于车牌的像素坐标和车牌在车牌坐标系下的坐标，构建对车牌到相机的第一相对位姿进行约束的几何约束方程，并求解几何约束方程，得到第一相对位姿；基于第一相对位姿以及自身车辆在世界坐标系下的位姿，确定目标车辆在世界坐标系下的位姿。支持在低算力平台部署运行。

Description

一种目标车辆的定位方法、装置以及系统

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种目标车辆的定位方法、装置以及系统。

背景技术

无人驾驶技术，又称自动驾驶技术，是指车辆或其他运载工具在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。无人驾驶技术是多个技术的集成，主要包括实时感知与定位、运动路径规划、通信与数据交互、车辆智能控制等技术。

与传统驾驶相同，对车辆运行环境实时感知与定位是自动驾驶系统实施决策和控制的基础。环境感知主要包括路面、静态物体和动态物体感知三个方面。其中动静态车辆的检测是自动驾驶感知过程的核心问题之一，与自动驾驶的避障绕行等功能的实现尤为相关。

目前，对动静态车辆进行检测的方法，普遍对算力平台要求较高，使得行业技术发展受到限制。

发明内容

有鉴于此，本发明实施方式提供了一种目标车辆的定位方法、定位装置、定位系统以及计算机可读存储介质，可以支持在低算力平台运行，有利推动行业发展。

本发明一方面提供了一种目标车辆的定位方法，所述方法包括：

根据自身车辆的相机采集到的目标车辆图像，确定所述目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标；

基于所述车牌的像素坐标和所述车牌在所述车牌坐标系下的坐标，构建对所述车牌到所述相机的第一相对位姿进行约束的几何约束方程，并求解所述几何约束方程，得到所述第一相对位姿；及

基于所述第一相对位姿以及所述自身车辆在世界坐标系下的位姿，确定所述目标车辆在所述世界坐标系下的位姿。

在一些实施例中，所述车牌包括车牌顶点和轮廓边线，所述车牌顶点位于所述轮廓边线；

至少基于如下约束条件构建所述几何约束方程：

基于所述第一相对位姿以及所述车牌顶点在所述车牌坐标系下的坐标，将所述车牌顶点从所述车牌坐标系转换到相机坐标系后，所述车牌顶点位于第一目标直线上，所述第一目标直线为基于所述轮廓边线的像素坐标，将所述轮廓边线从像素坐标系转换至所述相机坐标系后的直线。

在一些实施例中，所述车牌顶点包括第一顶点、第二顶点、第三顶点和第四顶点，所述第二顶点与所述第三顶点位于所述车牌的同一条轮廓边线上；

基于如下表达式构建所述几何约束方程：

其中，

分别表示所述第一顶点、第二顶点、第三顶点和第四顶点从像素坐标系转换至所述相机坐标系下的方向向量；

表示所述第二顶点和所述第三顶点所在的所述轮廓边线从像素坐标系转换至所述相机坐标系后的直线，

表示直线

的转置矩阵；

分别表示所述第一顶点、第二顶点、第三顶点和第四顶点在车牌坐标系下的坐标；

表示所述第一相对位姿。

在一些实施例中，所述轮廓边线包括多个轮廓像素点；确定所述第一相对位姿后，所述方法还包括：

基于所述第一相对位姿构建优化方程，对所述第一相对位姿进行修正，使所述优化方程满足如下约束条件：

将所述轮廓边线上的所述轮廓像素点从所述像素坐标系转换到所述相机坐标系下后，使所述轮廓像素点与第二目标直线的距离之和最小，其中，所述第二目标直线为根据所述第一相对位姿，将所述轮廓边线从所述车牌坐标系转换至所述相机坐标系下的直线。

在一些实施例中，基于如下表达式构建所述优化方程：

其中，

表示所述第一相对位姿，M表示所述轮廓边线的条数，N表示第k条轮廓边线上的轮廓像素点个数，

表示在所述车牌坐标系下的第k条轮廓边线，

表示第k条轮廓边线从所述车牌坐标系转换至所述相机坐标系下的直线，

和

表示第k条轮廓边线上的两个车牌顶点在车牌坐标系下的坐标，

表示第k条轮廓边线上第i个轮廓像素点的像素坐标转换至相机坐标系下的方向向量。

在一些实施例中，所述车牌在车牌坐标系下的坐标，包括：

根据所述目标车辆图像中的所述车牌，确定所述车牌的车牌类型；

获取所述车牌类型对应的车牌尺寸，并基于所述车牌尺寸，确定所述车牌在所述车牌坐标系的坐标。

在一些实施例中，基于如下表达式，确定所述目标车辆在所述世界坐标系下的位姿：

其中，

表示所述目标车辆到所述车牌的相对位姿，

表示所述车牌到所述自身车辆的相对位姿，

表示所述自身车辆在所述世界坐标系下的位姿，

表示所述目标车辆在所述世界坐标系下的位姿；

其中，基于如下表达式，确定所述车牌到所述自身车辆的相对位姿

：

其中，

表示所述第一相对位姿，

表示所述相机到所述自身车辆的相对位姿。

本发明另一方面还提供了一种定位装置，所述定位装置包括：

数据处理单元，用于根据自身车辆的相机采集到的目标车辆图像，确定所述目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标；

方程构建单元，用于基于所述车牌的像素坐标和所述车牌在所述车牌坐标系下的坐标，构建对所述车牌到所述相机的第一相对位姿进行约束的几何约束方程，并求解所述几何约束方程，得到所述第一相对位姿；及

定位单元，用于基于所述第一相对位姿以及所述自身车辆在世界坐标系下的位姿，确定所述目标车辆在所述世界坐标系下的位姿。

本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。

本发明另一方面还提供了一种定位系统，所述定位系统包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如上所述的方法。

在本申请的一些实施例中，目标车辆的定位方法根据目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标，构建对车牌到相机的第一相对位姿进行约束的几何约束方程，以实现第一相对位姿的求解和目标车辆在世界坐标系下的定位。该方法利用自身车辆的运动信息和多视图几何约束，可支持在低算力平台部署运行，有利推动行业发展。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本申请的一个实施例提供的车载系统的示意图；

图2示出了本申请的一个实施例提供的目标车辆的定位方法流程示意图；

图3示出了本申请一个实施例提供的车牌和车牌坐标系的部分示意图；

图4示出了本申请的一个实施例提供的定位装置的模块示意图；

图5示出了本申请的一个实施例提供的定位系统的结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1，为本申请的一个实施例提供的车载系统的示意图。图1中，矩形框表示车体，圆形表示相机。环绕车体可以安装多个相机，实现对车辆周边环境的实时感知。在本申请中，自身车辆上的相机可以用于采集周边环境中目标车辆的图像。本申请提供的目标车辆的定位方法，可以根据自身车辆上的相机采集到的目标车辆图像和自身车辆的运动信息，对目标车辆进行定位。

在一些实施例中，执行本申请的定位方法之前，可以先定义各个不同的坐标系。这些坐标系可以包括世界坐标系、自身车辆的车体坐标系以及相机坐标系、目标车辆的车体坐标系和车牌坐标系。这些坐标系都可以是右手系的坐标系。其中，车体坐标系的原点为车体后轴中心，z轴垂直地面向上，x轴指向车体行进方向的右侧，y轴指向车体行进正前方向。世界坐标系可以与自身车辆刚启动时的车体坐标系重合。相机坐标系的原点为相机的光心，z轴指向相机的朝向，x轴平行于图像平面且指向图像右侧，y轴垂直于图像平面且指向地面。车牌坐标系的原点为车牌中心，x轴指向车体前进方向的右侧，y轴垂直车牌中心向下指向地面，z轴指向车体前进方向。

在一些实施例中，在执行本申请的定位方法时，可能会涉及通过航迹推算任务计算自身车辆相当于世界坐标系的位姿。由于航迹推算任务通常要求将多相机的信息转换到同一个坐标系下进行描述，因此需要对多相机相对于车体后轴中心的外参数进行标定和各相机内参数提前进行标定，相机之间通过硬件触发进行同步采集，且图片采集的帧率可控。

请参阅图2，为本申请的一个实施例提供的目标车辆的定位方法流程示意图。定位方法可以应用于一种定位装置。定位装置包括但不限于车载控制设备、与相机通信连接的远程服务器。目标车辆的定位方法包括步骤S21至步骤S23。

步骤S21，根据自身车辆的相机采集到的目标车辆图像，确定目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标。

以下先对车牌在目标车辆图像中的像素坐标进行说明。

在一些实施例中，可以基于深度学习的2D语义分割方法，从目标车辆图像中分割出车牌，并获得车牌在像素坐标系下的像素坐标。其中，车牌的像素坐标可以是车牌的轮廓边线上的像素坐标。在目标车辆图像中，轮廓边线可以包括多个轮廓像素点，即轮廓上的像素点。每个轮廓像素点对应一个像素坐标。两个轮廓边线相交的地方，可以为车牌顶点。轮廓边线在相交处的像素坐标也可以为车牌顶点的像素坐标。

在一些实施例中，可以对车牌的像素坐标做PCA（principal componentsanalysis，主成分分析）处理，可以得到车牌行列像素坐标的最大值和最小值，进而可以在目标车辆图像中，确定车牌轮廓对应的轮廓边线和车牌顶点，以及轮廓边线上各个轮廓像素点的像素坐标和车牌顶点的像素坐标。

在一些实施例中，针对相机采集的每一帧图像，若图像中包括目标车辆，即可为该帧图像建立一个车牌的像素坐标点集，用于存储该帧图像中的车牌轮廓边线上各轮廓像素点的像素坐标。以下示例性的列举了一个像素坐标点集：

其中，

表示像素坐标点集，k表示相机采集第k帧图像时得到的像素坐标点集，M 表示车牌的轮廓边线条数（比如4条），表示第i条轮廓边线上各轮廓像素点的像素坐标的集合，N表示第i条轮廓边线上的轮廓像素点个数（即像素坐标个数）。

在一些实施例中，基于每一帧目标车辆图像，可以确定图像中的目标车辆在当前帧时刻的位姿（具体可参见后续描述）。针对每一帧目标车辆图像，可以建立各帧图像与图像中的目标车辆的关联关系。可以理解的是，在自身车辆的行驶过程中，自身车辆的相机可能会拍摄到不同的目标车辆。因此，不同帧的目标车辆图像中，对应的目标车辆可能会不同。比如第1~10帧目标车辆图像中，目标车辆为车辆A；在第12帧目标车辆图像中，目标车辆为车辆B。基于第1~10帧目标车辆图像，可以确定车辆A的位姿；基于第12帧目标车辆图像，可以确定车辆B的位姿。通过建立各帧目标车辆图像和图像中的目标车辆的关联关系，可以在根据各帧目标车辆图像得到目标车辆的位姿，确定该位姿对应的车辆。比如将上述举例中的第1~10帧图像，与车辆A关联；将第12帧图像，与车辆B关联。基于第1~10帧图像得到的位姿，可以确定为车辆A的位姿；基于第12帧图像得到的位姿，可以确定为车辆B的位姿。

以下对车牌在车牌坐标系下的坐标进行说明。

在一些实施例中，可以根据目标车辆图像中的车牌，确定车牌的车牌类型，然后获取车牌类型对应的车牌尺寸，并基于车牌尺寸，确定车牌在车牌坐标系的坐标。具体请参阅图3，为本申请一个实施例提供的车牌和车牌坐标系的部分示意图。图3中，仅示出车牌坐标系的X轴和Y轴，未示出Z轴。从图3和上述车牌坐标系的定义可以得知，车牌坐标系是以车牌的中心为原点的。如此，可以理解的是，根据车牌的长度和宽度，至少是可以得到车牌顶点在车牌坐标系下的坐标的。比如图3中，假设沿X轴方向为车牌的长度方向，沿Y轴方向为车牌的宽度方向。车牌长度为L1，车牌宽度为L2。那么在车牌顶点A处的坐标就应该是

。

在一些实施例中，不同类型的车牌，具有的长度和宽度不同。因此，可以建立车牌类型和车牌尺寸（长度和宽度）的对应关系。在基于2D语义分割方法从目标车辆图像中分割车牌时，可以同时对车牌类型进行识别，然后根据识别到的车牌类型，获取对应的尺寸信息，进而至少可以得到车牌顶点在车牌坐标系下的坐标。

步骤S22，基于车牌的像素坐标和车牌在车牌坐标系下的坐标，构建对车牌到相机的第一相对位姿进行约束的几何约束方程，并求解几何约束方程，得到第一相对位姿。

在一些实施例中，可以至少基于如下约束条件构建几何约束方程：

基于第一相对位姿以及车牌顶点在车牌坐标系下的坐标，将车牌顶点从车牌坐标系转换到相机坐标系后，车牌顶点位于第一目标直线上，第一目标直线为基于轮廓边线的像素坐标，将轮廓边线从像素坐标系转换至相机坐标系后的直线。简单来说，就是相机已提前完成内参标定，轮廓边线从像素坐标系转换至相机坐标系后，轮廓边线在相机坐标系下的位置是准确的，那么作为轮廓边线上的车牌顶点基于第一相对位姿，从车牌坐标系转换到相机坐标系后，车牌顶点在相机坐标系下的位置应该是落在相机坐标系下的轮廓边线上的。如此，根据这个约束条件，可以求解得到第一相对位姿。

在一些实施例中，车牌顶点包括第一顶点、第二顶点、第三顶点和第四顶点，第二顶点与第三顶点位于车牌的同一条轮廓边线上。基于如下表达式构建几何约束方程：

其中，

分别表示第一顶点、第二顶点、第三顶点和第四顶点从像素坐标系转换至相机坐标系下的方向向量。

表示第二顶点和第三顶点所在的轮廓边线从像素坐标系转换至相机坐标系后的直线，

表示直线

的转置矩阵。

分别表示第一顶点、第二顶点、第三顶点和第四顶点在车牌坐标系下的坐标；

表示第一相对位姿。在一些实施例中，上述第一顶点、第二顶点、第三顶点和第四顶点不重合，可以为车牌的四个角点。

其中，上述约束方程中的第一方程表示：将第二顶点从像素坐标系转换至相机坐标系下的方向向量，叉乘第三顶点从像素坐标系转换至相机坐标系下的方向向量，可以在相机坐标系下确定一条直线

，为第二顶点和第三顶点所在的轮廓边线从像素坐标系转换至相机坐标系后的直线。

上述约束方程中的第二个和第三个方程表示：基于第一相对位姿，将第二顶点和第三顶点从车牌坐标系转换至相机坐标系后，需要位于直线

。

上述约束方程中的第四个和第五个方程表示：基于第一相对位姿，将第一顶点和第四顶点从车牌坐标系转换至相机坐标系后，需要与第一顶点和第四顶点从像素坐标系转换至相机坐标系下的点重合。

如此，结合点在直线上及对应点的投影误差联合建模求解，可以得到准确度较高的第一相对位姿。

在一些实施例中，第一相对位姿可以表示为

和

，其中，

表示车牌坐标系到相机坐标系的旋转矩阵，

表示车牌坐标系到相机坐标系的平移量。

可以表示为如下：

，其中，

为车牌坐标系到相机坐标系的旋转角度。

可以表示为如下：

，x、y和z分别表示车牌坐标系到相机坐标系的x轴平移量、y轴平移量、 z轴平移量。

在一些实施例中，轮廓边线包括多个轮廓像素点。确定第一相对位姿后，还可以基于第一相对位姿构建优化方程，对第一相对位姿进行修正，使优化方程满足如下约束条件：

将轮廓边线上的轮廓像素点从像素坐标系转换到相机坐标系下后，使轮廓像素点与第二目标直线的距离之和最小。其中，第二目标直线为根据第一相对位姿，将轮廓边线从车牌坐标系转换至相机坐标系下的直线。

在一些实施例中，基于上述几何约束方程求解出的第一相对位姿可以作为初始的第一相对位姿。利用轮廓边线上的轮廓像素点可以对初始的第一相对位姿进行修正。具体的，将轮廓边线上的多个轮廓像素点从像素坐标系转换到相机坐标系下，且根据第一相对位姿，将轮廓边线从车牌坐标系转换至相机坐标系下。然后在相机坐标系下，判断轮廓像素点是否落在轮廓边线上，以及轮廓像素点距离轮廓边线的远近，来判断初始的第一相对位姿的准确度。可以理解的是，若初始的第一相对位姿的准确度较高，表示根据第一相对位姿，将轮廓边线从车牌坐标系转换至相机坐标系下后，轮廓边线在相机坐标系下的位置较为准确，从而相机坐标系下的轮廓像素点应该全部或者大部分落在轮廓边线上，或者与轮廓边线的距离较近，即轮廓像素点与第二目标直线的距离之和较小。反之，若初始的第一相对位姿的准确度较低，则在相机坐标系下，轮廓像素点可能会大部分落在轮廓边线外，且距离轮廓边线的距离较远，即轮廓像素点与第二目标直线的距离之和较大。

基于此，可以修正第一相对位姿，并基于每次修正后新的第一相对位姿，重新将轮廓边线从车牌坐标系转换至相机坐标系下，计算轮廓像素点与第二目标直线的距离之和。如此，通过多次修正第一相对位姿，便可以得到多个相机坐标系下的轮廓像素点与第二目标直线的距离之和。在这多个结果中，可以选择距离之和最小时对应的第一相对位姿，作为最终的第一相对位姿。基于上述描述，上述轮廓像素点与第二目标直线的距离之和最小，是指将几何约束方程求解出的第一相对位姿作为初始的第一相对位姿，对第一相对位姿进行修订。基于初始的第一相对位姿和修订得到的每个第一相对位姿，分别将轮廓边线从车牌坐标系转换至相机坐标系下，并计算相机坐标系下轮廓像素点与第二目标直线的距离之和。在得到的多个表示距离之和的值中，选择取值最小的值。

在一些实施例中，可以基于如下表达式构建优化方程：

其中，

表示第一相对位姿，M表示轮廓边线的条数，N表示第k条轮廓边线上的轮廓像素点个数，

表示在车牌坐标系下的第k条轮廓边线，

表示第k条轮廓边线从车牌坐标系转换至相机坐标系下的直线，

和

表示第k条轮廓边线上第i个轮廓像素点的像素坐标转换至相机坐标系下的方向向量。通过对第一相对位姿进行优化，得到的值更加准确。

步骤S23，基于第一相对位姿以及自身车辆在世界坐标系下的位姿，确定目标车辆在世界坐标系下的位姿。

在一些实施例中，可以基于如下表达式，确定目标车辆在世界坐标系下的位姿：

其中，

表示目标车辆在世界坐标系下的位姿，

表示目标车辆到车牌的相对位姿，

表示自身车辆在世界坐标系下的位姿，

表示车牌到自身车辆的相对位姿，可以理解的是，

均可以通过一些常规技术计算得到，所以可以相当于已知量。比如，利用计算机视觉中针对多相机系统的相对位姿估计算法，计算两帧之间自身车体坐标系的相对位姿，并与车载惯性测量单元（IMU，Inertial Measurement Unit）和轮速计、全球定位系统（Global Positioning System，GPS）等信息进行融合，获得自身车辆在世界坐标系下的位姿

。

在一些实施例中，可以基于如下表达式，确定车牌到自身车辆的相对位姿

：

其中，

表示第一相对位姿，

表示相机到自身车辆的相对位姿。同理，

也可以通过一些常规技术手段计算得到，可以相当于已知量。而

可通过上述步骤S22计算得到。

如此，可以确定目标车辆在世界坐标系下的位姿

。

在本申请的一些实施例中，目标车辆的定位方法根据目标车辆的车牌在像素坐标系下的像素坐标以及在车牌坐标系下的坐标，构建对车牌到相机的第一相对位姿进行约束的几何约束方程，以实现第一相对位姿的求解和目标车辆在世界坐标系下的定位。该方法利用自身车辆的运动信息和多视图几何约束，可以不需要额外复杂的神经网络和先验模型，可支持在低算力平台部署运行并实现较快的检测速度，算法效率高。同时，无需使用激光雷达，仅需单目相机和常规车载传感器（例如IMU、轮速计）即可达到很高的准确度，普适性更广泛且成本低，准确度高。有利推动行业发展。

请参阅图4，为本申请的一个实施例提供的定位装置的模块示意图。定位装置包括：

数据处理单元，用于根据自身车辆的相机采集到的目标车辆图像，确定目标车辆的车牌在目标车辆图像中的像素坐标，以及车牌在车牌坐标系下的坐标。

方程构建单元，用于基于车牌的像素坐标和车牌在车牌坐标系下的坐标，构建对第一相对位姿进行约束的约束方程，并基于约束方程，确定第一相对位姿。

定位单元，用于基于第一相对位姿以及自身车辆在世界坐标系下的位姿，确定目标车辆在世界坐标系下的位姿。

请参阅图5，为本申请的一个实施例提供的定位系统的结构示意图。其中，定位系统包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的定位系统。

其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的定位系统。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。