CN109949364B

CN109949364B - 一种基于路侧单目摄像头的车辆姿态检测精度优化方法

Info

Publication number: CN109949364B
Application number: CN201910257098.1A
Authority: CN
Inventors: 李晶; 窦瑞
Original assignee: Shanghai Songhong Intelligent Automobile Technology Co ltd
Current assignee: Shanghai Songhong Intelligent Automobile Technology Co ltd
Priority date: 2019-04-01
Filing date: 2019-04-01
Publication date: 2023-04-11
Anticipated expiration: 2039-04-01
Also published as: CN109949364A

Abstract

本发明涉及一种基于路侧单目摄像头的车辆姿态检测精度优化方法，包括以下步骤：步骤1：由目标检测模型取得初始的矩形检测框，得到图片坐标系下检测框的四个顶点以及捕捉到目标的种类；步骤2：分割视频画面，划分出基准区域，根据车辆所处的区域以及像素坐标系与世界坐标系的转换，得到车辆的模糊姿态模型；步骤3：基于卡尔曼滤波追踪车辆，得到每辆车辆的行驶轨迹；步骤4：基于车辆的行驶轨迹，以及车辆模糊姿态模型得到车辆精确姿态模型；步骤5：将检测框输入精确车辆姿态模型，使得检测框变为特定的检测点，将其固定到不同姿态车辆的同一位置。与现有技术相比，本发明具有目标检测准确度更高，运算简单等优点。

Description

一种基于路侧单目摄像头的车辆姿态检测精度优化方法

技术领域

本发明涉及自动驾驶汽车测试技术领域，尤其是涉及一种基于路侧单目摄像头的车辆姿态检测精度优化方法。

背景技术

目标检测是一种利用深度学习网络自动分辨出现在视频或者照片上的目标物体的技术。将目标视频或者图片传入基于卷积神经网络经过训练的模型，模型将会在图像坐标系下输出目标的种类以及一个矩形检测框(矩形框框出目标的整体)。现有的目标检测模型经历rcnn、fast-rcnn、faster-rcnn、yolo、ssd、yolov3等等的开源模型已经拥有了极好的检出率以及实时率。

但随着应用场景的变化，开源模型所输出的矩形检测框已经不能满足在检测精度上的需求。例如在无人驾驶领域对虚拟bsm消息的需求，无人驾驶车辆会将自己的车辆信息编辑成bsm消息发送给所有其它的无人驾驶车辆，在bsm信息中包含有车辆位置信息，在高精地图的支持下精确度以达到了厘米级。如果想用普通车辆加目标检测技术产生虚拟bsm消息，为了匹配无人驾驶车辆的精度，则需要将检测框(对于车辆而言误差在米级)归一为检测点，在车辆不同姿态下将其标定到车辆的固定位置。现有方式多为使用双目摄像头，进而利用双目3D还原取得车辆姿态，但双目摄像头并未大量布设与路侧并且3D还原损耗的算力过高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于路侧单目摄像头的车辆姿态检测精度优化方法。

本发明的目的可以通过以下技术方案来实现：

一种基于路侧单目摄像头的车辆姿态检测精度优化方法，包括以下步骤：

步骤1：由目标检测模型取得初始的矩形检测框，得到图片坐标系下检测框的四个顶点以及捕捉到目标的种类；

步骤2：分割视频画面，划分出基准区域，根据车辆所处的区域以及像素坐标系与世界坐标系的转换，得到车辆的模糊姿态模型；

步骤3：基于卡尔曼滤波追踪车辆，得到每辆车辆的行驶轨迹；

步骤4：基于车辆的行驶轨迹，以及车辆模糊姿态模型得到车辆精确姿态模型；

步骤5：将检测框输入精确车辆姿态模型，使得检测框变为特定的检测点，将其固定到不同姿态车辆的同一位置。

进一步地，所述的步骤2包括以下分步骤：

步骤21：建立摄像机模型并还原像素坐标，得出检测目标的真实长宽比；

步骤22：根据检测目标在世界坐标系下的长宽比与真实长宽比相对比判断得出车辆的模糊姿态模型。

进一步地，所述步骤2中的基准区域包括正向直行区域、反向直行区域、左转区域和右转区域。

进一步地，所述步骤3中的行驶轨迹，其描述公式为：

式中，

表示根据上一状态推测而来的值，

为t-1时刻的估计值，F_t为状态转移矩阵，B_t为控制矩阵，u_t表示加速度。

进一步地，所述步骤4包括以下分步骤：

步骤41：判断比较检测框左下角点和右下角点各自像素坐标与上一帧之间横坐标差值的大小得出对应的状态改变量；

步骤42：根据对应的状态改变量得出对应的车辆姿态更新模型并进一步结合得出车辆精确姿态模型。

进一步地，所述步骤41具体包括：

当检测框左下角点的像素坐标与上一帧之间横坐标差值A大于所述检测框右下角点的像素坐标与上一帧之间横坐标差值B时，状态改变量为A-B；

当检测框左下角点的像素坐标与上一帧之间横坐标差值A小于所述检测框右下角点的像素坐标与上一帧之间横坐标差值B时，状态改变量为B-A；

当检测框左下角点的像素坐标与上一帧之间横坐标差值A等于所述检测框右下角点的像素坐标与上一帧之间横坐标差值B时，状态改变量为0或检测框左下角点与检测框右下角点之间像素坐标的正负横坐标差值。

进一步地，所述车辆姿态更新模型，其描述公式为：

H＝M/C

式中，H为状态更新量，M为状态改变量，C为检测框右下角点与检测框左下角点之间像素坐标的横坐标差值。

进一步地，所述步骤5包括以下分步骤：

步骤51：将摄像头当前帧检测框的信息传输至车辆姿态更新模型；

步骤52：添加利用优化数据处理公式实现像素坐标点的位置追踪，得出追踪点。

进一步地，该优化方法还包括步骤6：将追踪点带入GPS与像素坐标相互转化地图得出精确GPS坐标。

与现有技术相比，本发明具有以下优点：

(1)精确度高，本发明通过针对现有目标检测算法获得的检测框的四个顶点坐标先后进行帧数划分、卡尔曼滤波器处理、迭代算法更新车辆姿态信息等操作，使得检测框经过处理后的坐标信息更为准确，识别检测精确度更高。

(2)运算简单，本发明中通过对检测框的顶点坐标进行的相关数据处理包括由摄像机畸变校正得出长宽比并比较，通过卡尔曼滤波模型进行车辆状态追踪，以及进而利用先前的处理数据得出车辆精确姿态模型并在最后还原至图像像素中，以提升目标检测效果，整体计算流程简单不复杂。

附图说明

图1为本发明实施例的优化流程示意图；

图2为本发明的整体方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例：

如图1所示为本实施例的优化流程示意图，每一步的具体细节流程如下：

步骤1)在像素坐标系下每个点分别为P_n＝(μ_n，ν_n)，检测器输出的矩形检测框的四个顶点从左到右分别为P₀，P₁，P₂，P₃。利用这四个点计算出矩形检测框在像素坐标系下的长宽比T。

步骤2)初始的车辆姿态模型建立方法，分割图像为四种区域，正向直行区域A_head，反向直行区域A_back，左转区域A_left，右转区域A_right。利用车辆出现区域设立车辆行驶的初始状态，在此时的车辆检出框的长宽比为T_n。四种区中的长宽比分别为T_hp、T_bp、T_lp、T_rp。

分步骤21)建立摄像机模型，将像素坐标系还原成真实坐标系，得到检测目标的真实长宽比

参数设置：

O_w–X_wY_wZ_w：世界坐标系，描述相机设置，单位m

O_c–X_cY_cZ_c：相机坐标系光心为原点，单位m

o–xy：图像坐标系，光心为图像中点，单位mm

μν：像素坐标系，原点为图像左上角一点

p：世界坐标系上的一点，即为生活中的真实一点

ρ：点p在图像中的成像点，在图像坐标系下的坐标为(x，y)，在像素坐标系下为(μ，ν)

f：相机焦距，等于o与O_c的距离，f＝||o-O_c||

由摄像机畸变校正得摄像机内参矩阵与摄像机外参矩阵，其中：

内参矩阵：

外参矩阵：

将P₀＝(μ₀，ν₀)、P₁＝(μ₁，ν₁)、P₂＝(μ₂，ν₂)、P₃＝(μ₃，ν₃)四个图像坐标系下的真实点带入以下公式

得到：

O_w0，O_w1，O_w2，O_w3，即P₀，P₁，P₂，P₃在世界坐标下的对应点，从而得到检测框在世界坐标系下的长宽比。

分步骤22)设检测框在世界坐标系下的长宽比为V_car，V_truck,，V_bus，与物体真实状态下的长宽比为R_car，R_truck，R_bus

当V≈R时，此时车辆被认为正面朝向摄像头行驶,或者朝相反的方向运动。结合步骤2)中车辆出现区域确定车辆的运动方向。

当V的值满足条件时，设置为初始状态。

步骤3)当车辆运动时，该车在t时刻的状态设p_t为其当前的位置，v_t表示该车当前的速度。加速度u_t，u_t相当于是一个对车的控制量。显然，如果司机既没有踩油门也没有踩刹车，那么u_t就等于0。此时车就会做匀速直线运动。由此得到车辆位状态预测公式，

简化为：

而F就是状态转移矩阵，它表示我们如何从上一状态来推测当前状态。而B则是控制矩阵，它表示控制量u如何作用于当前状态。上式中x顶上的hat表示为估计值(而非真实值)。等式左端部分的右上标“-”表示该状态是根据上一状态推测而来的；

因为不但当前物体的状态(例如位置或者速度)是会(在每个时刻间)进行传递的，而且物体状态的不确定性也是会(在每个时刻间)进行传递的。这种不确定性的传递就可以用状态转移矩阵来表示。还应该考虑到，预测模型本身也并不绝对准确的，所以我们要引入一个协方差矩阵Q来表示预测模型本身的噪声；

对前面得出的状态估计进行修正，具体而言就是利用下面这个式子，

表示实际观察值与预估的观测值之间的残差。这个残差再乘以一个系数K就可以用来对估计值进行修正。

K称为卡尔曼系数，它也是一个矩阵，它是对残差的加权矩阵，称其为滤波增益阵。

最后，还需对最优估计值的噪声分布进行更新。所使用的公式为

通过上述的公式我们可以同时追踪不同帧上的同一目标物体，不同视频帧上的同一辆车将会被打上唯一ID。

步骤4)由唯一ID将每辆车在不同视频帧上的检测框进行记录对比他们的检测框在像素坐标上的改变，P0为检测框的左下角点，P3为检测框右下角点。它们在像素坐标下的值为(μ₀，ν₀)(μ₃，ν₃)。设它们在上一帧的值为(μ₀ ^-，ν₀ ^-)(μ₃ ^-，ν₃ ^-)。

当路侧监控摄像头布置道路正中，直面道路时的到车辆状态改变模型，状态更新量H＝M/(μ₃-μ₀)，改变方向由初始状态决定。状态改变阀值为u

如果u＝μ₀-μ₀ ^->μ₃-μ₃ ^-。记录他们的姿态改更新模型

当u＝μ₀-μ₀ ^-<μ₃-μ₃ ^-

当u＝μ₀-μ₀ ^-μ₃-μ₃ ^-

车辆姿态不变

步骤5)将摄像头当前帧检测框的信息传输进之前的车辆姿态更新模型，加入优化算法使检测框在像素坐标下转换为车头下前沿中心点，实现车头下前沿中心点的追踪。设

C^-为到上一帧为止车辆状态C加累计更新H⁺C^-＝C⁺H⁺。由摄像头安装角度产生的误差为a，a在每种初始状态下为常量。M⁺为车辆从初始位置到现在位置累计的改变量。

算法公式如下

实际演示测试例如下：

步骤一布置摄像头，摄像头布设高度为六米，与地面呈现70度夹角。摄像头通过网线直接连接到服务器上。服务器通过rtsp协议获取摄像头数据。

步骤二获取的视频流传入预先训练好的深度学习目标检测网络，当测试车辆出现在视频捕捉区域以内时检测器开始工作，形成一个检测框圈出车辆整体。检测框四个顶点的值分别为左上角P₁，左下角P₀，右上角P₂，右下角P₃。取其中一个检测框为例，其大小为P₁(μ₁＝568，ν₁＝786)，P₀(μ₀＝565，ν₀＝823)，P₂(μ₂＝609，ν₂＝781)，P₃(μ₃＝611，ν₃＝821)。

步骤三把参数带入相机模型,相机模型由图片畸变矫正得来

内参矩阵中：

f_x＝5.3808563111306648e+02，f_y＝5.3808563111306648e+02

u₀＝3.3835479559418872e+02，v₀＝2.3777463358152289e+02

外参矩阵中：

R是一个3*3的矩阵：

-0.03456、0.973435、-0.20375

0.998234、0.003445、-0.051994

-0.045538、-0.232314、-0.942441

T是一个1*3的矩阵：

-2.000423

-2.167796

0.273221

带入模型时得到真实的长宽比1.42:1。

步骤四划分区域设置阀值：

照片的区域区间划分：

A_head＝[300:800，500:1800]

A_back＝[900:1700，500:1800]

A_left＝[1530:1700，1200:1800]

A_right＝[300:400，1200:1800]

将P₀点的像素坐标值带入区间矩阵确认位置。

带入目标物体的实际长宽比，与长高比作为阀值即为预设初始状态时的理论值：

目标物体	实际长高比(车宽/车高)	实际长宽比(车长/车高)
			Car	1.5:1	2:1
Truck	1.2:1	2.5:1
			Bus	1.1:1	3:1

真实状况下计算出的目标，在误差为正负0.15时认为达到初始状态。

使用测试车辆为一辆普通SUV在各区域的实测值为：

这里P₀(μ₀＝565，ν₀＝823)，真实的长宽比1.42:1.

得到：

车辆状态	初始状态模型
		迎向摄像头直行	C1

步骤五将这一帧所有检出框的数据输入卡尔曼滤波追踪器：

卡尔曼滤波器的递归过程估计时刻k的状态：

X(k)＝A*X(k-1)+B*u(k)这里u(k)是系统输入计算误差相关矩阵P，度量估计值的精确程度：P(k)＝A*P(k-1)*A’+Q

这里，Q＝E{Wj^2}是系统噪声的协方差阵，即系统框图中的Wj的协方差阵,Q应该是不断变化的，为了简化，当作一个常数矩阵。

计算卡尔曼增益,以下略去(k)，即P＝P(k)，X＝X(k)：

K＝P*C’*(C*P*C’+R)-1这里R＝E{Vj^2}，是测量噪声的协方差(阵)，即系统框图中的Vj的协方差，为了简化，也当作一个常数矩阵。由于系统一般是单输入单输出，所以R是一个1x1的矩阵，即一个常数，上面的公式可以简化为:K＝P*C’/(C*P*C’+R)

状态变量反馈的误差量：

e＝Z(k)–C*X(k)

这里的Z(k)是带噪声的测量量更新误差相关矩阵P

P＝P–K*C*P更新状态变量：

X＝X+K*e＝X+K*(Z(k)–C*X(k))

最后的输出：Y＝C*X

更具上述过程，给每一帧上的同一辆车打上唯一ID，这样每一帧上同一辆车的数据可以相互关联起来。

步骤六将前后两帧的数据带入归一模型：

得到车头唯一点的坐标为：

P₀₀＝(μ₀₀＝525，ν₀₀＝823)

步骤七将这个点带入gps与像素坐标相互转换地图得到精确的gps坐标；

结果：

综上所述，本发明的方法流程如图2所示，包括以下步骤：

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于路侧单目摄像头的车辆姿态检测精度优化方法，其特征在于，包括以下步骤：

步骤5：将检测框输入精确车辆姿态模型，使得检测框变为特定的检测点，将其固定到不同姿态车辆的同一位置；

所述的步骤2包括以下分步骤：

步骤22：根据检测目标在世界坐标系下的长宽比与真实长宽比相对比判断得出车辆的模糊姿态模型；

所述步骤4包括以下分步骤：

2.根据权利要求1所述的一种基于路侧单目摄像头的车辆姿态检测精度优化方法，所述步骤2中的基准区域包括正向直行区域、反向直行区域、左转区域和右转区域。

3.根据权利要求1所述的一种基于路侧单目摄像头的车辆姿态检测精度优化方法，所述步骤3中的行驶轨迹，其描述公式为：

式中，

表示根据上一状态推测而来的值，

4.根据权利要求1所述的一种基于路侧单目摄像头的车辆姿态检测精度优化方法，所述步骤41具体包括：

5.根据权利要求4所述的一种基于路侧单目摄像头的车辆姿态检测精度优化方法，所述车辆姿态更新模型，其描述公式为：

H＝M/C

6.根据权利要求1所述的一种基于路侧单目摄像头的车辆姿态检测精度优化方法，所述步骤5包括以下分步骤：

7.根据权利要求6所述的一种基于路侧单目摄像头的车辆姿态检测精度优化方法，该优化方法还包括步骤6：将追踪点带入GPS与像素坐标相互转化地图得出精确GPS坐标。