CN110148169B - 一种基于ptz云台相机的车辆目标三维信息获取方法 - Google Patents

Abstract

本发明公开了一种基于PTZ云台相机的车辆目标三维信息获取方法，在视频帧中通过深度学习的方法对车辆目标进行识别，获取车辆目标的三维包络基准点在图像坐标系下的坐标，根据坐标信息结合地平线的约束绘制出最贴合车辆目标的三维包络框，再利用标定结果计算出车辆目标的三维尺寸信息，完成车辆目标的三维信息获取。本发明可适应不同的道路交通场景，利用云台摄像机提取场景中大量车辆目标完成三维信息获取的过程。方法实现简单，通用性好，可以应用于各种道路场景下的三维信息获取，并且结果较为准确。

Description

一种基于PTZ云台相机的车辆目标三维信息获取方法

技术领域

本发明属于智能交通技术领域，具体涉及一种基于PTZ云台相机的车辆目标三维信息获取方法。

背景技术

车辆三维信息主要是指车辆的整体形状、尺寸和空间位置，以及各部分的局部细节信息等，以往的获取方法主要有接触测量和图像雷达等，这些方法在技术上比较成熟，但是在检测速度、精度等方面有诸多缺陷。近年来，随着电子技术和计算机技术的迅猛发展，车辆三维信息的获取大多都是基于计算机视觉理论，识别出图像上的二维特征点进而恢复出它们的三维空间位置，并对这些信息进行描述和理解，进一步得到车辆的大小尺寸、形状等感兴趣的三维信息。要实现上述功能，目标检测和摄像机标定是必不可少的两个步骤，通过目标检测可以确定车辆在图像上的具体位置，再通过标定确定三维世界坐标和二维图像坐标之间的转换关系，就可以获取车辆的三维信息。

在计算机视觉领域，传统的目标检测方法有混合高斯背景建模法，该方法实时性较好，但是对于车辆之间相互遮挡或者车辆目标与背景颜色相似等情况时很容易造成误检测，而且不能很好地处理快速的光照变化和阴影问题。

发明内容

针对现有技术中的缺陷和不足，本发明提供了一种基于PTZ云台相机的车辆目标三维信息获取方法，克服现有车辆目标三维信息获取方法的通用性不强以及目标检测不准等缺陷。

为达到上述目的，本发明采取如下的技术方案：

本发明提供一种基于PTZ云台相机的车辆目标三维信息获取方法，该方法包括如下步骤：

步骤1，PTZ云台摄像机模型和坐标系的建立：

步骤1.1，建立世界坐标系、摄像机坐标系、图像坐标系和摄像机模型，其中将摄像机模型简化为针孔模型；

步骤1.2，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系；

步骤2，地平线的识别及标定结果的计算：

步骤2.1，将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点；

步骤2.2，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标；

步骤2.3，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果；

步骤3，车辆目标的检测：

使用深度学习的方法对车辆目标进行检测，获取车辆目标三维包络基准点在图像坐标系下的坐标；

步骤4，车辆目标三维包络框的绘制及三维尺寸信息的计算：

步骤4.1，根据步骤3中的车辆目标三维包络基准点信息与步骤2.3中的地平线约束，绘制车辆目标三维包络框；

步骤4.2，根据步骤4.1中绘制的三维包络框和步骤2.3中的标定结果计算车辆目标的三维尺寸信息。

本发明还包括如下技术特征：

可选地，所述的步骤1.2中，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系，包括：

世界坐标系中的坐标：x＝[x y z 1]^T，图像坐标系中的坐标：p＝[αu αv α]^T，α≠0；其中x，y，z为世界坐标系中的坐标在x，y，z三个轴上的值，u，v为世界坐标系中的坐标在图像坐标系中对应u，v两个轴上的值，α为图像坐标系中坐标的一个分量；

从世界坐标系到图像坐标系的投影方程为：

p＝KRTx

其中K，R，T分别代表内参矩阵，旋转矩阵和平移矩阵；将K，R，T代入到投影方程中可得到展开的投影模型；设图像中任意一点的世界坐标为(x，y，z)，则世界坐标系的点与图像坐标系的点的投影关系为：

可选地，所述的步骤2.1中，钻石空间的方法是将无穷的图像域变换到有限的菱形域的一种方法；有限的菱形域形状似钻石，因此称之为钻石空间；将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点，包括：

假设图像坐标系中的直线方程为：ax+by+c＝0，其在钻石空间映射为折线组，映射关系如下：

其中，a，b，c为直线一般方程的三个参数，三个参数均为常数，sgn为符号函数，下标o表示为图像坐标系。

可选地，所述的步骤2.2中，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标，包括：

用钻石空间的方法将无穷的图像域变换到有限的菱形域中，建立起图像空间和钻石空间的映射关系，d代表钻石空间y半轴长度，D代表钻石空间x半轴长度；利用钻石空间中点[x，y，w]_d和图像空间中点[x，y，w]_o互相转换的变换公式可以完成映射：

[x，y，w]_o→[-dDw，-dx，sgn(xy)x+y+sgn(y)dw]_d

[x，y，w]_d→[Dy，sgn(x)dx+sgn(y)Dy-dDw，x]_o

其中，w为图像坐标系中坐标的一个分量，下标o为图像坐标系，下标d为钻石空间；将钻石空间中折线组的交点根据上述的变换公式变换到图像空间中，即求得准确的消失点坐标。

可选地，所述的步骤2.3中，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果，包括：

(1)确定地平线：

引入路面延伸方向的消失点(u₀，v₀)，和垂直方向形成的消失点(u₁，v₁)，容易求得地平线的斜率

地平线的直线方程如下：

y＝K_h·x+b_h (5)

其中b_h＝v₀-K_h·u₀；

(2)计算标定结果：

(2-1)相机高度h已知的情况：

y轴与路面延伸方向夹角为θ，可知世界坐标系中路面延伸方向无穷远点坐标为x₀＝[-tanθ 1 0 0]^T，垂直方向无穷远点坐标为x₁＝[1 tanθ 0 0]^T，由消失点原理可知，(u₀，v₀)及(u₁，v₁)为x₀与x₁在图像空间中的投影；将坐标代入(1)、(2)式中化简可得以下结果：

令v₁＝v₀，对上述公式进行变换，可得到f，φ及θ的表达式：

结合(6)、(7)、(8)式由两个互垂直消失点坐标可以求得f，φ，θ，由于h已知，因此完成标定过程；

(2-2)相机高度h未知的情况：

设道路虚线标识的物理长度为l，虚线端点物理纵坐标及像素坐标分别设为：y_b和y_f，v_b和v_f；道路物理宽度为w，与图像坐标系横坐标截距像素长度为δ；

由(3)式令z＝0可以反算出物理坐标y的表示形式：

物理坐标y与对应像素横坐标u无关，因此对于道路任意位置与道路方向平行的虚线l，可建立等式关系：y_b＝y_f+lcosθ；用两种方式将y_f表达出来进行联立，求解出h：

将(4)式中的条件

代入，可得关于h的表达式：

其中为计算方便引入中间变量τ＝(v_f-v₀)(v_b-v₀)/(v_f-v_b)；

由上述推导可知虚线标识l可以间接表示相机高度h，结合(6)、(7)、(8)式由两个互垂直消失点坐标可以求得f，φ，θ，所有未知参数f，φ，θ及h都已求解，因此完成标定过程。

所述的步骤3中，车辆目标三维包络基准点在图像坐标系下的坐标是车辆目标左下角或者右下角在图像坐标系下的坐标；

通过深度学习的方法可以获取车辆目标在图像坐标系中的中心点坐标(x，y)、宽度w、高度h和类别信息，在此基础上可以计算出车辆目标检测出的二维框的四个角点坐标

分别为P_{2d_0}＝(x-w/2，y+h/2)，P_{2d_1}＝(x+w/2，y+h/2)，P_{2d_2}＝(x+w/2，y-h/2)，P_{2d_3}＝(x-w/2，y-h/2)。

所述步骤4.1包括如下过程：

车辆目标的三维包络框模型顶点序号为0到7，序号0即车辆目标的三维包络基准点，根据车辆目标的类型，确定车辆目标初始的物理三维尺寸length，width，height，分别设定0到7号点在世界坐标系下对应的坐标，记为：PW_i＝(pwx_i，pwy_i)，i＝0，1，…，7，通过步骤1中的式(1)(2)可以计算出它们在图像坐标系下对应的坐标，记为：PI_j＝(pix_j，piy_j)，j＝0，1，…，7。

地平线的约束如下：

车流方向的消失点坐标为(u₀，v₀)，与车流方向垂直方向的消失点坐标为(u₁，v₁)，车辆目标三维包络框的边必须与地平线交于消失点，记车流方向消失点斜率

垂直方向消失点斜率

可以写出点斜式方程：

y＝KH_j·x+BH_j (11)

y＝KV_j·x+BV_j (12)

其中BH_j＝v₀-KH_j·u₀，BV_j＝v₁-KV_j·u₁，j＝0，1，…，7；

首先对0到7号点的图像坐标判断是否满足地平线的约束，如满足则不需要调整坐标，如不满足则需要使用(11)(12)式对坐标进行调整，将调整后的所有坐标点以车辆目标左下角为原点在视频帧图像中绘制出12条边，进而完成对车辆目标最贴合三维包络框的绘制。

所述步骤4.2包括如下过程：

车辆目标三维包络的基准点选取为车辆目标二维框在图像坐标系下的左下角点，即P_target＝P_{2d_0}，因此车辆目标二维框在图像坐标系下的对角线长度为

由公式(3)(4)可以计算出基准点在世界坐标系下的坐标：PW₀＝(pwx₀，pwy₀，0)，由地平线约束再额外再选取三维框对应的1，3，7点，对应的世界坐标为：PW₁＝(pwx₀+width，pwy₀，0)，PW₃＝(pwx₀，pwy₀+length，0)，PW₇＝(pwx₀，pwy₀+length，height)，通过公式(1)(2)可以将这三个点的世界坐标转换为图像坐标，根据地平线的约束公式(6)(7)对图像坐标进行调整，调整后的图像坐标分别为PIx₁＝(pix₁，piy₁)，PIx₃＝(pix₃，piy₃)，PIx₇＝(pix₇，piy₇)，由此可以计算出车辆目标三维框在图像坐标系下的对角线长度为

车辆三维信息识别等价于获取车辆三维信息X＝(length，width，height)，length代表车长，width代表车宽，height代表车高。构造公式：

将上述公式记为代价函数，设同一车辆目标在视频帧中出现的次数为N，

表示每一组车辆目标条件下由待估计参数X表示的二维框与三维框对角线长度的归一化误差，

表示求出使得公式(10)最小的待估计参数X的值。初始值X₀＝(length0，width0，height0)为利用车辆目标的类别根据国家标准设置的车辆的初始三维信息。

本发明与现有技术相比，有益的技术效果是：

本发明的方法实现简单，可以应用于各种道路场景下的车辆目标三维信息获取，保证道路云监控环境下的通用性，满足智能交通监控系统中准确获取交通参数的需求。使用深度学习的方法对车辆目标进行检测的方法，因为其稳定性和精度都很高，具有较为广泛的应用。

附图说明

图1为本发明提供的车辆三维信息获取方法流程图；

图2为本发明中摄像机模型的坐标系的示意图；其中，(a)为摄像机模型的世界坐标系的侧视图，(b)为摄像机模型的相机坐标系的俯视图；

图3为本发明中标定条件在坐标系下的表示示意图；其中，(a)为标定条件在世界坐标系下的表示示意图，(b)为标定条件在图像坐标系下的表示示意图；

图4为本发明中图像空间和钻石空间的映射关系图；

图5为本发明实施例所采用的交通场景原始视频图像；

图6为本发明实施例所采用的交通场景地平线示意图；

图7为本发明实施例中在原始图像中进行车辆目标检测的图像；

图8为本发明实施例在原始图像中进行车辆目标三维包络的图像；

图9为本发明车辆目标二维与三维框模型图。

具体实施方式

以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明利用深度学习的方法对车辆目标进行识别，同时利用地平线的约束和相机标定的结果，进行车辆目标三维信息的获取。采用基于两个消失点的方法进行标定，在实际道路场景中，由两个消失点的条件确定地平线，作为获取车辆三维尺寸信息的约束，这些参数在道路环境中很容易获取，这充分保证了此方法在此场景下的通用性。

如图1至图9所示，本发明公开了一种基于PTZ云台相机的车辆目标三维信息获取方法，详细步骤如下：

步骤1，摄像机模型和坐标系的建立

步骤1.1，建立世界坐标系O-XYZ、相机坐标系O-X_CY_CZ_C、图像坐标系O-UV和摄像机模型；

摄像机模型简化为针孔模型，并且主点与图像中心重合，成像平面与光轴垂直，内参数只有焦距是未确定的，观测路面为平直的。如图2(a)和(b)所示为道路场景下摄像机空间模型的示意图。为方便后续分析，设相机焦距为f，相机原点距离地面高度为h，相机俯仰角为φ，相机偏转角(相机光轴在路平面投影与道路延伸方向的夹角)为θ，由于相机自旋角可以通过简单的图像旋转进行表示，并且对于标定结果无影响，因此不予考虑。

设所建坐标系均为右手系。建立世界坐标系，坐标系包含x，y，z轴，原点位于相机在路面的投影点，z轴垂直于地面方向向上，图2的(a)侧视图中可以看出，x轴指向纸内，用

表示，y轴垂直于xoz平面，图2的(b)俯视图中可以看出，z轴指向纸外，用⊙表示；建立相机坐标系，坐标系包含x_c，y_c，z_c，原点位于相机所处位置，x_c轴与世界坐标系下的x轴平行，z_c轴正向沿着相机的光轴指向地面，y_c轴垂直于x_coz_c平面指向地面。图中的主点为r点，为z_c轴延伸至与地面的交点，根据图2中的角度关系，r点在世界坐标系下的坐标为(0，hcotφ，0)；建立图像坐标系，以r点为原点，水平向右为u轴，垂直向下为v轴。所述的图像坐标系为图像平面坐标系。

步骤1.2，将相机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系；

世界坐标系中的坐标：x＝[x y z 1]^T，图像坐标系中的坐标：p＝[αu αv α]^T，α≠0。其中x，y，z为世界坐标系中的坐标在x，y，z三个轴上的值，u，v为世界坐标系中的坐标在图像坐标系中对应u，v两个轴上的值，α为图像坐标系中坐标的一个分量。从世界坐标系到图像坐标系的投影方程为：

p＝KRTx

其中K，R，T分别代表内参矩阵，旋转矩阵和平移矩阵。

将K，R，T代入到投影方程中可得到展开的投影模型。

设图像上任意一点的世界坐标为(x，y，z)，可以把空间点与图像点(世界坐标系的点与图像坐标系的点)的投影关系简化，世界坐标系的点与图像坐标系的点的投影关系为：

步骤2，地平线的识别及标定结果的计算

步骤2.1，将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点；

本方案中，图像坐标系中的直线有几个交点，转换到钻石空间(出处：RealProjective Plane Mapping for Detection of Orthogonal Vanishing Points)中对应的也是相同数量的交点。

假设图像坐标系中的直线方程为：ax+by+c＝0，其在钻石空间映射为折线组，映射关系如下：

其中，a，b，c为直线一般方程的三个参数，三个参数均为常数，sgn为符号函数，下标o表示为图像坐标系。

将图像空间中存在直线映射到钻石空间是为了将图像坐标系下的无穷直线转换到钻石空间中的有限折线，从而求取消失点。

步骤2.2，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标；

为了求取准确的消失点坐标，采用钻石空间的方法将无穷的图像域变换到有限的菱形域中，建立起图像空间和钻石空间的映射关系。如图4所示，d代表钻石空间y半轴长度，D代表钻石空间x半轴长度，原图像域中无穷的空间被映射到了有穷的菱形区域内，图4中的虚线表示分布在图像域四个象限的无穷远点，以及不同的坐标轴在钻石空间对应的映射关系。则通过钻石空间中点[x，y，w]_d和图像空间中点[x，y，w]_o互相转换的变换公式可以完成映射：

[x，y，w]_o→[-dDw，-dx，sgn(xy)x+y+sgn(y)dw]_d

[x，y，w]_d→[Dy，sgn(x)dx+sgn(y)Dy-dDw，x]_o

其中，w为图像坐标系中坐标的一个分量，下标o为图像坐标系，下标d为钻石空间。

类似霍夫变换中的投票原则，图像空间中多条平行直线的交点在钻石空间中变为折线组的交点，将钻石空间中折线组的交点根据上述的变换公式变换到图像空间中，即求得准确的消失点坐标。

步骤2.3，根据步骤2.2得到两个互垂直的消失点坐标以确定地平线，并且计算标定结果。

确定地平线：如图6所示，由两个互垂直的消失点坐标(u₀，v₀)和(u₁，v₁)，可求得地平线的斜率K_h，进而得到地平线的点斜式方程：

y＝K_h·x+b_h (5)

其中b_h＝v₀-K_h·u₀。

相机标定：

相机高度h已知的情况：将世界坐标系中路面延伸方向无穷远点坐标和垂直方向无穷远点坐标代入步骤1的式1和式2中，得到f，φ及θ的表达式，完成标定。

相机高度h未知的情况：引入道路物理线段长度l的两个端点的世界坐标的y轴坐标y_b，y_f，通过f，φ及θ的表达式计算出相机高度h与长度l的表达式，完成标定。

步骤3，车辆目标的检测

如图7所示，采用深度学习的方法，读取预训练的模型对视频帧中的车辆目标进行检测，获取车辆目标在图像坐标系中的中心点坐标(x，y)、宽度w、高度h和类别信息，在此基础上可以计算出车辆目标检测出的二维框的四个角点坐标

分别为P_{2d_0}＝(x-w/2，y+h/2)，P_{2d_1}＝(x+w/2，y+h/2)，P_{2d_2}＝(x+w/2，y-h/2)，P_{2d_3}＝(x-w/2，y-h/2)，并且将这些信息显示在视频帧上并保存至XML文件中便于后续三维包络框的绘制。

步骤4，车辆目标最贴合三维包络框的绘制及三维尺寸信息的计算

步骤4.1，根据步骤3中的车辆目标三维包络基准点信息与步骤2.3中的地平线约束绘制车辆三维包络框；

如图9所示，车辆目标的三维包络框模型顶点序号为0到7，序号0即车辆目标的三维包络基准点。根据图7中检测出来的车辆目标的类型(Car/Truck)，确定车辆目标初始的物理三维尺寸length，width，height，分别设定0到7号点在世界坐标系下对应的坐标，记为：PW_i＝(pwx_i，pwy_i)，i＝0，1，…，7，通过步骤1中的式(1)(2)可以计算出它们在图像坐标系下对应的坐标，记为：PI_j＝(pix_j，piy_j)，j＝0，1，…，7。

地平线的约束如下：

车流方向的消失点坐标为(u₀，v₀)，与车流方向垂直方向的消失点坐标为(u₁，v₁)，车辆目标三维包络框的边必须与地平线交于消失点，记车流方向消失点斜率

垂直方向消失点斜率

可以写出点斜式方程：

y＝KH_j·x+BH_j (11)

y＝KV_j·x+BV_j (12)

其中BH_j＝v₀-KH_j·u₀，BV_j＝v₁-KV_j·u₁，j＝0，1，…，7；

首先对0到7号点的图像坐标判断是否满足地平线的约束，如满足则不需要调整坐标，如不满足则需要使用(11)(12)式对坐标进行调整，将调整后的所有坐标点以车辆目标左下角为原点在视频帧图像中绘制出12条边，进而完成对车辆目标最贴合三维包络框的绘制。

步骤4.2，根据步骤4.1中绘制的最贴合三维包络框和步骤2.3中的标定结果计算车辆目标的三维尺寸信息；

如图9所示，为车辆目标二维与三维框模型图，车辆目标三维包络的基准点选取为车辆目标二维框在图像坐标系下的左下角点，即P_target＝P_{2d_0}，因此车辆目标二维框在图像坐标系下的对角线长度为

由公式(3)(4)可以计算出基准点在世界坐标系下的坐标：PW₀＝(pwx₀，pwy₀，0)，由地平线约束再额外再选取三维框对应的1，3，7点，对应的世界坐标为：PW₁＝(pwx₀+width，pwy₀，0)，PW₃＝(pwx₀，pwy₀+length，0)，PW₇＝(pwx₀，pwy₀+length，height)，通过公式(1)(2)可以将这三个点的世界坐标转换为图像坐标，根据地平线的约束公式(6)(7)对图像坐标进行调整，调整后的图像坐标分别为PIx₁＝(pix₁，piy₁)，PIx₃＝(pix₃，piy₃)，PIx₇＝(pix₇，piy₇)，由此可以计算出车辆目标三维框在图像坐标系下的对角线长度为

车辆三维信息识别等价于获取车辆三维信息X＝(length，width，height)，length代表车长，width代表车宽，height代表车高。构造公式：

将上述公式记为代价函数，设同一车辆目标在视频帧中出现的次数为N，

表示每一组车辆目标条件下由待估计参数X表示的二维框与三维框对角线长度的归一化误差，

表示求出使得公式(10)最小的待估计参数X的值。初始值X₀＝(length0，width0，height0)为利用车辆目标的类别根据国家标准设置的车辆的初始三维信息。

为了验证本发明所提出方法的有效性，本发明的一个实施例采用了以图5所示的实际道路交通场景图像，在此实际交通场景中识别出两个互垂直的消失点、地平线，如图6所示，并且对摄像机进行了标定。在此基础上，通过深度学习的方法对车辆目标进行检测，获取车辆目标的三维包络基准点在图像坐标系中的坐标，如图7所示，结合地平线的约束和标定结果绘制出车辆目标的最贴合三维包络框，进而计算出车辆目标的三维尺寸信息。

实验结果表明，通过本方法识别出的地平线和车辆目标，结合标定条件，能够完成车辆目标三维信息获取。获取的三维信息如表1所示。实验结果说明本方法完全能够满足道路交通场景下车辆目标三维信息获取的精度要求，该实验在一定程度上证明了本发明所提出方法的有效性。

表1基于互垂直消失点检测地平线和车辆目标的车辆目标三维信息获取结果

Claims (8)

1.一种基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，该方法包括如下步骤：

步骤1，PTZ云台摄像机模型和坐标系的建立：

步骤1.1，建立世界坐标系、摄像机坐标系、图像坐标系和摄像机模型，其中将摄像机模型简化为针孔模型；

步骤1.2，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系；

步骤2，地平线的识别及标定结果的计算：

步骤2.1，将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点；

步骤2.2，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标；

步骤2.3，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果；

步骤3，车辆目标的检测：

使用深度学习的方法对车辆目标进行检测，获取车辆目标三维包络基准点在图像坐标系下的坐标；

步骤4，车辆目标三维包络框的绘制及三维尺寸信息的计算：

步骤4.1，根据步骤3中的车辆目标三维包络基准点信息与步骤2.3中的地平线约束，绘制车辆目标三维包络框；

步骤4.2，根据步骤4.1中绘制的三维包络框和步骤2.3中的标定结果计算车辆目标的三维尺寸信息。

2.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤1.2中，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系，包括：

世界坐标系中的坐标：x＝[x y z 1]^T，图像坐标系中的坐标：p＝[αu αv α]^T，α≠0；其中x，y，z为世界坐标系中的坐标在x，y，z三个轴上的值，u，v为世界坐标系中的坐标在图像坐标系中对应u，v两个轴上的值，α为图像坐标系中坐标的一个分量；

从世界坐标系到图像坐标系的投影方程为：

p＝KRTx

其中K，R，T分别代表内参矩阵，旋转矩阵和平移矩阵；将K，R，T代入到投影方程中可得到展开的投影模型；设图像中任意一点的世界坐标为(x，y，z)，则世界坐标系的点与图像坐标系的点的投影关系为：

3.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤2.1中，钻石空间的方法是将无穷的图像域变换到有限的菱形域的一种方法；

将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点，包括：

假设图像坐标系中的直线方程为：ax+by+c＝0，其在钻石空间映射为折线组，映射关系如下：

其中，a，b，c为直线一般方程的三个参数，三个参数均为常数，sgn为符号函数，下标o表示为图像坐标系。

4.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤2.2中，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标，包括：

用钻石空间的方法将无穷的图像域变换到有限的菱形域中，建立起图像空间和钻石空间的映射关系，d代表钻石空间y半轴长度，D代表钻石空间x半轴长度；利用钻石空间中点[x，y，w]_d和图像空间中点[x，y，w]_o互相转换的变换公式可以完成映射：

[x，y，w]_o→[-dDw，-dx，sgn(xy)x+y+sgn(y)dw]_d

[x，y，w]_d→[Dy，sgn(x)dx+sgn(y)Dy-dDw，x]_o

其中，w为图像坐标系中坐标的一个分量，下标o为图像坐标系，下标d为钻石空间；将钻石空间中折线组的交点根据上述的变换公式变换到图像空间中，即求得准确的消失点坐标。

5.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤2.3中，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果，包括：

(1)确定地平线：

引入路面延伸方向的消失点(u₀，v₀)，和垂直方向形成的消失点(u₁，v₁)，容易求得地平线的斜率

地平线的直线方程如下：

y＝K_h·x+b_h (5)

其中b_h＝v₀-K_h·u₀；

(2)计算标定结果：

(2-1)相机高度h已知的情况：

y轴与路面延伸方向夹角为θ，可知世界坐标系中路面延伸方向无穷远点坐标为x₀＝[-tanθ 1 0 0]^T，垂直方向无穷远点坐标为x₁＝[1 tanθ 0 0]^T，由消失点原理可知，(u₀，v₀)及(u₁，v₁)为x₀与x₁在图像空间中的投影；将坐标代入(1)、(2)式中化简可得以下结果：

令v₁＝v₀，对上述公式进行变换，可得到f，φ及θ的表达式：

结合(6)、(7)、(8)式由两个互垂直消失点坐标可以求得f，φ，θ，由于h已知，因此完成标定过程；

(2-2)相机高度h未知的情况：

设道路虚线标识的物理长度为l，虚线端点物理纵坐标及像素坐标分别设为：y_b和y_f，v_b和v_f；道路物理宽度为w，与图像坐标系横坐标截距像素长度为δ；

由(3)式令z＝0可以反算出物理坐标y的表示形式：

物理坐标y与对应像素横坐标u无关，因此对于道路任意位置与道路方向平行的虚线l，可建立等式关系：y_b＝y_f+lcosθ；用两种方式将y_f表达出来进行联立，求解出h：

将(4)式中的条件

代入，可得关于h的表达式：

其中为计算方便引入中间变量τ＝(v_f-v₀)(v_b-v₀)/(v_f-v_b)；

由上述推导可知虚线标识l可以间接表示相机高度h，结合(6)、(7)、(8)式由两个互垂直消失点坐标可以求得f，φ，θ，所有未知参数f，φ，θ及h都已求解，因此完成标定过程。

6.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤3中，车辆目标三维包络基准点在图像坐标系下的坐标是车辆目标二维框左下角点或者右下角点在图像坐标系下的坐标；

通过深度学习的方法可以获取车辆目标在图像坐标系中的中心点坐标(x，y)、宽度w、高度h和类别信息，在此基础上可以计算出车辆目标检测出的二维框的四个角点坐标

分别为P_{2d_0}＝(x-w/2，y+h/2)，P_{2d_1}＝(x+w/2，y+h/2)，P_{2d_2}＝(x+w/2，y-h/2)，P_{2d_3}＝(x-w/2，y-h/2)。

7.如权利要求2所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述步骤4.1包括如下过程：

车辆目标的三维包络框模型顶点序号为0到7，序号0即车辆目标的三维包络基准点，根据车辆目标的类型，确定车辆目标初始的物理三维尺寸length，width，height，分别设定0到7号点在世界坐标系下对应的坐标，记为：PW_i＝(pwx_i，pwy_i)，i＝0，1，…，7，通过步骤1中的式(1)(2)可以计算出它们在图像坐标系下对应的坐标，记为：PI_j＝(pix_j，piy_j)，j＝0，1，…，7；

地平线的约束如下：

车流方向的消失点坐标为(u₀，v₀)，与车流方向垂直方向的消失点坐标为(u₁，v₁)，车辆目标三维包络框的边必须与地平线交于消失点，记车流方向消失点斜率

垂直方向消失点斜率

可以写出点斜式方程：

y＝KH_j·x+BH_j (11)

y＝KV_j·x+BV_j (12)

其中BH_j＝v₀-KH_j·u₀，BV_j＝v₁-KV_j·u₁，j＝0，1，…，7；

首先对0到7号点的图像坐标判断是否满足地平线的约束，如满足则不需要调整坐标，如不满足则需要使用(11)(12)式对坐标进行调整，将调整后的所有坐标点以车辆三维包络基准点为原点在视频帧图像中绘制出12条边，进而完成对车辆目标最贴合三维包络框的绘制。

8.如权利要求7所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述步骤4.2包括如下过程：

车辆目标三维包络的基准点选取为车辆目标二维框在图像坐标系下的左下角点，即P_target＝P_{2d_0}，因此车辆目标二维框在图像坐标系下的对角线长度为

由公式(3)(4)可以计算出基准点在世界坐标系下的坐标：PW₀＝(pwx₀，pwy₀，0)，由地平线约束再额外再选取三维框对应的1，3，7点，对应的世界坐标为：PW₁＝(pwx₀+width，pwy₀，0)，PW₃＝(pwx₀，pwy₀+length，0)，PW₇＝(pwx₀，pwy₀+length，height)，通过公式(1)(2)可以将这三个点的世界坐标转换为图像坐标，根据地平线的约束公式(6)(7)对图像坐标进行调整，调整后的图像坐标分别为PIx₁＝(pix₁，piy₁)，PIx₃＝(pix₃，piy₃)，Pix₇＝(pix₇，piy₇)，由此可以计算出车辆目标三维框在图像坐标系下的对角线长度为

车辆三维信息识别等价于获取车辆三维信息X＝(length，width，height)，length代表车长，width代表车宽，height代表车高；构造公式：

将上述公式记为代价函数，设同一车辆目标在视频帧中出现的次数为N，

表示每一组车辆目标条件下由待估计参数X表示的二维框与三维框对角线长度的归一化误差，

表示求出使得公式(10)最小的待估计参数X的值；初始值X₀＝(length0，width0，height0)为利用车辆目标的类别根据国家标准设置的车辆的初始三维信息。

Images