CN109308720B - 确定车载摄像机的滚转角的方法 - Google Patents

Abstract

确定车载摄像机的滚转角的方法。该方法包括：a)定义真实世界中的笛卡尔轴和摄像机的成像器中的对应轴；b)根据从摄像机拍摄的图像，确定真实世界的两个点在摄像机的成像器中的坐标；c)利用步骤b)中的对应坐标系，确定两个点在水平的世界平面中的坐标沿一个轴(X_w,1‑X_w,2)的差异；d)根据下面公式确定位于主车辆上的摄像机的滚转角ρ：ρ＝[D/h–(c₂/a₂–c₁/a₁)]/[(a₂d₂–b₂c₂)/a₂ ²–(a₁d₁–b₁c₁)/a₁ ²]。

Description

确定车载摄像机的滚转角的方法

技术领域

本发明涉及确定安装在主车辆上的摄像机的滚转角的方法。本发明在校准和确定摄像机滚转角方面具有特殊应用，并且可以用于高级驾驶员辅助系统。

背景技术

已知车辆配备有雷达系统和/或摄像机系统以表征车辆周围的环境。这种系统能够提供对车辆附近的物体的检测，特别是在向前看的方向上。在这种系统中，图像数据和/或雷达反射数据的处理允许检测和表征车辆附近的物体。这种物体识别或检测例如可以用于检测静态对象(诸如护栏、墙壁、树木、边界、立柱或静止车辆)，或者移动对象(诸如其它车辆或行人)。在这种高级驾驶员辅助系统(ADAS系统)中，安装在车辆上的摄像机和/或天线阵列二者可以用于检测/识别和表征这些物体。

尽管已知用于摄像机水平旋转角(pan angle)和倾斜角估计以及用于摄像机高度校准和自动校准的方法，但现有技术的方法倾向于忽略必须假定可忽略的摄像机滚转角。

近来已有关于包括滚转的摄像机角度估计的基于光学流的方法的研究(Westerhoff、J.、Lessmann、S.等人：Development and Comparison of Homography basedEstimation Techniques for Camera to Road Surface Orientation，2016IEEE IVSymposium，Gotenburg)。然而，因为光流计算在计算力方面是昂贵的，所以这对于低成本嵌入式系统来说可能并不方便，由此仍然需要一些简单的滚转估计方法。

只要仅对客车执行摄像机自动校准，这可能不会造成重大问题。预期客车不会运载可能在一个工作日内急剧变化从而影响滚转或倾斜(侧向)的大负载。但对于一天中可能服务于多个客户位置的卡车来说，装货和卸货可能会影响倾斜，从而影响滚转视角。货物重量不均匀的变化明显改变了卡车悬挂系统上的力，由此所有摄像机角度(包括滚转)都改变了。

此外，由于视觉算法精度的OEM期望值随着每一代新摄像机而增加，因而可忽略滚转角的假设甚至可能不再适用于客车。在其自动校准中依靠恒定滚转角的摄像机存在着性能降低或故障的风险。例如，当前车道检测算法不仅检测己方车道，而且检测相邻车道。这些当然处于相距车辆较大的距离处，因此滚转角不准确会导致误差不再可忽略。

卡车悬挂系统本身可以按动态方式影响摄像机滚转。气动弹簧的高度可在高度上调节达+/-20cm，以补偿重载负荷(重载负荷进而影响高度)，或者改善在恶劣路况地面上的驾驶舒适性。后者甚至可以在驾驶过程中发生，而不是仅在装载站。

因为欧盟法规351/2012LDWS要求今后欧盟的所有商用卡车都配备车道偏离警告系统和紧急自动刹车系统，所以卡车的摄像机滚转角校准问题变得重要。对于这种基于摄像机的系统来说，这显然需要增加校准精度，包括摄像机滚转角。

因此，本发明的目的是提供一种不使用繁重的处理力来确定(估计)安装在车辆上的摄像机的滚转角的方法。

发明内容

在一个方面，提供一种确定安装在主车辆上的摄像机的滚转角的方法，该方法包括以下步骤：

a)定义真实世界中的笛卡尔(Cartesian)轴和所述摄像机的成像器中的对应轴；

b)根据从所述摄像机拍摄的图像，在所述摄像机的所述成像器中确定真实世界的两个点(P1,P2)的坐标((x_I,1,y_I,1),(x_I,2,y_I,2))；

c)利用步骤b)中的对应坐标系，确定所述点在水平世界平面中的坐标在一个轴(X_w,1-X_w,2)上的差异(D)；

d)根据下面的公式确定位于主车辆上的摄像机的滚转角ρ

ρ＝[D/h–(c₂/a₂–c₁/a₁)]/[(a₂d₂–b₂c₂)/a₂ ²–(a₁d₁–b₁c₁)/a₁ ²]，

其中，a₁和a₂从下面得到，其中，i＝1、2表示两个点(P1,P2)：

a_i＝sinθ*f+cosθ*y_I,i

b_i＝-cosθ*x_I,i

c_i＝-cosηcosθ*f+sinη*x_I,i+cosηsinθ*y_I,i

d_i＝-cosηsinθ*x_I,i+sinη*y_I,i

其中，θ是固定倾斜角的已知值，η是固定水平旋转角的已知值，而h是已知的固定摄像机高度h；

并且x_I,i,y_I,i是两个所述点在所述成像器中的相应坐标。

在步骤a)中，所述轴可以定义为处于所述车辆向前行进或取向的方向的X轴，和垂直于X轴的Y轴。

步骤c)可以利用来自所述两个点在真实世界中的已知坐标位置的数据来执行。

所述点可以是车道标记的端点，所述车道标记具有预定长度(L)，并且根据车道标记长度和已知的所述摄像机的取向和/或相对于所述车道标记的车辆角度来确定所述差异D的值。

附图说明

下面，参照附图，通过示例对本发明进行描述，其中：

图1示出了摄像机成像器的视野的示意图；

图2示出了固定点的投影在围绕光学轴的成像器平面中旋转；

图3a示出了水平世界平面中的两个点；

图3b示出了成像器中图3a的两个点；

图4示出了类似于图3a的表示；

图5、图6及图7示出了该方法的结果。

具体实施方式

本发明人确定了用于克服摄像机滚转角自动校准和确定(例如，针对驾驶员辅助系统)的问题的相对简单的公式。该公式基于逆透视映射、线性化以及泰勒(Taylor)展开的组合。因此，测量滚转角的问题可以从世界地平面上的两个点确定，因此可以根据对世界地平面上的距离/标记的恰当测量来确定。

在地平面上的距离测量可以通过检测车辆所行驶的道路上的虚线或其它方式的间断车道标记来执行。使用来自间断的车道标记的测量到的矩形信号的自相关来估计世界点之间的距离。

线性化/泰勒近似方程然后根据世界点距离生成摄像机高度。

方法的推导

逆透视映射此前被用作导出图像处理方法的一种方法(例如，参见Mallot、H.A.、Bülthoff、H.H.、Little、J.J.、Bohrer、S.:Inverse Perspective Mapping SimplifiesOptical Flow Computation and Obstacle Detection，Biological Cybernetics 64(1991)，177-185页)。使用来自所引用的论文的术语，使O成为三维空间的原点，其中，摄像机成像器布置在法向距离f处，地平面布置在原点下方的法向高度z＝-h，如图1所示。在这种构造中，O显然是摄像机镜头中心的位置，穿过O的成像器平面上的法线是光学轴。

还使成为将空间投射到成像器上的共线(co-lineation)，以及将空间投射到地面上的共线。

图1示出了摄像机成像器的视野的示意图。摄像机可以在距地平面的高度(-h)处安装在车辆上。成像器和对应图像都以标号1示出。地平面2表示真实世界，因此这实际上是平面图中的环境的水平地平面。

然后，针对在正交的成像器坐标系中给出的点(x_I,y_I)和在正交的世界坐标系中给出的点(X_W,Y_W)，以及两个正交基之间的基础变换矩阵(qij)i,j＝1,2,3，如果成像器点投影到到世界点上，那么其保持

滚转角ρ与其它角一起深埋在矩阵系数q_ij内。需要便利的简化以提取ρ。

参照图2，设想如果固定点(x_I,y_I)围绕光学轴在成像器平面中旋转那么会发生什么。(这正是摄像机滚转所意味的。)成像器平面上的点所描述的曲线显然是圆圈3。

因为任何投影都是从成像器点(x_I,y_I)穿过原点直至世界点(X_W,Y_W)的直线，所以在围绕光学轴旋转时，该直线描述了圆锥体。圆锥体与地平面的交点明显是经典圆锥体截面之一，即，椭圆形、抛物线或双曲线。

在实际情况中，摄像机滚转角很小，从零起沿任何方向都是几度。因而可以便利地近似sinρ≈ρ，cosρ≈1。在代数上，这相当于旋转矩阵的线性化。这样做，系数qij内的所有表达式现在可以求解，并且可以根据上面的等式中得出

X_w＝-h(c+dρ)/(a+bρ)

Y_w＝-h(r+sρ)/(a+bρ)，

其中，对于固定倾斜角θ、固定水平旋转角η和固定摄像机高度h，新的系数由下式给出：

a＝sinθ*f+cosθ*y_i

b＝-cosθ*x_i

c＝-cosηcosθ*f+sinη*x_i+cosηsinθ*y_i

d＝-cosηsinθ*x_i+sinη*y_i

r＝sinηcosθ*f+cosη*x_i-sinθsinη*y_i

s＝sinθsinη*x_i+cosη*y_i

其中，x_i和y_i是世界坐标的点(X_W,Y_W)在成像器中的坐标，具有对应轴，其在这里都是常数。由于希望值ρ仍然包含在ρ中的有理线性多项式中，因而通过ρ中的泰勒展开进一步加以线性化：

X_w＝-h(c+dρ)/(a+bρ)＝-h c/a+-h(ad-bc)/a²*ρ+O(ρ²)

Y_w＝-h(r+sρ)/(a+bρ)＝-h r/a+-h(as-br)/a²*ρ+O(ρ²)，

其中，针对小的ρ值，O(ρ²)可以忽略不计。X_W和Y_W的数值现在与ρ成线性关系。

由于在算法中更方便使用世界距离量度而不是绝对世界坐标，因而，上面的等式可以以适当的形式提供。针对指示X_w,1和X_w,2的两个世界点x坐标，可以执行以下：

X_w,1＝-h c₁/a₁+-h(a₁d₁–b₁c₁)/a₁ ²*ρ

X_w,2＝-h c₂/a₂+-h(a₂d₂–b₂c₂)/a₂ ²*ρ

x坐标的差异(在世界平面上)给出x距离：

D＝-h c₁/a₁–h(a₁d₁–b₁c₁)/a₁ ²*ρ+h c₂/a₂+h(a₂d₂–b₂c₂)/a₂ ²*ρ，

可以为ρ求解：

ρ＝[D/h–(c₂/a₂–c₁/a₁)]/[(a₂d₂–b₂c₂)/a₂ ²–(a₁d₁–b₁c₁)/a₁ ²]。

样例

图3a示出了地面上(并因此采用世界坐标系)的平面图(水平面)上的两个点，因此等同于图1和2的标号2。该图示出了两个点P1和P2；这两个点由线6连接。这些点例如可以是车道标记(例如，涂在路面上的白色条纹)的末端，因此线6可以表示车道标记。点P1的坐标为X_w,1,Y_w,1，点2的坐标为X_w,2,Y_w,2，大写字母和标“w”指示世界坐标系中的点。该图示出了具有摄像机5的主车辆4的位置。摄像机可以如参照图1和图2所描述的那样拍摄真实世界的图像。要注意，轴如所示地标记，其中，X轴被定义为车道/车辆运动的方向，Y垂直于车道/汽车运动(侧向)，如在ADAS系统中常规的那样。当然，本发明的示例可应用于其它或实际上任何坐标和轴系统。重要的是图像和世界轴彼此对应。

图3b示出了安装在汽车上的摄像机的成像器上的这些相应点相对于原点(可为成像器的中心)的坐标。所述原点如上定义，因而从与摄像机取向平行(倾斜和水平旋转)的地面点开始的线会入射在原点上。成像器上的点P1和P2的位置分别为x_I,1,y_I,1和x_I,2,y_I,2。成像器中的轴对应于真实世界中的轴。

步骤1

在成像器上检测真实世界中的两个点P1和P2。真实世界中的所述点分别具有真实世界坐标(X_W,1,Y_W,1)和(X_W,2,Y_W,2)。这些点在成像器上的位置分别为(x_I,1,y_I,1)和(x_I,2,y_I,2)，并且后者这些坐标在本方法中用作输入。

步骤2

该方法的输入还包括摄像机的倾斜和水平旋转角并且还有摄像机高度。因此，假定这些是已知的并且它们已经被正确校准。有几种已知技术用于这样做，举例来说，如在本申请人的共同未决申请欧洲专利申请EP 15151429.6中所述。

步骤3

另一输入是这两个点在真实世界中的X坐标的差异，所述差异被指定为D。在图3a中，这被示出为D，其是车道标记的长度。然而，这里，车道标记平行于车辆的方向取向。要注意，如在图4中看到，其类似于图3a，具有相同标号，连接真实世界中的点的线可能不平行于X轴；在这种情况下，示出了X坐标D之间的差异。

在一些示例中，这两个点(X_W,1,Y_W,1)和(X_W,2,Y_W,2)各自的实际真实世界坐标可以是已知的或者根据其它公知技术确定。D的值因此可以计算为(X_w,1-X_w,2)。

另选地，可以以其它方式来计算或确定D的值。点P1和P2可表示车道标记的末端，并且这些车道标记具有标准长度。在汽车在图3a的示例中平行于X轴取向的情况下，D的值与车道标记的长度相同。因此，不需要知道确切坐标。如果车辆/摄像机相对于车道标记的取向是已知的，并且车道标记的长度L是已知的，可以确定D的值(Y坐标值的差异)(参见图4)。

步骤4

利用已知的倾斜/水平旋转角和执行测量的图像点的坐标，根据上面列出的等式计算指派给这两个点Pi中的各个点的系数a_i、b_i、c_i、d_i的集合，其中i＝1、2。因而，换句话说，a₁、b₁、c₁、d₁和a₂、b₂、c₂、d₂根据下面的公式来计算：

a_i＝sinθ*f+cosθ*y_I,i

b_i＝-cosθ*x_I,i

c_i＝-cosηcosθ*f+sinη*x_I,i+cosηsinθ*y_I,i

d_i＝-cosηsinθ*x_I,i+sinη*y_I,i

其中，i＝1和2

利用已知的摄像机高度和所测量的世界距离，由下面的公式计算滚转角

ρ＝[D/h–(c₂/a₂–c₁/a₁)]/[(a₂d₂–b₂c₂)/a₂ ²–(a₁d₁–b₁c₁)/a₁ ²]。

关于用于输入到该方法中的原始数据，只需要在X轴上估计或知道两个点之间的真实世界距离。因此，尽管可以使用两个世界点的估计/确定，但只需要它们之间沿X方向的距离。因此，如果诸如白色直线的道路标记具有标准长度，则可以使用该长度，如果假设主车辆1平行于道路标记取向，则这将是沿着一条直路行驶时的情况，特别是如果将计算结果求平均数的话。在这种情况下，不需要知道世界坐标。因而，要注意，在上面的示例中，只需要X轴方向上的世界点之间的距离；即，给出相对于X方向的两点之间距离。本发明不限于此；可以针对真实世界中的任何轴或轴的任何取向来确定距离D，只要成像器的轴对应于此。

其它

世界坐标中的距离测量可以通过如这样提出的任何适当的方法来执行，如在描述摄像机高度校准的本申请人共同未决的欧洲专利申请EP 15151429.6中所描述的。实际上，将所提出的方法与摄像机高度校准组合是非常有效的。在成功估计摄像机高度之后，所测量和存储的距离量度可以重复使用，以几乎没有额外成本地估计摄像机滚转角。然而，如果使用适当的距离测量(例如，在上面引用的EP专利申请中使用的自相关技术)，则滚转角校准也可以独立使用。如果滚转角校准作为独立步骤执行，则世界距离测量可以通过如同本申请人的共同未决申请中所描述的类似技术来执行，即，检测多个固定扫描线中的“矩形”亮度信号，自相关所述信号以获得可以通过与速度比较而转换成距离的定时信息。距离测量的其它方式也是可能的。

量度的统计过滤可以用来改进方法的鲁棒性：可以执行对滚转角估计的统计过滤以使该方法更鲁棒。如果滚转角度结果的过滤显示满足了预定义的精度条件，则算法停止(退出条件)。如果退出条件尚未满足，则算法循环回至下一距离测量(或者，在根据先前高度校准的测量重新使用的情况下评估存储的数据)。

测试

执行Matlab测试，以确保用于估计ρ的线性化和泰勒展开没有引入不可忽略的误差。该测试为固定的世界和图像点并入由全360°滚转、其上的(线性化)切线以及该切线的泰勒近似所生成的锥形截面。Matlab图的比较表明，在中心左侧或右侧偏移的常数y处的x距离测量点产生最佳近似。

图5示出了在倾斜角-17度、偏航角1度以及高度h为-2.1m的情况下，针对全360度摄像机滚转，成像器坐标(-200、50度)处的图像点到世界地平面的投影，给出真实滚转曲线6。线性“滚转”正弦/余弦近似由标号7示出；标号8示出了近似大致与7重合的线性泰勒级数。点9给出光学轴的交点，而点10是0度滚转的投影点。

图6示出了图5的一部分的放大(详细)视图。点11示出针对+/-2.8度滚转角的世界点的真实变化，并且利用上述方法(经由线性化和泰勒展开)所估计的变化由标号12示出。其它标号同样用于图5。

图7示出了在倾斜角-17度、偏航角1度以及高度h为-2.1m的情况下，针对全360度摄像机滚转，成像器坐标(-250、190度)处的图像点到世界地平面的投影，给出滚转曲线。标号如图5所示。如图所示，该方法不限于椭圆锥形截面，而是也适用于抛物线和双曲线。

Claims (4)

1.一种确定安装在主车辆上的摄像机的滚转角的方法，该方法包括以下步骤：

a)定义真实世界中的笛卡尔轴和所述摄像机的成像器中的对应轴；

b)根据从所述摄像机拍摄的图像，确定真实世界的两个点P1、P2在所述摄像机的所述成像器中的坐标((x_I,1,y_I,1),(x_I,2,y_I,2))；

c)利用步骤b)中的对应坐标系，确定真实世界中的所述两个点在水平的世界平面中的坐标(X_W,1,Y_W,1)和(X_W,2,Y_W,2)中的X坐标间的差异D；

d)根据下面的公式确定位于所述主车辆上的摄像机的滚转角ρ

ρ＝[D/h–(c₂/a₂–c₁/a₁)]/[(a₂d₂–b₂c₂)/a₂ ²–(a₁d₁–b₁c₁)/a₁ ²]，

其中，a₁、a₂、b₁、b₂、c₁、c₂、d₁和d₂从下面得到，其中，i＝1、2表示所述两个点P1、P2，

a_i＝sinθ*f+cosθ*y_I,i

b_i＝-cosθ*x_I,i

c_i＝-cosηcosθ*f+sinη*x_I,i+cosηsinθ*y_I,i

d_i＝-cosηsinθ*x_I,i+sinη*y_I,i

其中，θ是固定倾斜角的已知值，η是固定水平旋转角的已知值，h是已知的固定摄像机高度h，f是法向距离，并且x_I,i,y_I,i是所述两个点在所述成像器中的相应坐标。

2.根据权利要求1所述的方法，其中，在步骤a)中，所述真实世界中的笛卡尔轴被定义为处于所述车辆向前行进或取向的方向的X轴和垂直于X轴的Y轴。

3.根据权利要求1或2所述的方法，其中，步骤c)利用来自所述两个点在真实世界中的已知坐标位置的数据执行。

4.根据权利要求1或2所述的方法，其中，所述两个点是车道标记的端点，所述车道标记具有预定长度L，并且根据车道标记长度和已知的所述摄像机的取向和/或相对于所述车道标记的车辆角度来确定所述差异D的值。

Images