CN1564581A

CN1564581A - 交通监视环境下的摄像机标定方法

Info

Publication number: CN1564581A
Application number: CN 200410017703
Authority: CN
Inventors: 陈兆学; 施鹏飞
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2004-04-15
Filing date: 2004-04-15
Publication date: 2005-01-12
Anticipated expiration: 2024-04-15
Also published as: CN1254956C

Abstract

一种交通监视环境下的摄像机标定方法，从交通场景中选择出一组彼此间隔已知的三条平行边和一条斜率已知的与平行线相交的直线作为所需要的标定目标，找到它们在图像中所对应的各投影直线并求出各投影直线的所有交点坐标，根据这些数据求得摄像机的焦距、方向和位置参数。本发明可以利用城市交通场景内类似斑马线以及包含道路两侧边缘在内的车道线等易于提取的典型特征，根据路面上诸多特殊直线的分布信息，进行摄像机相关参数的确定，方法实现简单，针对性和通用性好，且具有线性计算复杂度，可应用于传统标定方法不可能应用的诸多交通监控场合下完成摄像机标定。

Description

交通监视环境下的摄像机标定方法

技术领域

本发明涉及一种交通监视环境下的摄像机标定方法，主要用于交通监视环境下摄像机方位参数和焦距的求取，为基于视频的各种交通信息的实时准确检测提供基本保证。属于智能交通技术领域。

背景技术

通过交通智能监控系统实现交通信息的自动采集和处理是各国乃至全球智能交通系统(ITS，Intelligent Transportation System)中最基本要素之一，随着传感器技术、通信与网络技术以及模式识别、图像处理与计算机视觉等高新技术的发展，智能交通信息监测技术也得到长足的进展。一般说来，交通状态和交通流量数据可通过各种类型的传感器获得，如埋藏于路面下的电感传感器和设置于路面上的雷达、红外线、超声波、微波传感器等等。但是由于这些“点”传感器所获取的信号不直观，检测精度不高而且监测范围和检测参数都非常有限，不能提供全面而直接的交通信息。近年来，以摄像机等视觉传感器和计算机视觉理论为基础的车辆识别与交通运行状态检测技术已经逐渐成熟，开始应用于交通信息的自动采集与处理过程中，在不需要人的干预、或者只需要很少干预的情况下，通过对摄像机拍录的视频序列分析实现动静态车辆的检测、分割、识别和跟踪，判断车辆的行为，提取交通状态信息并予以适当控制和诱导，实现对交通系统的有效管理。摄像机标定是一个必要和基本的处理步骤，它可以确定两维图像坐标和三维世界坐标之间的映射关系，是车速、车型、事故勘察等与空间尺寸相关的交通信息有效提取的前提和基本保证。

在计算机视觉、工业测量、智能机器人导航以及质量控制等领域，针对各种具体应用场合，人们常用的摄像机标定方法有以下几种：(1)利用三维结构的标定块与图像点的对应点进行标定的方法；(2)利用消失点标定的方法，这种方法利用平行线在图像中形成的消失点和消失线的性质来求解摄像机参数；(3)利用平面对应矩阵标定的方法；(4)基于对应点的自标定方法，该方法利用摄像机在两组平移或旋转中拍摄的序列图像之间的对应关系求取摄像机的内参数等等。这些方法由于没有考虑交通场景的特殊性和交通景物的具体特点，当用在视频交通监控场合时存在一定的缺点，缺乏具体的针对性和通用性。对于交通场景中的摄像机标定过程而言，标定目标的方便快捷地提取和辨识是一个必不可少的步骤和要求。基于路面上相邻车道线段的几何特性，Nelson，Grantham，和George等人曾引入了一种新型的交通视频监控系统摄像机标定方法(“Anovel camera calibration technique for visual traffic surveillance，”Proc.7^th World Congress on Intelligence Transportation Systems，paperno.3024，2000)。由于在很多情况下，相邻两车道线段平行且各端点顺时针递次相连所成四边形往往为矩形，该方法充分利用此类矩形目标四个顶点的空间位置关系以及它们在图像平面中的投影所成对应点的图像坐标，在车道间距已知的前提下，可以直接导出求取摄像机焦距和方位参数的解析表达式。它实现简单，具有线性时间计算复杂度，能够简单、快速地完成摄像机标定并且具有相当的针对性，不失为一种高效的标定方法。然而，在很多交通场合，矩形标定目标并不是很容易被发现的，比如在城市交通路口的视频监控场景下就很难直接找到类似的目标，这是一个不容忽视的局限性，因此该方法在交通监视环境下必然缺乏通用性。

发明内容

本发明的目的在于针对现有摄像机标定技术的不足，提供一种新的交通监视环境下的摄像机标定方法，实现容易，能充分保证交通监视环境下的针对性或通用性，满足智能交通信息视频监测系统交通参数准确提取的实际需要。

为实现这样的目的，本发明利用了城市交通场景内易于提取的一些典型特征，根据路面上诸多特殊直线的分布信息，进行摄像机相关参数的确定。本发明作为一种通用的交通场景摄像机标定新方法，无需一个规则的标定矩形，仅需要路面上一组彼此间隔已知的三条平行边和一条斜率已知的与平行线相交的直线以及它们在图像平面上的投影来求取摄像机焦距长度和方位参数。该组平行边彼此之间的距离需要预先确定，所选用相交直线及其斜率也需要被事先选择并计算出来。在实际应用场合中，类似斑马线以及包含道路两侧边缘在内的车道线可能是所需要平行边集合的良好选择，也是城市交通场景中非常有代表性的典型特征。斜率已知且与三平行边相交的直线在交通场景中同样很容易被找到或者被预置，这充分保证了交通监视环境下本发明所提出摄像机标定方法的针对性和通用性。要完成摄像机标定，本发明首先从交通场景中选择出所需要的标定目标，测量路面上三平行线彼此间距并计算出与它们相交直线的空间斜率，同时找到它们在图像中所对应的各投影直线并求出各投影直线的所有交点坐标，将这些数据作为原始输入，最终可求得摄像机的焦距、方向和位置参数。

本发明方法的具体步骤如下：

(1)标定目标的选取和相关坐标系的建立：在交通场景中选择路面上一组彼此间隔已知的三条平行线、一条斜率已知并与三条平行线相交的直线作为标定目标，并确定标定目标在图像中的各投影对应直线和对应交点。建立世界坐标系，设定其原点位于中间一条平行线与相交直线的交点，Y轴正向沿中间平行线指向前方，正Z轴垂直于地面方向向上，X轴正向水平指向右方。建立以摄像机为中心的坐标系，以透镜中心为原点，摄像机的光轴作为V轴，并使U-W坐标轴的平面平行于图像平面，且与原点间距为摄像机焦距。

(2)标定输入数据初始化：用最小二乘法计算出标定目标在图像中各投影对应直线的所有交点的坐标，同时求出它们在图像平面上的斜率；

(3)关于消失线和相交直线消失点的计算：根据三平行线中相邻两直线间距、相交直线与三平行线空间交点坐标以及它们相应投影直线的各交点坐标参数，得到消失线斜率和一般式方程以及相交直线在图像平面上的投影直线与消失线的交点坐标；

(4)摄像机参数标定：由三平行线中相邻两直线间距、相交直线与三平行线空间交点坐标、三平行线和相交直线在图像中投影直线的各交点坐标、消失线斜率以及相交直线的投影直线与消失线的交点坐标求得摄像机的旋转角、偏角、俯仰角以及摄像机焦距，最后根据本发明所定义两坐标系的相关变换关系得到摄像机镜头中心的三维位置坐标，完成摄像机标定。

本发明的方法实现简单，针对性和通用性好，且具有线性计算复杂度，可应用于传统标定方法不可能应用的诸多交通监控场合下完成摄像机标定。

附图说明

图1为本发明中世界坐标系和标定目标的关系示意图。

图2为本发明中标定目标投影图像与地面消失线的示意图。

图3为本发明的摄像机坐标系。

图4为本发明实施例所采用的交通场景原始图像。

图5为本发明实施例从原始图像中选择的标定目标示意图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和实施例作进一步详细描述。

1)标定目标的选取和相关坐标系的建立：

在交通场景中选择标定目标即一组彼此间距已知的三条平行线以及一条与该组平行线相交的已知斜率的直线。它们在实际路面上分别被表示为a，b，c，d，直线a，b，c表示三条平行线，直线d与它们相交，三条平行线与直线d的交点分别被表示为A，O，B，如图1所示。这里，直线d的斜率已经预先测出，表示为m，直线a，b，c中两相邻平行线的间距顺次表示为d₁，d₂。本发明将标定目标在图像中所对应的投影直线分别表示为a′，b′，c′，d′，并将直线d′与直线a′，b′，c′的交点相应表示为A′，O′，B′，如图2所示。需要说明的是，图2中直线表示图像中路面平面所对应的消失线。其中，点V_D表示平行线组投影a′，b′，c′所对应的消失点，而V₀表示直线d′所对应消失点。

为了标定摄像机的方向和焦距参数，需要定义两个右手坐标系：世界坐标系和以摄像机为中心的坐标系。假定世界坐标系的原点位于直线b和d的交点O，Y轴正向沿直线b指向前方，正Z轴垂直于地面方向向上，而X轴正向则水平指向右方，则交点A，O，B坐标可以被表示为(x_A＝-d₁，y_A，z_A＝0)，(x_o＝0，y_o＝0，z_o＝0)，(x_B＝+d₂，y_B，z_B＝0)，计算路面直线d斜率m＝(y_B-y_A)/(d₂+d₁)。

摄像机坐标系以透镜中心为原点如图3所示。V轴是摄像机的光轴，位于V＝f处的U-W平面平行于图像平面，其中-f表示摄像机焦距。假设图像平面上的任一点的坐标相对于摄像机坐标系而言，用(u，w)表示。

2)标定输入数据初始化：

用最小二乘法计算图像中投影直线a′，b′，c′的公共交点V_D的坐标为(u_D，w_D)，同时得到它们与直线d′交点A′，O′，B′坐标分别为(u_A′，w_A′)，(u_o′，w_o′)，(u_B′，w_B′)，假设直线a′，b′，c′，d′斜率分别为k_-1、k₀和k₁和k₂，则有

k_{- 1} = \frac{w_{A^{'}} - w_{D}}{u_{A^{'}} - u_{D}}, k_{0} = \frac{w_{o^{'}} - w_{D}}{u_{o^{'}} - u_{D}}, k_{1} = \frac{w_{B^{'}} - w_{D}}{u_{B^{'}} - u_{D}}, k_{2} = \frac{w_{B^{'}} - w_{A^{'}}}{u_{B^{'}} - u_{A^{'}}};

3)关于消失线和相交直线消失点的计算：

计算中间变量X₄₅，X₅₆，X₄₆，X_456D值分别为

X_{45} = \frac{({2 k}_{- 1} k_{1} - k_{0} k_{1} - k_{0} k_{- 1}) (d_{1} / d_{2}) + (k_{1} k_{- 1} - k_{0} k_{- 1}) {(d_{1} / d_{2})}^{2} + (k_{1} k_{- 1} - k_{0} k_{1})}{(k_{0} - k_{1}) {(d_{1} / d_{2})}^{2} + (2 k_{0} - k_{- 1} - k_{1}) (d_{1} / d_{2}) + (k_{0} - k_{- 1})},

X_{56} = \frac{(k_{0} - k_{1}) (d_{1} / d_{2}) + (k_{0} - k_{- 1})}{(k_{1} - k_{0}) (k_{- 1} u_{D} - w_{D}) (d_{1} / d_{2}) + (k_{- 1} - k_{0}) (k_{1} u_{D} - w_{D})},

X₄₆＝X₄₅·X₅₆

X_456D＝u_D·X₅₆-w_D·X₄₆

则路面直线在图像中投影所对应的消失线方程为

k·u-w+(w_D-k·u_D)＝0，其中k＝-X₄₅，为消失线斜率。

直线d′通过O′(u_o′，w_o′)点，且已求得斜率为k₂，其方程可表示为

k₂·u-w+(w_o′-k₂·u_o′)＝0

则通过消失线和直线d′方程能够计算出消失线的交点坐标(u，w)；

4)摄像机参数标定：

假定摄像机镜头中心位于空间点(x_c，y_c，z_c)，并且摄像机的偏角(Pan)，俯仰角(Tilt)和旋转角(Swing)分别被表示为θ，，ψ，则

计算旋转角(Swing)ψ。公式为

ψ＝arctg(X₄₅)

计算摄像机的偏角(Pan)θ为

{θ | θ = k_{1} π + \arcsin [(2 X + m) / \sqrt{1 + m^{2}}] / 2 - [k_{2} π + arctg (m)] / 2 or

θ = ({2 k}_{1} + 1) π / 2 - \arcsin [(2 X + m) / \sqrt{1 + m^{2}}] / 2 - [k_{2} π + arctg (m)] / 2,

k₁，k₂＝…-1，0，1，2…，-π/2≤θ≤π/2}

其中

X = X_{456 D} / [(1 + X_{45}^{2}) \cdot X_{56} \cdot (u - u_{D})],

计算俯仰角(Tilt)φ为：φ＝arcsin(tgθ/X_456D)

计算摄像机焦距为：

f = - \frac{w_{D} \cdot \cos ψ + u_{D} \cdot \sin ψ}{tgφ}

考虑世界坐标系中地面上的一点P(x，y，z)，假定它在图像平面上的投影点是P′＝(u，w)，并定义

A＝cosθcosψ+sinθsinφsinψ，B＝sinθcosψ-cosθsinφsinψ，C＝cosφsinψ，

D＝-sinθcosφ，E＝cosθcosφ，F＝sinφ，

G＝sinθsinφcosψ-cosθsinψ，H＝-cosθsinφcosψ-sinθsinψ，I＝cosφcosψ，则摄像机透镜中心的实际坐标可由如下方程式给出(L.L.Wang，and W.H.Tsai，“Camera Calibration by Vanishing Lines for 3-D Computer Vision，”IEEE Transactions on Pattern Analysis and Machine Intelligence，vol.13，no.4，pp.370-376，April 1991.)：

其中，h为摄像机的安装高度。

根据式(1)中关于x_c的表达式，计算摄像机安装高度为

h＝(d₁+d₂)/(a-b)，其中

a＝(u_A′A+fD+w_A′G)/(u_A′C+fF+w_A′I)，

b＝(u_B′A+fD+w_B′G)/(u_B′C+fF+w_B′I)

由于O点坐标为(x_o＝0，y_o＝0，z_o＝0)，根据式(1)计算摄像机镜头中心三维位置坐标为：

根据A到I定义计算A，B，C，D，E，F，G，H，I的值并取验证式

| u_{D} - \frac{B \cdot f}{E} | + | w_{D} - \frac{H \cdot f}{E} | < T

(T为一接近零的阈值)

以检验所得多组θ，φ，ψ，f的值，最终选择出摄像机方位参数准确解组。为了验证本发明所提出方法的有效性，本发明的一个实施例采用了以图4所示的实际交通场景图像，并在此实际交通场景图像中选择了标定目标，如图5所示。选择图像中共点于V_D的三条相邻车道线作为标定所需要的一组平行线，分别标识为a′，b′，c′，以停车线作为相交直线d′，它们在世界坐标系中的实际对应直线分别表示为a，b，c，d，其中直线d斜率m＝0，直线a和b以及直线b与c之间的距离也事先已知。

实验结果表明，标定参数的求取与四条直线选择的精度有密切关系，但是经过仔细选择，可以得到平均浮动误差约为5％的稳定结果，如表1所列为焦距f和摄像机安装高度h的标定值和实际值的比较(摄像机方向数据因无法测量，难以给出实际值予以比较，故从略)，这说明本方法完全能够满足交通监控系统的精度要求，该实验在一定程度上证明了本发明所提出方法的有效性。

表1摄像机焦距和安装高度的实验标定结果

参数	计算值	实际值	偏移(％)
参数	计算值	实际值	偏移(％)	f(象素)	-665.43	-700.00	4.94
h(米)	4.87	5.10	4.51	f(象素)	-665.43	-700.00	4.94

Claims

1、一种交通监视环境下的摄像机标定方法，其特征在于包括如下步骤：

1)标定目标的选取和相关坐标系的建立：在交通场景中选择路面上一组彼此间隔已知的三条平行线、一条斜率已知并与三条平行线相交的直线作为标定目标，并确定标定目标在图像中的各投影对应直线和对应交点，建立世界坐标系，设定其原点位于中间一条平行线与相交直线的交点，Y轴正向沿中间平行线指向前方，正Z轴垂直于地面方向向上，X轴正向水平指向右方，建立以摄像机为中心的坐标系，以透镜中心为原点，摄像机的光轴作为V轴，并使U-W坐标轴的平面平行于图像平面，且与原点间距为摄像机焦距；

2)标定输入数据初始化：用最小二乘法计算出标定目标在图像中各投影对应直线的所有交点的坐标，同时求出它们在图像平面上的斜率；

3)关于消失线和相交直线消失点的计算：根据三平行线中相邻两直线间距、相交直线与三平行线空间交点坐标以及它们相应投影直线的各交点坐标参数，得到消失线斜率和一般式方程以及相交直线在图像平面上的投影直线与消失线的交点坐标；

4)摄像机参数标定：由三平行线中相邻两直线间距、相交直线与三平行线空间交点坐标、三平行线和相交直线在图像中投影直线的各交点坐标、消失线斜率以及相交直线的投影直线与消失线的交点坐标求得摄像机的旋转角、偏角、俯仰角以及摄像机焦距，最后根据两坐标系的变换关系得到摄像机镜头中心的三维位置坐标，完成摄像机标定。