CN102103747B - 采用参照物高度的监控摄像机外部参数标定方法 - Google Patents

Abstract

一种采用参照物高度的监控摄像机外部参数标定方法，包括：基于远消失点和下消失点的视觉模型描述与相关坐标系建立；基于参照物铅垂信息的远消失点和下消失点在图像平面中的投影坐标计算方法；基于参照物高度标定的摄像机高度、俯视角、放大系数计算方法；基于参照物铅垂方向的地平线倾角标定工具；基于透视投影模型的立体测量软件，以及等高度变化尺、地平面距离测量尺、景深重构框架等三种用于立体测量的工具。本发明的标定方法操作简便，运算快捷，测量精度高。参照物可以为行人、家具或汽车，不需要设置特殊地面标志线。本发明方法允许摄像机安装在低矮地势，拍摄俯视角度略微向上，只要视频中能够看清参照物底部，明确地平面坐标系即可。

Description

采用参照物高度的监控摄像机外部参数标定方法

技术领域

本发明属于智能视频监控技术领域，特别涉及在监控环境采用参照物的高度进行摄像机外部参数标定的方法，主要用于视频监控环境下的摄像机外部参数精确标定。

背景技术

随着计算机技术的发展，现代监控系统逐渐面向网络化、智能化、多源化的方向发展。其中，智能视频分析技术作为视频监控系统实现智能化的重要手段已经成为众多高校、公司或科研机构的研究重点。近几年，随着计算机性能的不断提高，智能视频技术被广泛应用于智能交通、楼宇监控、仓库管理等多种室内室外应用环境；监控分析的运动目标包括各类车辆、行人、包裹物体；监控分析的主要功能从交通量数据统计、车辆违章检测，到人员异常行为报警、物品遗留或丢失，等等多种方面。是以图像处理、机器视觉、模式识别等多种视频和图像分析技术为基础，集数据传输技术、控制技术、计算机处理技术等技术相结合的综合应用集成系统。

其中，摄像机标定作为图像理解和机器视觉的重要技术，直接影响到系统对监控环境几何信息的感知是否准确，影响到系统对监控目标的特征包括大小、形状、位置、运动速度等信息的提取是否正确。一个好的智能视频监控系统，应该能够胜任多种应用场所，应该具有一个能够描述通用环境的视觉模型。根据这个视觉模型而建立的摄像机标定方法也应该具有通用性、准确性的特点。

在摄像机标定技术上，国内外工作者已经提出了诸多方法：最早有人提出一种多点拟合法，选择多个标定点进行多次标定，每个标定线段描述了在标定点附近沿距离向的变化速率，这样对标定线组所描述的映射变形曲线进行最小二乘拟合而获得标定结果，但是该方法具有一定的局限性，在三维空间中，如果这个标定是针对距离向而作的，那么高度向上的映射关系仍然是未知的，因此，为了获得三维的信息，同时又要提高精度，标定线的个数就会随着对精度的要求而成倍地增加，增大了系统标定的复杂程度，另外同一个视频中出现大量标定点也会影响对单个标定点有效性的分析；意大利帕尔玛大学的ARGO系统在假定摄像机的内部参数已知的前提下求解外部参数，但是采用了在地面上画一张已知尺寸的网格的方法，利用其交点作为标定点，该方法很明显不利于标定技术的推广；很多实用的系统中，例如NICE系统，采用了地平线倾角标定线和物体变化范围描述矩形，通过设定视场中物体近大远小的变化范围或由远到近的变化情况来回避摄像机标定的问题，但是如果不需要对目标尺寸的精确，计算这种方法显然是快速有效的；西安交通大学的研究人员采用道路面上三条平行线作为标定线的方法确定车载摄像机的外部参数，该方法很明显将标定技术的使用范围限制在了交通标志线清晰的公路上；中科院自动化所的研究人员对标定线段和世界坐标系地平面的映射关系进行了分析，仅用变换矩阵的方法就求解出了世界坐标系地平面两点之间的间距，但是该方法虽然计算精度高，却没有使用到高度信息，只能用作对标定平面的两点间距的测量，并不能做到真正的三维立体测量；南京大学的研究人员采用了多种算法对摄像机内外参数逐一求解，建立了基于消失点的视觉模型并进行了严密推导，但是所依赖的标定手段是采用了公路左右一对的六九标志线，并且该方法只能采用位于世界坐标系地平面上相互平行的标定线段，同样将摄像机标定技术的应用范围限制在了道路标志线清晰丰富的公路上。

在实际应用中，视觉模型的精确和标定方法的限制只是摄像机标定的一个方面。由于摄像机标定是在图像中进行的，图像分辨率本身就影响着标定精确度，带来了不可避免的误差。另外，工作人员标定时选点的误差也会影响到标定结果。因此，需要设计一种能够满足精确的视觉模型，而且使用方便快捷的摄像机标定方法，尽量减少人为误差。

发明内容

本发明的目的在于，提供一种采用参照物高度的监控摄像机外部参数标定方法，该方法具有面向多种监控环境、设置方式方便快捷和标定测量结果精确等特点。

为达到上述目的，本发明的技术解决方案是：

一种采用参照物高度的监控摄像机外部参数标定方法，其从透视投影模型出发，根据监控摄像机的安装方式建立世界坐标系；提出了一种在该世界坐标系中加入远消失点和下消失点描述透视投影形变的视觉模型，以及在该视觉模型基础上建立世界坐标系、摄像机坐标系、图像投影坐标系的方式；该方法的组成部份包含如下内容：

a)基于透视投影模型的坐标系建立方法。

b)基于远消失点和下消失点描述透视投影形变的视觉模型。

c)基于上述模型的参照物铅垂高度标定点选取方法。

d)基于参照物铅垂高度的摄像机高度、俯视角、放大系数计算方法。

e)基于参照物铅垂方向的地平线倾角标定工具设计；

f)基于透视投影模型的立体测量软件的设计和使用方法，包含参照物高度测量尺、地平面两点间距离测量尺、景深重构框架显示等三种工具的设计和使用。

所述的监控摄像机外部参数标定方法，其包括如下步骤：

(a)获取监控摄像机的视频图像；

(b)在上述图像中寻找二个以上具有明显铅垂方向信息的参照物，要求参照物铅锤方向两个端点距离超过15像素；

(c)根据这些参照物的铅垂方向，采用地平线倾角标定工具确定地平线倾角；

(d)在图像中手动标注上述参照物沿铅垂方向的底端点和顶端点，从而确定高度标定线段；

(e)根据高度标定线段计算远消失点与下消失点在图像平面中的投影坐标；

(f)根据(e)步所得消失点坐标和高度标定线段计算摄像机安装高度、俯视角、放大系数；

(g)利用立体测量软件，检验高度标定线的设置是否合理。

所述的监控摄像机标定方法，其所述基于远消失点与下消失点的视觉模型描述与相关坐标系建立，其建立方式参看图1，包括如下步骤：

1)基于透视投影模型设计视觉模型，结合监控摄像机的通用架设角度，提出了利用远消失点和下消失点解释透视投影形变的方法，即：在世界坐标系中存在这样一类直线，即平行于地平面且平行于由摄像机光轴与摄像机垂线确定的平面的直线，所有这类直线在图像中的映射直线会相交于远消失点；在世界坐标系中所有平行于摄像机高度铅垂线的直线，其在图像中的映射直线会相交于下消失点；根据以上分析，以透视投影模型为基础，引入两个消失点来描述透视形变，从而提出新的视觉模型，并建立世界坐标系、摄像机坐标系、图像投影坐标系，如图1；

2)世界坐标系坐标轴标记为Xw-Yw-Zw；如图1所示世界坐标系的原点位于摄像机铅垂方向的正下方；距离向Yw指向远方，与摄像机光轴相交，交点对应于图像中心点(xc，yc)；左右向Xw指向右方，Xw和Yw组成了地平面；高度向Zw是由原点出发指向摄像机光心，垂直于地平面的直线；摄像机光心在世界坐标系中的坐标就是(0，0，hD)，其中hD是摄像机架设高度；

3)摄像机坐标系以摄像机光心为原点，当摄像机俯视角度为0，且摄像机高度为0时，摄像机竖直向上放置于世界坐标系原点上；摄像机坐标系的坐标轴标记为Xs-Ys-Zs；其中Xs轴与Xw轴重合，Ys轴与Yw轴重合，Zs轴与Zw轴重合；当摄像机高度为hD时，沿Zw轴平移摄像机坐标系到点(0，0，hD)；当摄像机俯视角度为alpha时，以Xs为轴，顺时针旋转摄像机坐标系alpha度，得到变换后的摄像机坐标系，如图1中摄像机架设示意；

4)摄像机内部参数的计算以及摄像机畸变矫正，采用棋盘格法解决；

5)图像坐标系的原点位于摄像机光轴上；图像平面平行于像平面，垂直于摄像机光轴，如图1中阴影区所示；图像坐标系坐标轴标记为X-Y，Y与Ys轴平行方向相同，X与Xs轴平行方向相同；图像坐标系到摄像机坐标系的映射关系取决于摄像机CCD采样像素点间距与对应的成像点实际间距的比值；通过对成像变换方程中几个系数的组合，最终，定义图像点像素间距到像平面两点间距的放大系数a、b，假设摄像机沿水平轴的放大系数和沿竖直轴的放大系数相同即a＝b，那么只需计算一个放大系数a。

所述的监控摄像机标定方法，其所述下消失点是图像坐标系中的一个点，其世界坐标系的对应点位于世界坐标系Zw轴方向正下方无限远处，也就是摄像机光心正下方无限远处；在图像坐标系中，所有物体的铅垂方向延长线都会相交于下消失点，如图2中最下端的会聚点；当摄像机向下俯视时，在图像中参照物铅垂方向延长线会相交于一个下消失点；当摄像机向上仰视时，参照物铅垂方向延长线会相交于上消失点，上消失点同样位于世界坐标系Zw轴方向正上方无限远处；上消失点和下消失点在几何上都位于穿过摄像机光心，垂直于地平面的直线上。消失点的描述参看图2和图3，其中图3利用侧视视角描述了下消失点在世界坐标系与图像坐标系之间的对应关系。所述的监控摄像机标定方法，其所述远消失点是图像坐标系中的一个点，其世界坐标系的对应点位于地平线上，如图2中最上端点所示；在图像中平行于地平面的任何一对平行线都会相交于某一个地平线点，这个点是一个透视形变消失点；远消失点位于通过摄像机光轴并且垂直于地平面的平面与地平线的交点。图3利用侧视视角描述了远消失点在世界坐标系和图像坐标系之间的对应关系。

所述的监控摄像机标定方法，其所述远消失点的图像坐标，是在图像上利用手动确定二个以上参照物沿铅垂方向的顶点和底点，标定线设置方法参看图2和图5；包括：首先对参照物顶点与底点的像素距离根据所代表的高度进行归一化，归一化时只移动顶点坐标，底点不变；然后将任意两个参照物作为一组，在图像坐标系中基于透视形变原理计算出对应的透视形变消失点坐标；由于该消失点位于地平线上，以此确定地平线方程；根据获得的地平线倾斜角度来修正地平线角度，结合远消失点的定义即：远消失点位于通过摄像机光轴且垂直于地平面的平面上，计算出远消失点的图像坐标、地平线。

所述的监控摄像机标定方法，其所述基于参照物铅垂高度的摄像机标定包括：利用已经求得的远消失点图像坐标，以及归一化后的参照物顶点坐标和底点坐标，分别构建两条辅助直线，图4从侧面视角描述了这两条辅助线的绘制方法以及对应交点的位置，通过分析两条直线与穿过摄像机光轴并且垂直于远消失点与下消失点连线的平面的交点的几何关系获得联立方程：

$\left\{\begin{array}{c}{X}_w=\frac{b(x-x_c)(Z_w-\mathrm{hD})}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\\ Y_w=\frac{(Z_w-\mathrm{hD})[(y_c-y)\cos \mathrm{\α}+a\sin \mathrm{\α}]}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\end{array}\right.$

Xwp1＝Xwp2

Zwp1-Zwp2＝len

其中，len为高度标定线段代表的高度值，Xwp1、Xwp2、Zwp1、Zwp2分别为顶点连线和底点连线与中平面交点P1、P2的世界坐标值，图4从侧面视角描述了这两个点的位置；再代入归一化后的参照物高度，求解摄像机架设高度；利用远消失点坐标和摄像机架设高度的计算结果，代入视觉模型中求解放大系数和摄像机俯视角度。

所述的监控摄像机标定方法，其所述基于参照物铅垂方向的地平线倾角标定工具设计，包括：

1)采用地平线倾角设置工具确定地平线；地平线倾角设置工具绘制了两个控制点，穿过两个控制点绘制了一条直线，该直线表示一条与地平线平行的直线，其倾角代表地平线的倾角；地平线的相对位置参考图2中最上端直线；

2)绘制一条垂直于第1)步所得直线并穿过图像中心的直线；

3)第2)步所得直线表示穿过摄像机光轴且垂直于地平面的平面在图像中的投影，该直线称为铅垂方向标志线；

4)移动工具的两个控制点在图像中选取合适的铅垂方向角度，使工具中铅垂方向标志线的倾斜方向尽量与图像中标志线附近的参照物铅垂方向重合，或者地平线标志线尽量与地平线平行；由此设置摄像机以光轴为旋转轴的偏转角度。地平线工具设置方法参看图5中下端的直线和与之相交的垂直虚线，两个平行黑点代表工具的控制点。所述的监控摄像机标定方法，其所述基于透视投影模型的立体测量软件的设计和使用方法，包括：设计基于透视投影模型的立体测量软件操作界面；及采用本发明计算所得的参数标定结果作为输入，通过透视投影成像模型进行验算的方法；根据验算需要，该软件包含：地平面两点间距离测量工具、参照物高度测量工具、景深重构框架，等三个工具：

(a)地平面两点间距离测量工具：手动指定图像中地平面上的两个端点，该工具会在两个端点的连线上显示这两点在世界坐标系中的距离；其演示效果如图6中横线。

(b)参照物高度测量工具：其测量方式如图6中竖线。该工具有如下用法：

1)手动选择参照物的底点和顶点，工具会自动计算并显示出参照物在世界坐标系中的高度；

2)拉动工具控制点的上端点指定一个固定高度值之后，在图像中贴着地平面移动该工具，该工具的高矮会随距离摄像头的远近而变化；而无论该工具的高矮如何变化，其代表的高度值不变；

3)另外，穿过该工具两个端点的连线的直线会始终指向下消失点，在测量物体高度时该工具会始终保持与被测参照物的铅垂方向重合；

(c)景深重构框架：该工具用于查看由摄像机标定参数重构的世界坐标系中的框架在图像坐标系上的投影效果，其效果参看图7；该工具首先根据事先设定的像素间距，向世界坐标系作映射；用映射后距离作为单位间隔，在世界坐标系中绘制了一个等间隔三维网格，再将这个网格投影回图像中；根据图像中该网格整体的倾角、网格孔洞的大小以及网格侧壁的倾斜角度，我们可以粗略看出重构的框架是否符合图像中场景的真实情况。图7中规则的网格代表景深重构框架给出的结果。所述的监控摄像机标定方法，其所述(b)中2)步，其工具的高矮也能够反映出在世界坐标系中具有相同底点位置并且具有相同高度的参照物在图像中映射的高度。

与现有的技术相比，本发明只需要标注至少两条位于地平面上的参照物铅垂高度的线段，就可以完成摄像机外部参数的标定，无需事先划定地面标志线或放置参考标尺等辅助手段。通过精确的几何建模和严谨的数学推导，在保证标定测量精度的前提下，简化了标定步骤，能满足大多数监控环境的应用需要。

附图说明

图1为本发明所建立的三个坐标系关系示意图；

图2为从摄像机视角看到的消失点和地平线之间的关系示意图；

图3为从垂直于中垂面的视角观察远消失点和下消失点在图像中的映射关系示意图；

图4为从垂直于中垂面的时间观察的计算摄像机高度时所采用的辅助线添加方法示意图；

图5为在室内监控的实用场景中进行摄像机外部参数标定的标定线选取的示例；

图6为利用本发明立体测量工具中：高度测量工具和距离测量工具的应用示意图；

图7为利用本发明立体测量工具获得的景深框架重构结果示意图。

具体实施方式

请参照图1、2、3、4、5、6和图7，本发明的采用参照物高度的监控摄像机外部参数标定方法：根据监控环境和摄像机的架设方式设计了高精度的摄像机视觉模型；根据透视投影模型确定世界坐标系3、摄像机坐标系2与真实世界的对应关系；利用远消失点4、下消失点5、地平线6的几何概念与真实世界相联系，确定图像坐标系1与世界坐标系3的对应关系；在标定参数的计算方法中，利用坐标变换和添加辅助线的办法，结合参照物在图像中的投影线段端点坐标和线段所代表的真实长度20，计算出摄像机在世界坐标系中的高度19；利用摄像机的高度19和图像坐标系中的远消失点坐标，结合输入的参照物高度标定线段25，计算出摄像机俯视角度和摄像机放大系数，从而完成摄像机外部参数标定。

最后，为了验证标定结果的正确性，本发明设计了三种立体测量工具：地平面两点间距离测量工具29、参照物高度测量工具30和景深重构框架工具31。分别用于测量地平面上两个物点之间的距离，测量地平面上参照物的铅垂高度，以及对视频场景进行世界坐标框架的三维重建。通过长宽高的测量，以及重构后的框架与视频中参照物体的吻合度判断摄像机放大系数、摄像机高度等参数的计算是否合理。

本发明的采用参照物高度的监控摄像机外部参数标定方法，包括：

1、参考透视投影模型，坐标系的建立方式如下：

(1)令世界坐标系3的坐标轴标记为：Xw-Yw-Zw，如图1所示世界坐标系的原点位于摄像机铅垂方向的正下方，距离向坐标轴Yw指向远方，与摄像机光轴14相交，交点对应于图像中心点(xc，yc)。左右向坐标轴Xw的方向水平指向右方。坐标轴Xw和Yw组成了地平面。坐标轴Zw垂直于地平面，其方向由原点出发指向摄像机光心。摄像机光心的世界坐标就是0，0，hD其中hD是摄像机架设高度，如图1中摄像机架设示意。

(2)世界坐标系3的建立并不参考真实世界地面上平行标志线的倾斜角度；世界坐标系以铅垂方向为轴的旋转与摄像机坐标系相统一，与真实世界地面平行标志线之间存在稳定的夹角。

(3)摄像机坐标系2以摄像机光心为原点。假设当摄像机俯视角度为0，且摄像机高度为0时，摄像机竖直向上放置于世界坐标系原点上。摄像机坐标系的坐标轴标记为Xs-Ys-Zs，其中Xs轴与Xw轴重合，Ys轴与Yw轴重合，Zs轴与Zw轴重合。当摄像机高度为hD时，沿Zw轴平移摄像机坐标系到点0，0，hD。当摄像机俯视角度为alpha17时，以Xs为轴，顺时针旋转摄像机坐标系alpha度17，得到变换后的摄像机坐标系。

(4)图像坐标系原点位于摄像机光轴上。图像平面平行于像平面，垂直于摄像机光轴，图像坐标系坐标轴标记为X-Y，Y与Ys轴平行，方向相同，X与Xs轴平行，方向相同，如图1中阴影区所示。图像坐标系1到摄像机坐标系2的映射关系取决于摄像机CCD采样像素点间距与对应的成像点实际间距的比值。通过对成像变换方程中几个系数的组合，我们最终可以定义图像点像素间距到像平面两点间距的放大系数a、b，假设摄像机沿水平轴的放大系数和沿竖直轴的放大系数相同，那么只需要计算一个放大系数a。

(5)根据上述视觉模型我们可以得到从图像坐标系1到世界坐标系3的映射方程如下

$\left\{\begin{array}{c}{X}_w=\frac{b(x-x_c)(Z_w-\mathrm{hD})}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\\ Y_w=\frac{(Z_w-\mathrm{hD})[(y_c-y)\cos \mathrm{\α}+a\sin \mathrm{\α}]}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\end{array}\right.---\left(1\right)$

从世界坐标点变换为图像坐标点的变换关系可以改写为

$\left\{\begin{array}{c}x=\frac{a{X}_w}{b[(Z_w-\mathrm{hD})\cos \mathrm{\α}+Y_w\sin \mathrm{\α}]}+x_c\\ y=\frac{a[Y_w\cos \mathrm{\α}-(Z_w-\mathrm{hD})\sin \mathrm{\α}]}{(Z_w-\mathrm{hD})\cos \mathrm{\α}+Y_w\sin \mathrm{\α}}+y_c\end{array}\right.---\left(2\right)$

在这两个关系式中，当参数和hD、a、b、α确定后，这两个变换关系也就确定了。其中hD19、α17是外部参数，表示摄像机的高度和俯视旋转角度。a和b是沿图像两个轴的放大系数。

(6)关于世界坐标系有几个定义下面会提到：

地平面7：由坐标系轴Xw和Yw组成的平面。

中垂面8：世界坐标系中穿过摄像机光轴且垂直于地平面的平面。

图像中轴线：图像顶边中点和底边中点的连线。

2、地平线和消失点的定义和选取如下：

(1)所述的地平线6，是一条平行于世界坐标系坐标轴Xw的直线，地平线6在图像中是所有透视投影消失点的集合。图像中与地平面平行的平行线，都会两两相交于地平线6上的某一个消失点。地平线6的描述如图2中最上端的横线。

(2)所述的下消失点5，位于世界坐标系Zw轴，方向正下方无限远处，也就是摄像机光心正下方无限远处。在图像坐标系1中，所有物体的铅垂方向延长线都会相交于下消失点5，例如竖直安装的方形门框或廊柱，其图像坐标系中的延长线会相交于下消失点5。这个点位于中垂面上，如同图像中所有的平行线都会两两相交于地平线上某个消失点一样，当摄像机向下俯视时，参照物铅垂方向延长线会相交于下消失点；当摄像机向上仰视时，参照物铅垂方向延长线会相交于上消失点。上消失点和下消失点在几何上位于同一条穿过摄像机光心垂直于地平面的直线上。下消失点5的描述如图3中靠下的交点。图3图4中的斜线表示一张平行于图像平面的平面15，是图像平面关于摄像机光心的对称映射。

(3)所述的远消失点4，在图像坐标系中位于地平线(6)上。在世界坐标系中，在中垂面8中作一条穿过摄像机光心且平行于地平面的直线即视平线16，该直线一直延伸向无限远处的极值点就是远消失点4在世界坐标系中的含义。在图像坐标系1中，远消失点就是这条直线与地平线的交点。当摄像机没有侧向旋转，正对拍摄高速公路时，远消失点就与高速公路平行车道线的透视形变消失点相重合。远消失点的描述如图3中右侧交点。

3、确定摄像机沿光轴偏转角度

当准备对监控摄像机进行标定时，首先应当确定摄像机沿光轴的偏转角度，这个偏转角度导致图像中轴线与世界坐标系中穿过光轴垂直于地平面的垂面之间有一个稳定的夹角。可以称这个夹角为地平线在图像中的倾斜角度，由于摄像机可能是被放置成任意角度的，因此这个夹角不可忽视。

利用地平线倾角设置工具27设定这个偏转角度。在图像中合适的位置选取两点作为平行于地平线的直线的两个控制点28，分别移动两个点调整该直线的角度。工具会在图像中绘制一条垂直于该直线的绿色直线代表中垂面与图像平面的交线，世界坐标系中的地平线应当垂直于该直线，且平行于两个控制点的连线。地平线6的描述参看图2中最上端横线。

另外，根据透视投影成像原理，在绿线两侧的物体应当有相反的倾斜角度。经过透视投影成像变换之后，视场中的物体会有近大远小的特点。当摄像机俯视时两侧的物体铅垂方向延长线会指向同一个消失点也就是下消失点5；当摄像机仰视时两侧物体的铅垂方向延长线会指向同一个上消失点。因此如果摄像机安装时没有发生沿光轴的偏转，那么在摄像机左右两侧的物体在图像中的投影都会向对侧倾斜。我们可以利用这个投影效果，选择合适的控制点位置，使远消失点与下消失点连线两侧的物体都向对侧倾斜，从而确定摄像机沿光轴的偏转角度。关于标定工具和标定方法的示意图参看图5，标定线的设置。

4、选取参照物高度标定线

在图像中，由于透视形变的原因，在图像两侧的物体会向对侧倾斜。在选择参照物高度标定线端点的时候，应当遵照这个变形效果选择合理的标定点位置。假设视场中有一位身高175厘米的行人经过时，我们在他走动时进行视频抓图；取两脚之间的中点为底点，头顶为顶点；之后输入该人的身高为175厘米，这样就完成了一条标定线。由于透视形变的原因，当摄像机俯视拍摄，这个人不论在图像左侧还是右侧，两只脚连线的中点距离图像中轴线都会比头距离图像中轴线更近一些。我们只需要遵照这个实际情况，在图像中标出底点和顶点26的真实位置。这样标定的误差就来自图像分辨率和对真实高度值的估计准确度。

通常我们选择至少两个高度标定线段，这可以采用从视场中寻找运动目标，多次截图进行标定的办法；也可以选择视场背景中多个实际静态物体，估计其真实高度，进行标定。高度标定线9的选取参看图2和图5。

为了后面的计算，我们还要将高度标定线组成一列，并根据底点坐标进行排序。然后，对高度标定线进行归一化：将代表不同高度的标定线组转化为代表相同高度的标定线组。

5、计算远消失点坐标

对经过高度归一化后的高度标定线组进行分析。任取其中两条高度标定线段，将两个顶点相连组成一条直线L1，再将底点相连组成另一条直线L2。因为这两条直线在世界坐标系中是平行线，并且L2位于地平面中，那么，在图像坐标系中这两条直线会相交于地平线上某一个消失点。如果我们在这个图像中设置了多于2个的高度标定线，就可以通过两两组和求解出多个消失点。通过拟合这些消失点的坐标我们可以求得地平线在图像坐标系中的方程，并根据这个方程获得地平线在图像中的倾角，用于修正前面输入的摄像机沿光轴偏转角度。图2从正面视角描述了远消失点4在图像中的位置，图3利用侧视视角描述了远消失点4在世界坐标系3和图像坐标系1之间的对应关系。远消失点4位于图像中轴线上，在图像坐标系中远消失点就是中垂面8和地平线6的交点。由于摄像机沿光轴的偏转导致中轴线与世界坐标系中垂面之间有一个稳定的夹角，根据这个偏转夹角反向旋转图像坐标系进行修正之后，我们就可以求得远消失点的坐标，以及远消失点4距离图像中心的像素距离。

根据从图像坐标系1到世界坐标系3的映射方程(1)如下

$\left\{\begin{array}{c}{X}_w=\frac{b(x-x_c)(Z_w-\mathrm{hD})}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\\ Y_w=\frac{(Z_w-\mathrm{hD})[(y_c-y)\cos \mathrm{\α}+a\sin \mathrm{\α}]}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\end{array}\right.$

从上式中可以看出，图像坐标y与世界坐标Yw是一一对应的。当y-y_c＝a cotα时，X_w→∞，Y_w→∞，也就是说，y_f＝a cotα+y_c代表一个无穷远点的图像坐标，即地平线上的一个消失点，而y_f就是地平线的垂直分量。因此，如果我们能通过其它手段获得地平线的垂直分量，我们就能反推出：

a cotα＝y_t-y_c    …………………………………………………………(3)

上式表示远消失点与距离向放大系数和摄像机俯视角度之间的关系。在图像坐标中，y_c对应着图像中心，a cotα对应着从图像中心点坐标到地平线的垂直距离。

另一方面，当y-y_c＝a·tanα时，Y_w＝0，即世界坐标系的原点所对应的图像坐标垂直分量，同时也是下消失点的垂直分量坐标y_d。

因此，远消失点的坐标为(x_c，y_t)，其中y_t＝a cotα+y_c；下消失点的坐标为(x_c，y_d)，其中y_d＝a·tanα+y_c。

6、计算摄像机高度

世界坐标系中，垂直于中垂面平行于地平线且通过摄像机光心的平面我们将其称为中平面。

对任意一条高度标定线25，其顶点为X1 21、X2 22进行分析，从远消失点引出两条辅助线23、24分别通过标志线的顶点21和底点22，这两条辅助线与中平面相交于点P1和P2。由于这两条辅助线表示一对世界坐标系中的平行线，那么在世界坐标系中，这两条线不仅相互平行，而且平行于中垂面，那么根据透视变换方程我们依据P1和P2在世界坐标系中几何上的关系来建立等式，代入归一化后的高度值，求得摄像机高度19。图4从侧面视角描述了这两条辅助线23、24的绘制方法以及对应交点的位置。

另一方面，由于设定了多个高度标定线，我们可以求解出多个高度值，对这些结果取平均值作为摄像机高度的计算结果。

设备选标定顶点坐标为(x1，y1)，P1坐标(xp1，yp1)，远消失点坐标(x0，y0)。那么：

(y1-y0)/(x1-x0)＝(yp1-y0)/(xp1-x0)

其中yp1＝图像高度/2，这样求解xp1。同理求得(xp2，yp2)。根据映射公式： $\left\{\begin{array}{c}{X}_w=\frac{b(x-x_c)(Z_w-\mathrm{hD})}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\\ Y_w=\frac{(Z_w-\mathrm{hD})[(y_c-y)\cos \mathrm{\α}+a\sin \mathrm{\α}]}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\end{array}\right.$

已知条件为：

Xwp1＝Xwp2，

Zwp1-Zwp2＝len

其中len是标定线段所代表的高度值。

在Xwp1＝Xwp2中代入P1、P2的坐标值，就得到了摄像机高度hD。

7、计算摄像机俯视角度和放大系数

在透视投影成像模型中，摄像机的架设高度19和俯视角度17是最基本的外部参数，而俯视角度17与远消失点4的图像坐标本身存在一定的函数关系。

y_t＝a cotα+y_c

分析透视投影成像坐标系转化公式，我们可以提取出俯视角度17和远消失点4之间的函数关系。同时，在已知了摄像机高度的情况下，根据图像映射坐标我们又可以得到另一个变换等式，如此联立解出俯视角度和放大系数。

$\left\{\begin{array}{c}x=\frac{a{X}_w}{b[(Z_w-\mathrm{hD})\cos \mathrm{\α}+Y_w\sin \mathrm{\α}]}+x_c\\ y=\frac{a[Y_w\cos \mathrm{\α}-(Z_w-\mathrm{hD})\sin \mathrm{\α}]}{(Z_w-\mathrm{hD})\cos \mathrm{\α}+Y_w\sin \mathrm{\α}}+y_c\end{array}\right.$

同理，由于事先设置了多个标定线段，可以计算出多对结果，我们取平均值作为输出。完成摄像机外部参数的计算。

8、测量标定结果

为了验证标定输出是否准确，我们设计了基于透视投影模型的立体测量软件工具，采用透视投影成像模型对基于本发明的参数标定结果进行验算。该软件包含三个工具：

1)地平面两点间距离测量工具29。通过手动指定图像中地平面上的两个端点，该工具会在两个端点的连线上显示这两点在世界坐标系中的距离。其测量效果参看图6中带数字的横线。

2)参照物高度测量工具30。其测量效果参看图6中带数字的竖线。该工具有两种用法：

(a)首先，手动选择参照物的底点和顶点，工具会自动计算并显示出参照物在世界坐标系中的高度；

(b)其次，拉动工具控制点指定一个固定高度值之后，在图像中贴着地平面移动该工具，该工具的高矮会随距离摄像头的远近而变化；而无论该工具的高矮如何变化，其代表的高度值不变。其高矮也能够反映出在世界坐标系中具有相同底点位置并且具有相同高度的参照物在图像中映射的高度。

(c)另外，穿过该工具两个端点的连线的直线会始终指向下消失点，在测量物体高度时该工具会始终保持与被测参照物的铅垂方向重合。

3)景深重构框架31：该工具用于查看由摄像机标定参数重构的世界坐标系中的框架在图像坐标系上的投影效果，其效果参看图7；该工具首先根据事先设定的像素间距，向世界坐标系作映射。用映射后距离作为单位间隔，在世界坐标系中绘制了一个等间隔三维网格，再将这个网格投影回图像中。根据图像中该网格整体的倾角、网格孔洞的大小以及网格侧壁的倾斜角度，我们可以粗略看出重构的框架是否符合图像中场景的真实情况。图7中规则的网格代表景深重构框架给出的结果。

本发明提供的标定方法操作简便，运算快速，测量精度高。本发明的设计充分考虑了各种可能的监控摄像机安装方式，以场景中参照物距地平面的高度为输入参数，参照物可以是行人、家具或汽车，不依赖于特殊地面标志线，适用于室内、广场、道路等多种监控场所。此外，本发明不要求安装摄像机的俯视角度必须水平向下，摄像机可以安装在低矮的地势如办公桌上，俯视角度可以略微向上，只要在视频中能够看清参照物底部，明确地平面坐标系即可。

Claims (4)

1.一种采用参照物高度的监控摄像机外部参数标定方法，其特征在于：

从透视投影模型出发，根据监控摄像机的安装方式建立世界坐标系；提出了一种在该世界坐标系中加入远消失点和下消失点描述透视投影形变的视觉模型，以及在该视觉模型基础上建立世界坐标系、摄像机坐标系、图像投影坐标系的方式；该方法的组成部分包含如下内容：

基于透视投影模型的坐标系建立方法；

基于远消失点和下消失点描述透视投影形变的视觉模型；

基于上述模型的参照物铅垂高度标定点选取方法；

基于参照物铅垂高度的摄像机高度、俯视角、放大系数计算方法；

基于参照物铅垂方向的地平线倾角标定工具设计；

基于透视投影模型的立体测量软件的设计和使用方法，包含参照物高度测量尺、地平面两点间距离测量尺、景深重构框架显示等三种工具的设计和使用；

其中，该监控摄像机外部参数标定方法包括如下步骤：

(a)获取监控摄像机的视频图像；

(b)在上述图像中寻找二个以上具有明显铅垂方向信息的参照物，要求参照物铅锤方向两个端点距离超过15像素；

(c)根据这些参照物的铅垂方向，采用地平线倾角标定工具确定地平线倾角；

(d)在图像中手动标注上述参照物沿铅垂方向的底端点和顶端点，从而确定高度标定线段；

(e)根据高度标定线段计算远消失点与下消失点在图像平面中的投影坐标；

(f)根据(e)步所得消失点坐标和高度标定线段计算摄像机安装高度、俯视角、放大系数；

(g)利用立体测量软件，检验高度标定线的设置是否合理；

其中，所述基于远消失点与下消失点的视觉模型描述与相关坐标系建立，包括如下步骤：

(1)基于透视投影模型设计视觉模型，结合监控摄像机的通用架设角度，提出了利用远消失点和下消失点解释透视投影形变的方法，即：在世界坐标系中存在这样一类直线，即平行于地平面且平行于由摄像机光轴与摄像机垂线确定的平面的直线，所有这类直线在图像中的映射直线会相交于远消失点；在世界坐标系中所有平行于摄像机高度铅垂线的直线，其在图像中的映射直线会相交于下消失点；根据以上分析，以透视投影模型为基础，引入两个消失点来描述透视形变，从而提出新的视觉模型，并建立世界坐标系、摄像机坐标系、图像投影坐标系；

(2)世界坐标系坐标轴标记为Xw-Yw-Zw；世界坐标系的原点位于摄像机铅垂方向的正下方；距离向Yw指向远方，与摄像机光轴相交，交点对应于图像中心点(xc，yc)；左右向Xw指向右方，Xw和Yw组成了地平面；高度向Zw是由原点出发指向摄像机光心，垂直于地平面的直线；摄像机光心在世界坐标系中的坐标就是(0，0，hD)，其中hD是摄像机架设高度；

(3)摄像机坐标系以摄像机光心为原点，当摄像机俯视角度为0，且摄像机高度为0时，摄像机竖直向上放置于世界坐标系原点上；摄像机坐标系的坐标轴标记为Xs-Ys-Zs；其中Xs轴与Xw轴重合，Ys轴与Yw轴重合，Zs轴与Zw轴重合；当摄像机高度为hD时，沿Zw轴平移摄像机坐标系到点(0，0，hD)；当摄像机俯视角度为alpha时，以Xs为轴，顺时针旋转摄像机坐标系alpha度，得到变换后的摄像机坐标系；

(4)摄像机内部参数的计算以及摄像机畸变矫正，采用棋盘格法解决；

(5)图像坐标系的原点位于摄像机光轴上；图像平面平行于像平面，垂直于摄像机光轴；图像坐标系坐标轴标记为X-Y，Y与Ys轴平行方向相同，X与Xs轴平行方向相同；图像坐标系到摄像机坐标系的映射关系取决于摄像机CCD采样像素点间距与对应的成像点实际间距的比值；通过对成像变换方程中几个系数的组合，最终，定义图像点像素间距到像平面两点间距的放大系数a、b，假设摄像机沿水平轴的放大系数和沿竖直轴的放大系数相同即a＝b，那么只需计算一个放大系数a；

所述下消失点是图像坐标系中的一个点，其世界坐标系的对应点位于世界坐标系Zw轴方向正下方无限远处，也就是摄像机光心正下方无限远处；在图像坐标系中，所有物体的铅垂方向延长线都会相交于下消失点；当摄像机向下俯视时，在图像中参照物铅垂方向延长线会相交于一个下消失点；当摄像机向上仰视时，参照物铅垂方向延长线会相交于上消失点，上消失点同样位于世界坐标系Zw轴方向正上方无限远处；上消失点和下消失点在几何上都位于穿过摄像机光心，垂直于地平面的直线上；

所述远消失点是图像坐标系中的一个点，其世界坐标系的对应点位于地平线上；在图像中平行于地平面的任何一对平行线都会相交于某一个地平线点，这个点是一个透视形变消失点；远消失点位于通过摄像机光轴并且垂直于地平面的平面与地平线的交点；

所述远消失点的图像坐标，是在图像上利用手动确定二个以上参照物沿铅垂方向的顶点和底点；包括：首先对参照物顶点与底点的像素距离根据所代表的高度进行归一化，归一化时只移动顶点坐标，底点不变；然后将任意两个参照物作为一组，在图像坐标系中基于透视形变原理计算出对应的透视形变消失点坐标；由于该消失点位于地平线上，以此确定地平线方程；根据获得的地平线倾斜角度来修正地平线角度，结合远消失点的定义即：远消失点位于通过摄像机光轴且垂直于地平面的平面上，计算出远消失点的图像坐标；

所述基于参照物铅垂高度的摄像机标定包括：利用已经求得的远消失点图像坐标，以及归一化后的参照物顶点坐标和底点坐标，分别构建两条辅助直线，通过分析两条直线与穿过摄像机光轴并且垂直于远消失点与下消失点连线的平面的交点的几何关系获得联立方程：

$\left\{\begin{array}{c}{X}_w=\frac{b(x-x_c)(Z_w-\mathrm{hD})}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\\ Y_w=\frac{(Z_w-\mathrm{hD})[(y_c-y)\cos \mathrm{\α}+a\sin \mathrm{\α}]}{a\cos \mathrm{\α}+(y_c-y)\sin \mathrm{\α}}\end{array}\right.$

Xwp1＝Xwp2

Zwp1-Zwp2＝len

其中，len为高度标定线段代表的高度值，Xwp1、Xwp2、Zwp1、Zwp2分别为顶点连线和底点连线与中平面交点P1、P2的世界坐标值；再代入归一化后的参照物高度，求解摄像机架设高度；利用远消失点坐标和摄像机架设高度的计算结果，代入视觉模型中求解放大系数和摄像机俯视角度。

2.根据权利要求1所述的监控摄像机标定方法，其特征在于：所述基于参照物铅垂方向的地平线倾角标定工具设计，包括：

1)采用地平线倾角设置工具确定地平线；地平线倾角设置工具绘制了两个控制点，穿过两个控制点绘制了一条直线，该直线表示一条与地平线平行的直线，其倾角代表地平线的倾角；

2)绘制一条垂直于第1)步所得直线并穿过图像中心的直线；

3)第2)步所得直线表示穿过摄像机光轴且垂直于地平面的平面在图像中的投影，该直线称为铅垂方向标志线；

4)移动工具的两个控制点在图像中选取合适的铅垂方向角度，使工具中铅垂方向标志线的倾斜方向与图像中标志线附近的参照物铅垂方向重合，或者地平线标志线与地平线平行；由此设置摄像机以光轴为旋转轴的偏转角度。

3.根据权利要求1所述的监控摄像机标定方法，其特征在于：所述基于透视投影模型的立体测量软件的设计和使用方法，包括：设计基于透视投影模型的立体测量软件操作界面；及采用本发明计算所得的参数标定结果作为输入，通过透视投影成像模型进行验算的方法；根据验算需要，该软件包含：地平面两点间距离测量工具、参照物高度测量工具、景深重构框架，等三个工具：

(a)地平面两点间距离测量工具：手动指定图像中地平面上的两个端点，该工具会在两个端点的连线上显示这两点在世界坐标系中的距离；

(b)参照物高度测量工具：该工具有如下用法：

1)手动选择参照物的底点和顶点，工具会自动计算并显示出参照物在世界坐标系中的高度；

2)拉动工具控制点的上端点指定一个固定高度值之后，在图像中贴着地平面移动该工具，该工具的高矮会随距离摄像头的远近而变化；而无论该工具的高矮如何变化，其代表的高度值不变；

3)另外，穿过该工具两个端点的连线的直线会始终指向下消失点，在测量物体高度时该工具会始终保持与被测参照物的铅垂方向重合；

(c)景深重构框架：该工具用于查看由摄像机标定参数重构的世界坐标系中的框架在图像坐标系上的投影效果；该工具首先根据事先设定的像素间距，向世界坐标系作映射；用映射后距离作为单位间隔，在世界坐标系中绘制了一个等间隔三维网格，再将这个网格投影回图像中；根据图像中该网格整体的倾角、网格孔洞的大小以及网格侧壁的倾斜角度，我们可以粗略看出重构的框架是否符合图像中场景的真实情况。

4.根据权利要求3所述的监控摄像机标定方法，其特征在于：所述(b)中2)步，其工具的高矮也能够反映出在世界坐标系中具有相同底点位置并且具有相同高度的参照物在图像中映射的高度。

Images