CN102075736A - 一种用于高清智能网络摄像机的摄像头标定方法 - Google Patents

Abstract

本发明属于视频图像分析技术领域，特别是指一种用于高清智能网络摄像机的摄像头标定方法。本发明通过对物体在世界坐标系下实际大小的跟踪，达到提高安全防范的目的。以往通过传统标定方法或者自动检测自标定方法，前者应用起来比较复杂，后者通过自动检测得到标定物增加了不准确因素。通过本发明的方法，可以做到仅仅通过简单设置标定物，实现对平行于地平面的空间任意平面内任意目标物的高度测量及运动速度测量等，从而达到准确跟踪目标物及去除噪声等应用。本发明鲁棒性高，它完全可以达到检测如汽车等运动物体在实际场景中运动速度及人等目标物的世界高度，从而能有效的对目标物进行跟踪，有效提高了智能检测的准确性，并具有广泛的应用领域。

Description

一种用于高清智能网络摄像机的摄像头标定方法

技术领域

本发明属于视频图像分析技术领域，特别是指一种高清智能网络摄像机的摄像头标定方法。

背景技术

当前，随着视频监控系统逐步向数字化、网络化、高清化、智能化方向发展，高清智能网络摄像机已经受到越来越多的各个领域用户的青睐。高清智能网络摄像机通常由CAPUTRE(视频捕捉单元)、2A(自动白平衡、自动曝光处理单元)、DSP(视频处理单元)；IP(网络传输单元)等部分构成。

在智能化分析过程中，为了对目标准确跟踪，需要知道图像上显示的物体在实际场景中真实大小。为此需要对一个数学模型进行实验计算来确定反映图像上位置与空间物体表面相应点的几何关系的摄像机参数，这个实验与计算过程即为标定。在对摄像机标定后，就可以由得到的标定矩阵进行行为分析等处理。例如：可以得到物体的世界高度、摄像机高度、物体运动速度等。在摄像机标定前需要选择摄像机模型，模型分为线性(针孔)模型和非线性模型两种。

线性摄像机模型的自标定是计算机视觉领域研究的热点之一，它不考虑镜头畸变等因素，目前的普遍使用的方法就其本质而言，均是基于绝对二次曲线或其对偶绝对二次曲线方法。

而非线性摄像机模型考虑镜头畸变，但其较复杂及目前监控场景的实际需求，就不考虑这种非线性模型。在选择好摄像机模型后，如何确定摄像机内外参数，即建立一个能把图像与世界坐标系的对应关系联系起来的模型将是标定的关键。

摄像机的标定可分为三类：传统的摄像机标定方法、主动视觉摄像机标定方法、摄像机自标定方法。

传统标定方法的优点是，可以使用于任意的摄像机模型，标定精度高；缺点是标定过程复杂，需要高精度的已知结构信息，在实际应用中很多情况下无法使用标定块。代表性的方法包括：Abdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现；80年代中期Tsai提出的基于RAC的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除(像机光轴方向的平移)外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷、准确；1999年张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法，它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统(DVS)的标定要求，张正友的平面标定的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的精确匹配，这给不熟悉计算机视觉的使用者带来了不便。还有一些如圆标定及平行圆标定方法等。

主动视觉摄像机标定模型优点是，通常可以线性求解，鲁棒性比较高；缺点是不能使用于摄像机运动未知和无法控制的场合。这类方法典型代表包括：基于平面单应矩阵的正交运动方法及基于外极点的正交运动方法。这两种主动视觉标定方法与最经典的主动视觉标定方法(马颂德的三正交运动法)相比，具有如下优点：照相机的二正交运动比三正交运动更容易实现；可以求解摄像机的所有5个内参数，马颂德的方法可以求解4个内参数。

摄像机自标定模型优点是，仅需要建立图像之间的对应，灵活性强，潜在应用范围广；缺点是鲁棒性不高。

发明内容

本发明的目的在于提供一种高清智能网络摄像机的摄像头标定方法，它可通过一个人站在至少三个不同位置及一条水平直线建立高度投影模型和水平投影模型对摄像机进行标定。本发明采用一种鲁棒性高、且简单有效的方法来建立图像到地平面间的摄像投影模型，从而达到对目标物准确跟踪、去除噪声的目的。

本发明的技术方案是：

本发明是在高清智能IPC的智能分析环节，增加一种适用于监控场景下简单有效的摄像机标定技术。

为了求物体的高度和水平运动速度，需要建立高度投影模型和水平投影模型。

首先，本发明假定摄像机光心是图像的中心；其次不考虑镜头径向畸变和其它摄像机异常，摄像机坐标系与世界坐标系对应关系如下：(如2图所示)

IPS坐标系下一点M坐标X_M＝(x，y，-f)，对应PCS坐标系为

设OP所在光线为l，可知l包含O，M，l描述为：x＝μX_M，μ为尺度因子，l从IPCS影射到GPCS描述为：X＝μRX_M+t。具体世界坐标如下：

因为图像坐标下的x轴平行于世界坐标下的X轴，所以世界坐标下 $X^{\′}={\mathrm{\μ}}^{\′}{a}_x^f(j_0-j)$

为了得到世界坐标下的Y′，需要将像素坐标下的纵坐标投影到世界坐标下的Y轴。由图可知

同理像素第三维z坐标到世界坐标系下的z轴投影关系是：

其中u′为μ吸收f。其中，

高度和水平投影模型原理：人高设为H，水平基准线长设为l₁，摄像机距离地面高度设为L，l为摄像机发出的光线，并通过人头在图像上的投影点P，那么平面L-H平行于地平面，即人头所在平面，那么人头所在平面与l相交于一点。

设人头和人脚图像坐标为：(i1，j1)，(i1，j2)，h为人的像高，那么

i2＝h+i1                      (1)

设人头和人脚的世界坐标为：(X₁′，Y₁′)，(X′₂，Y′₂)，根据头与脚的位置关系，最后得到水平及高度投影模型公式如下：

$h=(\cos \mathrm{\θ}/{\mathrm{La}}_y^f\sin \mathrm{\θ})H-(i_0-i_1)H/L---\left(2\right):$

$a_y^{f}h=\frac{\cos \mathrm{\θ}\sin \mathrm{\θ}(1-{\left(a_y^f(i_0-i_1)\right)}^2)+a_y^f(i_0-i_1)({\cos }^2\mathrm{\θ}-\mathrm{si}{n}^2\mathrm{\θ})}{L/H+a_y^f(i_0-i_1)\cos \mathrm{\θ}\sin \mathrm{\θ}-{\cos }^2\mathrm{\θ}}---\left(3\right)$

设水平基准线l两个端点坐标为：j₀，j₁，设两个像点对应的世界坐标为(X₁，Y₁)，(X₂，Y₂)，距离公式如下：

l²＝(X₁-X₂)²+(Y₁-Y₂)²         (4)

根据以上方程可以得到摄像机参数：L(摄像机距离地面的高度)，

θ(摄像头与垂直于地平面方向的夹角，范围在0度到90度之间)。

一种高清智能网络摄像机的摄像头标定方法，其特征在于：通过对物体在世界坐标系下实际大小的跟踪，应用高清智能IPC，它包括：视频捕捉单元CAPUTRE；自动白平衡、自动曝光处理单元2A；视频处理单元DSP包括：DSP视频编码单元及DSP智能视频分析单元；网络传输单元IP，以达到提高安全防范的目的，具体方法步骤包括：

A)、已知一个人的世界高度H，及这个人在图像中至少三个不同位置的头坐标位置i₀和脚位置坐标i₁和每个位置人像的高度h；

B)、在地平面上放置一个地平面基准线，已知它的长度l，设其在世界坐标系下两端点的坐标位置，(X₁，Y₁)，(X₂，Y₂)；

C)、将A)、B)中数据输入到公式(2)、公式(3)得到两个系数矩阵；

$h=(\cos \mathrm{\θ}/{\mathrm{La}}_y^f\sin \mathrm{\θ})H-(i_0-i_1)H/L---\left(2\right)$

$a_y^{f}h=\frac{\cos \mathrm{\θ}\sin \mathrm{\θ}(1-{\left(a_y^f(i_0-i_1)\right)}^2)+a_y^f(i_0-i_1)({\cos }^2\mathrm{\θ}-\mathrm{si}{n}^2\mathrm{\θ})}{L/H+a_y^f(i_0-i_1)\cos \mathrm{\θ}\sin \mathrm{\θ}-{\cos }^2\mathrm{\θ}}---\left(3\right)$

l²＝(X₁-X₂)²+(Y₁-Y₂)²       (4)

D)、通过步骤C)的两个系数矩阵及欧式公式(4)得到摄像机内外参数：L，

θ参数值，其中θ为摄像头与垂直于地平面方向间夹角；

E)、对水平和高度进行校准。

F)、对任意图像目标高度像素高度，用标定好的摄像机得到目标的世界高度；

G)、对任意图像目标一定时间内运动距离，根据欧式距离公式(4)得到目标运动实际速度。

本发明的优点在于：以往通过传统标定方法或者自动检测自标定方法，前者应用起来比较复杂，后者通过自动检测得到标定物增加了不准确因素。通过本发明的方法，可以做到仅仅通过简单设置标定物，实现对平行于地平面的空间任意平面内任意目标物的高度测量及运动速度测量等，从而达到准确跟踪目标物及去除噪声等应用。通过实验表明，本发明鲁棒性高，它完全可以达到检测如汽车等运动物体在实际场景中运动速度及人等目标物的世界高度，从而能有效的对目标物进行跟踪，有效提高了智能检测的准确性，并具有广泛的应用领域及重要的社会意义。

附图说明

图1为高清智能网络摄像机工作原理方框图。

图2为本发明所述的世界坐标与像素坐标对应关系图。

图3为本发明所述的三条竖线及一条水平基准线画法图。

图4为本发明的标定方法流程图。

具体实施方式

下面就结合说明书附图，对本发明作进一步说明。

如图1所示，高清智能IPC通常由四部分构成，分别是CAPUTRE(视频捕捉单元)；2A(自动白平衡、自动曝光处理单元)；DSP(视频处理单元)包括：DSP视频编码单元及DSP智能视频分析单元；IP(网络传输单元)。

本发明是在通过对物体在世界坐标系下实际大小的跟踪，结合高清智能IPC使用，达到提高安全防范水平的目的。

如图4所示，本发明的标定方法流程图，包括标定及校准两大部分。

其中，标定部分，它包括：

1、视频图像输入；

2、三条竖线及一条水平基准线作为标定参照物；

3、水平投影模型及高度投影模型；

4、摄像机标定矩阵：高度投影系数矩阵及水平投影系数矩阵；

校准部分，它包括：

1、目标物水平图像距离和图像高度；

2、高度系数矩阵及水平距离系数矩阵；

3、校准结果验证。

本发明中摄像机标定具体步骤包括：

A)、通过鼠标点击已知高度H的人头顶i₁和脚底i₀两点得到一条竖线及像素高度h，至少需要三条竖线，且位置分布在三个方向；

B)、通过鼠标点击地平面上一条已知长度l的直线两个端点，设两个像点对应的世界坐标为(X₁，Y₁)，(X₂，Y₂)，得到一条地平面基准线，如图3所示；

C)、将步骤A)、B)中的数据输入公式(2)和公式(3)，得到两个系数矩阵；

$h=(\cos \mathrm{\θ}/{\mathrm{La}}_y^f\sin \mathrm{\θ})H-(i_0-i_1)H/L---\left(2\right)$

$a_y^{f}h=\frac{\cos \mathrm{\θ}\sin \mathrm{\θ}(1-{\left(a_y^f(i_0-i_1)\right)}^2)+a_y^f(i_0-i_1)({\cos }^2\mathrm{\θ}-\mathrm{si}{n}^2\mathrm{\θ})}{L/H+a_y^f(i_0-i_1)\cos \mathrm{\θ}\sin \mathrm{\θ}-{\cos }^2\mathrm{\θ}}---\left(3\right)$

l²＝(X₁-X₂)²+(Y₁-Y₂)²      (4)

D)、通过步骤C)的两个系数矩阵及欧式公式(4)得到L，

其中θ为摄像头与垂直于地平面方向间夹角，其范围是：0°--90°；

E)、对水平和高度进行校准，在画面上任意标定两个地面点，观测算出的距离是否与实际距离近似相等，若相差不多，则基准线校验成功；在画面上任意标定一点地面点和一点非地面点，观测算出的高度距离是否与实际高度距离近似相等；若相差不多，则参照物校验成功；若校准不成功，重新标定。

Claims (3)

1.一种高清智能网络摄像机的摄像头标定方法，其特征在于：通过对物体在世界坐标系下实际大小的跟踪，应用高清智能IPC，它包括：视频捕捉单元CAPUTRE；自动白平衡、自动曝光处理单元2A；视频处理单元DSP包括：DSP视频编码单元及DSP智能视频分析单元；网络传输单元IP，以达到提高安全防范的目的，具体方法步骤包括：

A)、已知一个人的世界高度H，及这个人在图像中至少三个不同位置的头坐标位置i₀和脚位置坐标i₁和每个位置人像的高度h；

B)、在地平面上放置一个地平面基准线，已知它的长度l，设其在世界坐标系下两端点的坐标位置，(X₁，Y₁)，(X₂，Y₂)；

C)、将A)、B)中数据输入到公式(2)、公式(3)得到两个系数矩阵；

$h=(\cos \mathrm{\θ}/{\mathrm{La}}_y^f\sin \mathrm{\θ})H-(i_0-i_1)H/L---\left(2\right)$

$a_y^{f}h=\frac{\cos \mathrm{\θ}\sin \mathrm{\θ}(1-{\left(a_y^f(i_0-i_1)\right)}^2)+a_y^f(i_0-i_1)({\cos }^2\mathrm{\θ}-\mathrm{si}{n}^2\mathrm{\θ})}{L/H+a_y^f(i_0-i_1)\cos \mathrm{\θ}\sin \mathrm{\θ}-{\cos }^2\mathrm{\θ}}---\left(3\right)$

l²＝(X₁-X₂)²+(Y₁-Y₂)²            (4)

D)、通过步骤C)的两个系数矩阵及欧式公式(4)得到摄像机内外参数：L，

θ参数值，其中θ为摄像头与垂直于地平面方向间夹角；

E)、对水平和高度进行校准。

F)、对任意图像目标高度像素高度，用标定好的摄像机得到目标的世界高度；

G)、对任意图像目标一定时间内运动距离，根据欧式距离公式(4)得到目标运动实际速度。

2.一种高清智能网络摄像机的摄像头标定方法，其特征在于：该方法步骤包括：标定及校准部分；

其中，所述的标定部分，它包括：

1)、视频图像输入；

2)、三条竖线及一条水平基准线作为标定参照物；

3)、水平投影模型及高度投影模型；

4)、摄像机标定矩阵：高度系数矩阵及水平距离系数矩阵；

所述的校准部分，它包括：

1)、目标物水平图像距离和高度；

2)、高度系数矩阵及水平距离系数矩阵；

3)、校准结果验证。

3.根据权利要求1或2所述的高清智能网络摄像机的摄像头标定方法，其特征在于：所述的摄像机标定具体步骤包括：

A)、通过鼠标点击已知高度H的人头顶i₁和脚底i₀两点得到一条竖线及像素高度h，至少需要三条竖线，且位置分布在三个方向；

B)、通过鼠标点击地平面上一条已知长度l的直线两个端点，设两个像点对应的世界坐标为(X₁，Y₁)，(X₂，Y₂)，得到一条地平面基准线；

C)、将步骤A)、B)中的数据输入公式(2)和公式(3)，得到两个系数矩阵；

$h=(\cos \mathrm{\θ}/{\mathrm{La}}_y^f\sin \mathrm{\θ})H-(i_0-i_1)H/L---\left(2\right)$

$a_y^{f}h=\frac{\cos \mathrm{\θ}\sin \mathrm{\θ}(1-{\left(a_y^f(i_0-i_1)\right)}^2)+a_y^f(i_0-i_1)({\cos }^2\mathrm{\θ}-\mathrm{si}{n}^2\mathrm{\θ})}{L/H+a_y^f(i_0-i_1)\cos \mathrm{\θ}\sin \mathrm{\θ}-{\cos }^2\mathrm{\θ}}---\left(3\right)$

l²＝(X₁-X₂)²+(Y₁-Y₂)²        (4)

D)、通过步骤C)的两个系数矩阵及欧式公式(4)得到L，

其中θ为摄像头与垂直于地平面方向间夹角，其范围是：0°--90°；

E)、对水平和高度进行校准，在画面上任意标定两个地面点，观测算出的距离是否与实际距离近似相等，若相差不多，则基准线校验成功；在画面上任意标定一点地面点和一点非地面点，观测算出的高度距离是否与实际高度距离近似相等；若相差不多，则参照物校验成功；若校准不成功，重新标定。

Images