CN103971375B - 一种基于图像拼接的全景凝视相机空间标定方法 - Google Patents

Abstract

本发明公开了一种基于图像拼接的全景凝视相机空间标定方法，首先，建立全景高速球中PTZ摄像机的旋转模型；其次，基于PTZ摄像机拍摄的包含场景所有信息的多张PTZ图像拼接获得全景图像；再次，基于全景图像，分别建立其像素点与PTZ摄像机运动参数之间的映射关系H₂，以及其像素点与鱼眼图像中像素点之间的映射关系H₁；最后，基于映射关系H₁和H₂，建立鱼眼图像中像素点与PTZ摄像机运动参数之间的映射关系H，从而实现了全景凝视相机的空间标定。所述方法能够准确控制全景凝视相机中PTZ摄像机的水平偏转角和垂直偏转角，使得选取的鱼眼摄像机拍摄得到的鱼眼图像中的感兴趣监控位置置于PTZ摄像机拍摄的图像的中心，从而实现精确定位监控。

Description

一种基于图像拼接的全景凝视相机空间标定方法

技术领域：

本发明涉及图像标定方法，特指一种基于图像拼接的全景凝视相机空间标定方法，属于图像信息处理领域。

背景技术：

目前，在安防监控领域，大量摄像机被安装在政府大楼、军事基地、银行、学校、商场、监狱、停车场、港口码头以及城市街道等各类场所，此外，在其他应用领域，如视频会议、远程教育、机器人导航以及机器人导航等领域，摄像机的应用也在不断扩大。但是，随着摄像机的大规模普及应用，传统摄像机的不足之处逐渐暴露了出来。由于拍摄范围有限，传统摄像机只能看到摄像头前方很小一部分的场景，因而存在监控盲区和监控死角，影响了实际的监控效果，这种情况下，为了进行更大范围的监控，只能安装多个摄像机，这不仅会带来成本问题，而且对于监控观察也会产生影响。

近年来，随着视频监控技术的不断发展，利用鱼眼镜头获取180度全景图像的技术越来越成熟。与传统摄像机相比，鱼眼全景摄像机(以下简称鱼眼摄像机)拥有更大范围的观察视野，能够覆盖180°或360°的场景，满足了当前安防监控等领域对大视场的需求。但是，由于其覆盖区域过大，导致拍摄得到的全景图像分辨率受限，使得在观察局部场景时效果不佳。因此，仅仅利用单一的鱼眼摄像机仍然无法完全满足当前的需求。

为克服鱼眼摄像机无法进行有效局部观察的缺陷，出现了鱼眼摄像机与PTZ摄像机相配合的全景凝视相机。PTZ摄像机(又名高速球摄像机)是现今安防市场中的高端一体化摄像设备，可以水平、垂直改变视角以及进行变焦，具有快速定位和变焦的能力，使得用户可以及时监控到目标的细节信息。但其拍摄范围有限，不能同时兼顾多个不同的场景。全景凝视相机将鱼眼摄像机与PTZ摄像机联合起来，充分发挥了两类摄像机的优势，同时克服了他们各自的缺陷。如图1所示为全景凝视相机实物图，图2所示为其结构示意图，其中，鱼眼摄像机1负责监控整个环境，获得180度全景图像，PTZ摄像机2负责对全景图像中感兴趣区域进行重点的凝视观察。

全景凝视相机的理想应用是实现精确地联动，即对于全景图像中的指定位置，PTZ摄像机能够进行快速精准的聚焦定位。但是，由于实际安装过程中存在的各种偏差，不同的全景凝视相机中全景摄像机和PTZ摄像机之间的相对位置往往也是不同的，即全景图像中像素点与PTZ摄像机运动参数的空间映射关系是不同的，因此，对于每台全景凝视相机需要进行空间标定，从而能够准确控制PTZ摄像机的水平偏转角和垂直偏转角，使得全景图像中选取的感兴趣监控位置置于PTZ摄像机拍摄的图像的中心。

发明内容：

本发明要解决的问题在于：对于不同的全景凝视相机，全景图像中的像素点与PTZ摄像机的运动参数的空间映射关系是不同的，因此需要对全景凝视相机进行空间标定，从而能够准确控制PTZ摄像机的水平偏转角和垂直偏转角，使得全景图像中选取的感兴趣监控位置置于PTZ摄像机拍摄的图像的中心。

为解决上述技术问题，本发明提出的技术方案是：一种基于图像拼接的全景凝视相机空间标定方法，包括如下步骤：

步骤1)建立高速球摄像机的旋转模型；

首先，建立高速球摄像机坐标系O-XYZ，其中，O为高速球摄像机的光心，高速球摄像机的主点为P₀，则OP₀为高速球摄像机的光轴，假设P₀点的偏航角和俯仰角分别为和θ₀，则P₀点的坐标值(x₀,y₀,z₀)计算如下：

其中，f为高速球摄像机的焦距；

然后，建立高速球图像坐标系O'-UV，其中，O'为高速球图像的中心点，O'U为高速球图像的水平方向坐标轴，O'V为高速球图像的垂直方向坐标轴；对于高速球图像上任意一个像点P，在已知高速球摄像机的运动参数为的情况下，其对应于高速球摄像机坐标系中的坐标值(x_P,y_P,z_P)计算如下：

其中，同时，像点P在图像坐标系中的坐标值(u_P,v_P)通过下述高速球摄像机旋转模型公式得出：

步骤2)基于高速球摄像机拍摄的多幅高速球图像拼接获得全景图像；

首先，使高速球摄像机在一个固定的缩放倍数下从左自右、从上自下依次拍摄获得包含场景所有信息的多幅高速球图像；然后，建立初始空白的拼接全景图像I_joint；全景图像的拼接过程分为三个步骤：

(1)根据原始映射关系得到鱼眼图像中像素点Q(u_Q,v_Q)对应的高速球摄像机的运动参数其在高速球图像中对应的像素点记为Q'；

(2)包含像点Q'的高速球图像可能存在多张，选取距离最近的高速球图像，最近距离计算如下：

其中，i表示包含像点Q'的第i张高速球图像，假设共有N张包含像点Q'的高速球图像，即为对应高速球图像的运动参数；在得到距离最近的高速球图像的同时，其对应的高速球摄像机的运动参数也就得到了，然后基于高速球摄像机旋转模型公式(3)计算得到距离最近的高速球图像中像素点Q'的坐标值(u_Q',v_Q')；

(3)将像素点Q'(u_Q',v_Q')映射到初始空白的拼接全景图像I_joint的(u_Q,v_Q)位置处，记为Q″；

对鱼眼图像中的每个像素点都执行上述三个操作，即将鱼眼图像中所有像素点所对应的高速球图像中的像素点都映射到了拼接全景图像中，即完成了拼接全景图像的拼接处理；步骤3)建立拼接全景图像中像素点与高速球摄像机运动参数之间的映射关系H₂；

当全景图像拼接完成后，需要建立拼接全景图像中所有像素点与高速球摄像机的运动参数之间的映射关系H₂，由步骤2)可知鱼眼图像中的像素点Q所对应的高速球摄像机的运动参数为则拼接全景图像中的像素点Q″所对应的高速球摄像机的运动参数也为因此，拼接全景图像与高速球摄像机的运动参数之间的映射关系H₂为原始映射关系，即有：

其中，(x_joint,y_joint)指的是拼接全景图像I_joint中的像素点坐标值，为其对应的高速球摄像机的运动参数；

步骤4)采用模板匹配方法建立鱼眼摄像机拍摄的鱼眼图像中的像素点与拼接全景图像中的像素点之间的映射关系H₁，即为：

(x_joint,y_joint)＝H₁(u_pano,v_pano)(6)

其中，(u_pano,v_pano)指的是鱼眼图像I_pano中的像素点坐标值，(x_joint,y_joint)为其对应的拼接全景图像I_joint中的像素点坐标值；

步骤5)建立鱼眼摄像机拍摄的鱼眼图像中的像素点与高速球摄像机运动参数之间的映射关系H；

经过上述步骤，已经找到了拼接全景图像中像素点与高速球摄像机运动参数之间的映射关系H₂，以及鱼眼图像中的像素点与拼接全景图像中的像素点之间的映射关系H₁，则最终可得鱼眼图像中的像素点与高速球摄像机运动参数之间的映射关系H如下：

作为优选方案，所述步骤4)中建立映射关系H₁采用的模板匹配方法为快速模板匹配的归一化相关匹配法，具体步骤如下：

(1)将鱼眼图像I_pano分割成M×N个图像块，第i个图像块记为把作为模板图像；

(2)将模板图像与拼接全景图像I_joint进行匹配计算，得到拼接全景图像中与之最匹配的图像 $I_{\mathrm{joint}}^i.$

作为优选方案，为减少匹配的计算复杂度，在拼接全景图像中选择与模板图像具有相同的中心点坐标值，但其大小为模板图像的2-8倍的匹配区域作为最有可能存在匹配图像的区域进行匹配计算，进一步的优选倍数为4倍。

作为优选方案，所述映射关系H₁的计算过程中，还包括使用RANSAC算法检测出错误匹配的图像块，并且进行相应的修正。

本发明通过上述方法，最终能够实现全景凝视相机的空间标定，从而能够准确控制高速球摄像机的水平偏转角和垂直偏转角，使得全景图像中选取的感兴趣监控位置置于PTZ摄像机拍摄的图像的中心。本发明提出的方法具有准确、省时、自动三大优势，对于视频监控领域以及其他相关应用领域具有非常重要的意义。

附图说明：

图1(a)、图1(b)和图1(c)是本发明所述全景凝视相机实物图；

图2是本发明所述全景凝视相机结构示意图；

图3是本发明所述方法的流程图；

图4是本发明所述PTZ摄像机的旋转模型；

图5是本发明所述全景图像的拼接原理图；

图6是本发明所述快速模板匹配方法示意图；

图7是本发明所述建立鱼眼图像中的像素点与PTZ摄像机运动参数之间的映射关系的原理示意图；

图8(a)是本发明所述全景凝视相机中鱼眼摄像机实际拍摄得到的鱼眼图像；

图8(b)是本发明所述全景凝视相机中PTZ摄像机精确凝视图像；

在上述附图中：

1-全景摄像机2-PTZ摄像机(高速球)

具体实施方式

下面将结合实例和附图对本发明作进一步的详细说明。

如图3所示为本发明公开的一种针对全景凝视相机的基于全景图像拼接的空间标定方法流程图。首先，建立PTZ摄像机的旋转模型。如图4所示，以PTZ摄像机的光心O为原点建立PTZ摄像机坐标系O-XYZ，假设PTZ摄像机的主点为P₀，则OP₀即为PTZ摄像机的光轴。假设P₀点的偏航角和俯仰角分别为和θ₀，则P₀点的坐标值(x₀,y₀,z₀)计算如下：

其中，f为PTZ摄像机的焦距。

以PTZ摄像机拍摄得到的PTZ图像I_PTZ的中心点O'为原点建立图像坐标系O'-UV。对于I_PTZ上任意一个像素点P，在已知PTZ摄像机的运动参数为的情况下，其在PTZ摄像机坐标系中的坐标值(x_P,y_P,z_P)计算如下：

其中，同时，其在图像坐标系中的坐标值(u_P,v_P)计算如下：

基于PTZ摄像机拍摄的多张PTZ图像拼接获得全景图像。首先使PTZ摄像机在一个固定的缩放倍数下从左自右、从上自下依次拍摄获得包含场景所有信息的多张图像，然后基于这些图像拼接得到全景图像。如图5所示为全景图像的拼接原理图。对于鱼眼摄像机拍摄得到的鱼眼图像I_pano中的任意一像素点Q(u_Q,v_Q)，根据原始映射关系得到其对应的PTZ摄像机的运动参数其在PTZ图像中对应的像素点记为Q'。由于包含像素点Q'的PTZ图像存在多张，因此需要选取最为合适的一张PTZ图像，本发明采用最短距离法选取PTZ图像，最短距离计算如下：

其中，i表示包含像素点Q'的第i张PTZ图像，假设共有N张PTZ图像包含像素点Q'，即为第i张PTZ图像的运动参数。找到的距离最短的PTZ图像记为同时，其对应的PTZ摄像机的运动参数也就得到了，基于构建的PTZ摄像机旋转模型公式可以计算得到中像素点Q'的坐标值(u_Q',v_Q')。将像素点Q'(u_Q',v_Q')映射到初始空白的拼接全景图像I_joint的(u_Q,v_Q)位置处，记为Q″。对鱼眼图像I_pano中的每个像素点都执行上述操作，即将鱼眼图像中所有像素点所对应的最短距离的PTZ图像中的像素点都映射到了拼接全景图像I_joint中，即完成了拼接全景图像的拼接处理。

基于拼接的全景图像I_joint，首先建立其像素点与PTZ摄像机运动参数之间的映射关系H₂。由于鱼眼图像中I_pano的像素点Q与其对应的拼接全景图像I_joint中的像素点Q″具有相同PTZ摄像机运动参数，因此，拼接全景图像I_joint与PTZ摄像机运动参数之间的映射关系H₂为原始映射关系，即有：

其中，(x_joint,y_joint)指的是拼接全景图像I_joint中的像素点坐标值，为其对应的PTZ摄像机的运动参数。

然后，采用快速模板匹配的归一化相关匹配法建立拼接全景图像I_joint中的像素点与鱼眼图像I_pano中的像素点之间的映射关系H₁。如图6所示，将鱼眼图像I_pano分割成M×N个图像块，第i个图像块记为把作为模板图像。将与拼接全景图像I_joint进行匹配计算，得到拼接全景图像中与之最匹配的图像为减少匹配的计算复杂度，在拼接全景图像中选择与最有可能存在相匹配图像的区域进行匹配计算，选取的匹配区域与具有相同的中心点，其大小为的四倍。完成鱼眼图像中所有图像块的匹配后，便到了鱼眼图像中的像素点与拼接全景图像中的像素点之间的映射关系H₁，即为：

(x_joint,y_joint)＝H₁(u_pano,v_pano)

其中，(u_pano,v_pano)指的是鱼眼图像I_pano中的像素点坐标值，(x_joint,y_joint)为其对应的拼接全景图像I_joint中的像素点坐标值。在计算过程中，模板图像不一定能得到正确的匹配图像即存在错匹配的情况。通过使用已有的RANSAC算法能够有效检测出错误匹配的图像块，并且进行相应的修正。

最后，基于H₁和H₂，建立鱼眼摄像机拍摄的鱼眼图像中的像素点与PTZ摄像机运动参数之间的映射关系H。如图7所示，对于任意一物点W，其在鱼眼图像I_pano中对应的像点为W_pano(u_pano,v_pano)，在拼接全景图像I_joint中对应的像点为W_joint(u_joint,v_joint)，在PTZ图像I_PTZ中对应的像点为W_PTZ，假设此时PTZ摄像机的运动参数为根据H₁能由坐标值(u_pano,v_pano)计算得到(u_joint,v_joint)，而根据H₂能由(u_joint,v_joint)计算得到因此，可得鱼眼图像中的像素点与PTZ摄像机运动参数之间的映射关系H如下：

基于建立的映射关系H，即能根据全景图像中选取的位置控制PTZ摄像机进行精确地转动，使得全景图像中选取的感兴趣监控位置置于PTZ摄像机拍摄的图像的中心，从而实现了全景凝视相机的空间标定。如图8(a)所示为全景凝视相机实际拍摄得到的鱼眼图像，其中用白框标注了8个区域，PTZ摄像机将精确转动到这些区域进行凝视观察。图8(b)所示为PTZ摄像机分别对图8(a)中指定的8个区域进行凝视的结果图像，从图中可以看出，采用本发明所述标定方法后，PTZ摄像机能够精确定位到指定位置进行凝视观察。

Claims (3)

1.一种基于图像拼接的全景凝视相机空间标定方法，其特征在于，包括如下步骤：

步骤1)建立高速球摄像机的旋转模型；

首先，建立高速球摄像机坐标系O-XYZ，其中，O为高速球摄像机的光心，高速球摄像机的主点为P₀，则OP₀为高速球摄像机的光轴，假设P₀点的偏航角和俯仰角分别为和θ₀，则P₀点的坐标值(x₀,y₀,z₀)计算如下：

其中，f为高速球摄像机的焦距；

然后，建立高速球图像坐标系O'-UV，其中，O'为高速球图像的中心点，O'U为高速球图像的水平方向坐标轴，O'V为高速球图像的垂直方向坐标轴；对于高速球图像上任意一个像点P，在已知高速球摄像机的运动参数为的情况下，其对应于高速球摄像机坐标系中的坐标值(x_P,y_P,z_P)计算如下：

其中，同时，像点P在图像坐标系中的坐标值(u_P,v_P)通过下述高速球摄像机旋转模型公式得出：

步骤2)基于高速球摄像机拍摄的多幅高速球图像拼接获得全景图像；

首先，使高速球摄像机在一个固定的缩放倍数下从左自右、从上自下依次拍摄获得包含场景所有信息的多幅高速球图像；然后，建立初始空白的拼接全景图像I_joint；全景图像的拼接过程分为三个步骤：

(1)根据原始映射关系得到鱼眼图像中像素点Q(u_Q,v_Q)对应的高速球摄像机的运动参数

其在高速球图像中对应的像素点记为Q'；

(2)包含像点Q'的高速球图像存在多张，选取距离最近的高速球图像，最近距离计算如下：

其中，i表示包含像点Q'的第i张高速球图像，假设共有N张包含像点Q'的高速球图像，即为对应高速球图像的运动参数；在得到距离最近的高速球图像的同时，其对应的高速球摄像机的运动参数也就得到了，然后基于高速球摄像机旋转模型公式(3)计算得到距离最近的高速球图像中像素点Q'的坐标值(u_Q',v_Q')；

(3)将像素点Q'(u_Q',v_Q')映射到初始空白的拼接全景图像I_joint的(u_Q,v_Q)位置处，记为Q”；

对鱼眼图像中的每个像素点都执行步骤2)中的上述三个操作，即将鱼眼图像中所有像素点所对应的高速球图像中的像素点都映射到了拼接全景图像中，即完成了拼接全景图像的拼接处理；

步骤3)建立拼接全景图像中像素点与高速球摄像机运动参数之间的映射关系H₂；

当全景图像拼接完成后，需要建立拼接全景图像中所有像素点与高速球摄像机的运动参数之间的映射关系H₂，由步骤2)可知鱼眼图像中的像素点Q所对应的高速球摄像机的运动参数为则拼接全景图像中的像素点Q”所对应的高速球摄像机的运动参数也为因此，拼接全景图像与高速球摄像机的运动参数之间的映射关系H₂为原始映射关系，即有：

其中，(x_joint,y_joint)指的是拼接全景图像I_joint中的像素点坐标值，为其对应的高速球摄像机的运动参数；

步骤4)采用模板匹配方法建立鱼眼摄像机拍摄的鱼眼图像中的像素点与拼接全景图像中的像素点之间的映射关系H₁，为：

(x_joint,y_joint)＝H₁(u_pano,v_pano)(6)

其中，(u_pano,v_pano)指的是鱼眼图像I_pano中的像素点坐标值，(x_joint,y_joint)为其对应的拼接全景图像I_joint中的像素点坐标值；

所述模板匹配方法为快速模板匹配的归一化相关匹配法，具体步骤如下：

(1)将鱼眼图像I_pano分割成M×N个图像块，第i个图像块记为把作为模板图像；

(2)将模板图像与拼接全景图像I_joint进行匹配计算，得到拼接全景图像中与之最匹配的图像

步骤5)建立鱼眼摄像机拍摄的鱼眼图像中的像素点与高速球摄像机运动参数之间的映射关系H；

经过上述步骤，已经找到了拼接全景图像中像素点与高速球摄像机运动参数之间的映射关系H₂，以及鱼眼图像中的像素点与拼接全景图像中的像素点之间的映射关系H₁，则最终可得鱼眼图像中的像素点与高速球摄像机运动参数之间的映射关系H如下：

。

2.根据权利要求1所述基于图像拼接的全景凝视相机空间标定方法，其特征在于，所述步骤(2)的匹配计算中，在拼接全景图像中选择与模板图像具有相同的中心点坐标值，但其大小为模板图像的2-8倍的匹配区域作为最有可能存在匹配图像的区域进行匹配计算。

3.根据权利要求1或2所述基于图像拼接的全景凝视相机空间标定方法，其特征在于，所述映射关系H₁的计算过程中，还包括使用RANSAC算法检测出错误匹配的图像块，并且进行修正。