CN102694968A - 摄像装置及其环景监控方法 - Google Patents

Abstract

一种摄像装置及环景监控方法，该方法包括如下步骤：获取摄像装置的鱼眼镜头摄取的监控对象图像；获取监控对象投影面上一点的坐标(P_x，P_y)；计算点(P_x，P_y)在鱼眼镜头的外部虚拟镜头平面上的投影点(F_x*，F_y*，F_z*)；计算点(F_x*，F_y*，F_z*)在鱼眼镜头的平面上的投影点(F_x，F_y)，从而获得从(P_x，P_y)到(F_x，F_y)的转换公式；根据上述获取的转换公式，获取鱼眼镜头所摄取的图像中的每一点在投影面上的对应点。利用本发明可以校正鱼眼镜头所造成的影像失真。

Description

摄像装置及其环景监控方法

技术领域

本发明涉及一种摄像装置及其环景监控方法。

背景技术

快速球型摄影机(Speed Dome Camera)通过马达的带动，让操作人员能够进行大范围的场景监控。但是，由于受限于镜头的视角范围，在同时间同一部摄影机仍然只能够监控一部分的场景，视角范围外所发生的事情便无从探知。而鱼眼镜头(Fisheye Lens)由于拥有超广视角，可同时拍摄大范围场景，因此常被应用在需要大范围监控的场景。但是，鱼眼镜头在拥有超广视角的同时，其成像的严重扭曲变形却也为观看者带来困扰。

发明内容

鉴于以上内容，有必要提供一种摄像装置及其环景监控方法，其可将摄像装置的鱼眼镜头所造成的失真影像的一部分，通过反投影(Back Projection)运算，还原成较接近人类视觉经验的影像。

一种摄像装置，该摄像装置包括：

鱼眼镜头；

存储器；

一个或多个处理器；以及

一个或多个模块，所述一个或多个模块被存储在所述存储器中并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括：

图像获取模块，用于获取摄像装置的鱼眼镜头摄取的监控对象图像；

转换公式获取模块，用于获取监控对象投影面上一点的坐标(P_x，P_y)；

所述转换公式获取模块，还用于计算点(P_x，P_y)在鱼眼镜头的外部虚拟镜头平面上的投影点(F_x*，F_y*，F_z*)；

所述转换公式获取模块，还用于计算点(F_x*，F_y*，F_z*)在鱼眼镜头的平面上的投影点(F_x，F_y)，从而获得从投影面上的点(P_x，P_y)到鱼眼镜头平面上的对应点(F_x，F_y)的转换公式；

画面重建模块，用于根据上述获取的转换公式，对鱼眼镜头所摄取的图像中的每一点进行反投影计算，以获取鱼眼镜头所摄取的图像中的每一点在投影面上的对应点，从而获取重建后的图像。

一种利用摄像装置进行环景监控的方法，该方法包括如下步骤：

获取摄像装置的鱼眼镜头摄取的监控对象图像；

获取监控对象投影面上一点的坐标(P_x，P_y)；

计算点(P_x，P_y)在鱼眼镜头的外部虚拟镜头平面上的投影点(F_x*，F_y*，F_z*)；

计算点(F_x*，F_y*，F_z*)在鱼眼镜头的平面上的投影点(F_x，F_y)，从而获得从投影面上的点(P_x，P_y)到鱼眼镜头平面上的对应点(F_x，F_y)的转换公式；

根据上述获取的转换公式，对鱼眼镜头所摄取的图像中的每一点进行反投影计算，以获取鱼眼镜头所摄取的图像中的每一点在投影面上的对应点，从而获取重建后的图像。

前述方法可以由摄像装置执行，其中该摄像装置具有一个或多个处理器、存储器以及保存在存储器中用于执行这些方法的一个或多个模块、程序或指令集。

用于执行前述方法的指令可以包含在被配置成由一个或多个处理器执行的程序产品中。

相较于现有技术，所述的摄像装置及其环景监控方法，其可将摄像装置的鱼眼镜头所造成的失真影像的一部分，通过反投影(Back Projection)运算，还原成较接近人类视觉经验的影像，提高了鱼眼镜头所摄取图像的清晰度。并且，通过控制运算参数，可以达到模拟摄像装置的三维镜头转动，如水平转动(Pan)、垂直转动(Tilt)以及变焦缩放(Zoom in/out)。

附图说明

图1是本发明摄像装置较佳实施例的结构方框图。

图2是环景监控系统的功能模块图。

图3是本发明利用摄像装置进行环景监控的方法的较佳实施例的流程图。

图4是一个简化的鱼眼镜头二维成像模型示意图。

图5是图4中的影像经过投影(Projection)至成像面后形成的鱼眼影像画面。

图6是第一个简化的鱼眼镜头三维成像模型示意图。

图7是第二个简化的鱼眼镜头三维成像模型示意图。

图8是将一张白纸P1放于第一位置的情况下鱼眼镜头的成像示意图。

图9是对图8中的鱼眼镜头影像进行反投影后，在P1上得到的影像示意图。

图10是将一张白纸P1放于第二位置的情况下鱼眼镜头的成像示意图。

图11是对图10中的鱼眼镜头影像进行反投影后，在P1上得到的影像示意图。

图12是在鱼眼镜头外面再加上一个外部虚拟镜头的示意图。

图13是在图12中的外部虚拟镜头平面上投影的示意图。

图14是在图12中的鱼眼镜头平面上投影的示意图。

图15是将投影面上的点投影到外部虚拟镜头平面上的几何模型。

图16是控制鱼眼镜头垂直转动的的示意图。

图17是控制鱼眼镜头在吊装(Ceiling Mounting)状态下进行平移的示意图。

图18是控制鱼眼镜头在壁装(Wall Mounting)状态下进行平移的示意图。

图19是将投影面上的点投影到外部虚拟镜头平面上的简化示意图。

图20是将外部虚拟镜头平面上的点投影到鱼眼镜头平面上的几何模型。

主要元件符号说明

摄像装置	2
		环景监控系统	20
鱼眼镜头	21
		外部虚拟镜头	31
存储器	22
		驱动器	23
处理器	24
		图像获取模块	201
转换公式获取模块	202
		画面重建模块	203

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

如图1所示，是本发明摄像装置较佳实施例的结构方框图。在本实施例中，该环景监控系统20运行于摄像装置2中。该摄像装置2还包括鱼眼镜头(Fisheye Lens)21、存储器22、驱动器23和处理器24。所述摄像装置2包括，但不限于，可由软件或硬件电路方式驱动的巡转台摄影机、快速球型摄影机(Speed Dome Camera)和可平移(Pan)、倾斜(Tilt)、缩放(Zoom)的PTZ(Pan/Tilt/Zoom)摄影机等。

其中，所述鱼眼镜头21用于获取监控对象的图像。在本实施例中。所述驱动器23可以是驱动马达，用于驱动摄像装置2的鱼眼镜头21进行移动以进行焦距调整等。

所述存储器22用于存储该环景监控系统20的程序代码及鱼眼镜头21获取的图像等。在本实施例中，该环景监控系统20用于将鱼眼镜头21所造成的失真影像的一部分，通过反投影运算，还原成较接近人类视觉经验的影像，具体过程参见图3的描述。

在本实施例中，所述环景监控系统20可以被分割成一个或多个模块，所述一个或多个模块被配置成由一个或多个处理器(本实施例为一个处理器24)执行，以完成本发明。例如，参阅图2所示，所述环景监控系统20被分割成图像获取模块201、转换公式获取模块202和画面重建模块203。本发明所称的模块是完成一特定功能的程序段，比程序更适合于描述软件在摄像装置2中的执行过程，各模块的功能将结合图3的流程图详细描述。

在开始介绍图3的具体流程之前，首先介绍鱼眼镜头的成像原理。图4为一简化的鱼眼镜头二维成像模型。在图4中，周围世界的光线(Rays)朝向镜头焦点(Focal Point)前进，因而在镜头的半球型表面(虚线部分)形成初步的影像。此影像在经过投影(Projection)至成像面后即形成我们所看到的鱼眼影像画面，如图5所示。

由图4与图5我们同时也了解到鱼眼镜头的成像是可以涵盖极广的范围，但同时也需付出画面内容失真、变形的代价。此等失真变形现象的成因在三维模型下将会更加的一目了然。

图6即为三维的鱼眼镜头成像模型。假设线段L1代表空间中的一条直线，此线段L1将会在镜头表面形成如曲线L2的轨迹，经过投影后，便在成像面形成了曲线L3。图7则为另几种不同线段最终在成像面所形成的轨迹。从图6与图7中的在成像面上形成的轨迹，也可看出：鱼眼镜头越接近边缘，变形程度越大。

在理解了鱼眼镜头的成像原理之后，我们接下来便可以着手进行影像的重建。经由观察成像模型，我们了解到，针对最终成像面上的每一点，我们都可以反向推导出其入射角(相对于焦点)等信息，因此反向的将影像投影回去变成可行。

假设将一张白纸P1放在如图8所示的位置，则经过反投影(Back Projection)后，将会在投影面P1上得到如图9所示的影像。

另外，如果将白纸放在如图10的角度，则经过反投影后，将会在投影面P1上得到如图11所示的影像。在图11中，下方的线段L4由于超出了P1的范围，因此在反投影后将不会出现在画面中。

为了消除鱼眼镜头21所造成的影像失真，本发明假设在鱼眼镜头21外面再加上一个圆心角大于180度的外部虚拟镜头31，参阅图12所示。该外部虚拟镜头31并非真实存在于鱼眼镜头21的外部，只是为了获取相关反投影运算参数而虚拟出来的一个镜头。其中，C₀为外部虚拟镜头31的焦点，f₀为外部虚拟镜头31的焦距。周围世界的光线(Rays)朝向外部虚拟镜头31的焦点C₀前进，因而在外部虚拟镜头31的表面(外部虚线部分)形成初步的影像。

同样的，继续参阅图13所示，对于鱼眼镜头21(相当于一个内部镜头)而言，一道道光线仍是向着其焦点C₁前进，不同的是此时其光线的来源是先前已在外部虚拟镜头31的表面所形成的初步影像。其中，C₁为鱼眼镜头21的焦点，f₁为鱼眼镜头21的焦距。最后投影至成像面而形成最终的鱼眼影像，参阅图14所示。

从这个模型我们可以看出，原先所无法投影的光线(小于0度或是大于180度)在这个模型中都能够被投影至最终的成像面。因此，通过调节外部虚拟镜头31的焦点C₀与鱼眼镜头21的焦点C₁之间的距离，可以达到扩大视角范围的目的。

以下将具体描述本发明如何将鱼眼镜头影像中的坐标反投影到投影面上，以获取更为清晰的影像资料。

如图3所示，是本发明利用摄像装置进行环景监控的方法的较佳实施例的流程图。

步骤S1，图像获取模块201获取摄像装置2的鱼眼镜头21摄取的监控对象图像。举例而言，假设摄像装置2的鱼眼镜头21每秒钟拍摄10张图像，则摄像装置2拍摄的间隔时间为0.1秒钟，即每隔0.1秒钟，摄像装置2的鱼眼镜头21拍摄一张图像。

步骤S2，转换公式获取模块202获取监控对象投影面上一点的坐标(P_x，P_y)。

步骤S3，转换公式获取模块202计算点(P_x，P_y)在鱼眼镜头21的外部虚拟镜头31平面上的投影点(F_x*，F_y*，F_z*)。

参阅图15所示，是将投影面P上的点投影到外部虚拟镜头31平面上的几何模型。假设投影面P的角度位置如图15中所表示，其上的一点坐标为(P_x，P_y)，则计算点(P_x，P_y)在外部虚拟镜头31平面上的投影点(F_x*，F_y*，F_z*)的方法如下公式(1)-(11)所示。

$h1=\sqrt{{\mathrm{Px}}^2+{\mathrm{Py}}^2};---\left(1\right)$

$h2=\sqrt{{h1}^2+{f_0}^2};---\left(2\right)$

h3＝f₀*sin(ω)；        (3)

h4＝P_y*cos(ω)；        (4)

h34＝h3+h4；            (5)

$\mathrm{\θ}={\sin }^{-1}\left(\frac{h34}{h2}\right);---\left(6\right)$

h5＝h2*cos(θ)；        (7)

$\mathrm{\τ}={\cos }^{-1}\left(\frac{\mathrm{Px}}{h5}\right);---\left(8\right)$

F_y ^*＝f₀*sin(θ)；       (9)

F_x ^*＝f₀*cos(θ)cos(τ)；(10)

F_z ^*＝f0*cos(θ)sin(τ)。(11)

其中，f₀＝外部虚拟镜头31的焦距(focal length)。因此，在给定外部虚拟镜头31相关参数的情形下，针对投影面P上的每一点(P_x，P_y)，都可以求得其在外部虚拟镜头31平面上的投影点(F_x*，F_y*，F_z*)。

以下进一步介绍投影面控制相关参数。

参阅图16所示，ω为控制俯仰角，用于控制摄像装置2的鱼眼镜头21垂直转动(Tilt)。

针对水平转动(Pan)的控制，则根据鱼眼镜头21的拍摄角度而有不同的控制参数。图17显示为当鱼眼镜头21是在吊装(CeilingMounting)状态下由上往下拍摄时，改变角度λ可以达到Pan的效果，其原理则相当于影像的旋转。而针对如图18的壁装(WallMounting)拍摄方式，Pan则是透过调整τ来达成。

其它不同的拍摄角度，例如平放桌面向上拍摄或是45度角(装置于墙角)的拍摄方式，也都可以通过调整上述参数的来达到控制的效果。另外，放大与缩小(Zoom in/out)影像则可以通过一般的影像缩放算法实现，例如双线性(Bilinear)算法。

步骤S4，转换公式获取模块202计算点(F_x*，F_y*，F_z*)在鱼眼镜头21的平面上的投影点(F_x，F_y)，从而获得从投影面上的点(P_x，P_y)到鱼眼镜头21平面上的对应点(F_x，F_y)的转换公式。

具体而言，参阅图19所示，投影面P上的一点(P_x，P_y)首先向着外部虚拟镜头31的焦点C₀前进，进而在外部虚拟镜头31的平面上形成一点(F_x*，F_y*，F_z*)。参阅图20所示，光线继续往鱼眼镜头21的焦点C₁前进，进而在鱼眼镜头21的平面上形成一点(F_x，F_y)，则计算点(F_x*，F_y*，F_z*)在鱼眼镜头21平面上的投影点(F_x，F_y)的方法如下公式(12)-(17)所示。

令Δ＝F_z ^*+|C₁-C₀|；           (12)

${\mathrm{\τ}}^{\′}={\tan }^{-1}\left(\frac{{\mathrm{Fx}}^{*}}{\mathrm{\Δ}}\right);---\left(13\right)$

$S_1=\frac{{\mathrm{Fx}}^{*}}{\sin \left({\mathrm{\τ}}^{\′}\right)};---\left(14\right)$

${\mathrm{\θ}}^{\′}={\tan }^{-1}\left(\frac{{\mathrm{Fy}}^{*}}{S_1}\right);---\left(15\right)$

F_y＝f₁*sin(θ′)；            (16)

F_x＝f₁*cos(θ′)sin(τ′)。   (17)

其中，f₁＝鱼眼镜头21的焦距。因此，在给定外部虚拟镜头31和鱼眼镜头21的焦点和焦距的情况下，针对投影面P上的每一点(Px，Py)，都可以根据公式(1)-(17)求得其在鱼眼镜头21平面上的对应点(F_x，F_y)。

步骤S5，画面重建模块203根据上述获取的转换公式(1)-(17)，对鱼眼镜头21所摄取的图像中的每一点进行反投影(BackProjection)计算，以获取鱼眼镜头21所摄取的图像中的每一点在投影面P上的对应点，从而获取重建后的图像。由于重建后的图像消除了鱼眼镜头21所造成的一部分失真影像，从而提高了鱼眼镜头21所摄取图像的清晰度。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种利用摄像装置进行环景监控的方法，其特征在于，该方法包括如下步骤：

获取摄像装置的鱼眼镜头摄取的监控对象图像；

获取监控对象投影面上一点的坐标(P_x，P_y)；

计算点(P_x，P_y)在鱼眼镜头的外部虚拟镜头平面上的投影点(F_x*，F_y*，F_z*)；

计算点(F_x*，F_y*，F_z*)在鱼眼镜头的平面上的投影点(F_x，F_y)，从而获得从投影面上的点(P_x，P_y)到鱼眼镜头平面上的对应点(F_x，F_y)的转换公式；及

根据上述获取的转换公式，对鱼眼镜头所摄取的图像中的每一点进行反投影计算，以获取鱼眼镜头所摄取的图像中的每一点在投影面上的对应点，从而获取重建后的图像。

2.如权利要求1所述的利用摄像装置进行环景监控的方法，其特征在于，所述计算点(P_x，P_y)在鱼眼镜头的外部虚拟镜头平面上的投影点(F_x*，F_y*，F_z*)的公式包括：

$h1=\sqrt{{\mathrm{Px}}^2+{\mathrm{Py}}^2};---\left(1\right)$

$h2=\sqrt{{h1}^2+{f_0}^2};---\left(2\right)$

h3＝f₀*sin(ω)；        (3)

h4＝P_y*cos(ω)；        (4)

h34＝h3+h4；            (5)

$\mathrm{\θ}={\sin }^{-1}\left(\frac{h34}{h2}\right);---\left(6\right)$

h5＝h2*cos(θ)；        (7)

$\mathrm{\τ}={\cos }^{-1}\left(\frac{\mathrm{Px}}{h5}\right);---\left(8\right)$

F_y*＝f₀*sin(θ)；       (9)

F_x*＝f₀*cos(θ)cos(τ)；(10)

F_z*＝f₀*cos(θ)sin(τ)；(11)

其中，f₀为外部虚拟镜头的焦距，ω为控制俯仰角。

3.如权利要求2所述的利用摄像装置进行环景监控的方法，其特征在于，所述计算点(F_x*，F_y*，F_z*)在鱼眼镜头的平面上的投影点(F_x，F_y)的公式包括：

Δ＝F_z ^*+|C₁-C₀|；              (12)

${\mathrm{\τ}}^{\′}={\tan }^{-1}\left(\frac{{\mathrm{Fx}}^{*}}{\mathrm{\Δ}}\right);---\left(13\right)$

$S_1=\frac{{\mathrm{Fx}}^{*}}{\sin \left({\mathrm{\τ}}^{\′}\right)};---\left(14\right)$

${\mathrm{\θ}}^{\′}={\tan }^{-1}\left(\frac{{\mathrm{Fy}}^{*}}{S_1}\right);---\left(15\right)$

F_y＝f₁*sin(θ′)；             (16)

F_x＝f₁*cos(θ′)sin(τ′)；    (17)

其中，C₀为外部虚拟镜头的焦点，C₁为鱼眼镜头的焦点，f₁为鱼眼镜头的焦距。

4.如权利要求1所述的利用摄像装置进行环景监控的方法，其特征在于，所述外部虚拟镜头的圆心角大于180度。

5.如权利要求1所述的利用摄像装置进行环景监控的方法，其特征在于，所述摄像装置包括巡转台摄影机、快速球型摄影机和PTZ摄影机。

6.一种摄像装置，其特征在于，该摄像装置包括：

鱼眼镜头；

存储器；

一个或多个处理器；以及

一个或多个模块，所述一个或多个模块被存储在所述存储器中并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括：

图像获取模块，用于获取摄像装置的鱼眼镜头摄取的监控对象图像；

转换公式获取模块，用于获取监控对象投影面上一点的坐标(P_x，P_y)；

所述转换公式获取模块，还用于计算点(P_x，P_y)在鱼眼镜头的外部虚拟镜头平面上的投影点(F_x*，F_y*，F_z*)；

所述转换公式获取模块，还用于计算点(F_x*，F_y*，F_z*)在鱼眼镜头的平面上的投影点(F_x，F_y)，从而获得从投影面上的点(P_x，P_y)到鱼眼镜头平面上的对应点(F_x，F_y)的转换公式；及

画面重建模块，用于根据上述获取的转换公式，对鱼眼镜头所摄取的图像中的每一点进行反投影计算，以获取鱼眼镜头所摄取的图像中的每一点在投影面上的对应点，从而获取重建后的图像。

7.如权利要求6所述的摄像装置，其特征在于，所述转换公式获取模块计算点(P_x，P_y)在鱼眼镜头的外部虚拟镜头平面上的投影点(F_x*，F_y*，F_z*)的公式包括：

$h1=\sqrt{{\mathrm{Px}}^2+{\mathrm{Py}}^2};---\left(1\right)$

$h2=\sqrt{{h1}^2+{f_0}^2};---\left(2\right)$

h3＝f₀*sin(ω)；         (3)

h4＝P_y*cos(ω)；         (4)

h34＝h3+h4；             (5)

$\mathrm{\θ}={\sin }^{-1}\left(\frac{h34}{h2}\right);---\left(6\right)$

h5＝h2*cos(θ)；         (7)

$\mathrm{\τ}={\cos }^{-1}\left(\frac{\mathrm{Px}}{h5}\right);---\left(8\right)$

F_y ^*＝f₀*sin(θ)；        (9)

F_x ^*＝f₀*cos(θ)cos(τ)； (10)

F_z ^*＝f₀*cos(θ)sin(τ)； (11)

其中，f₀为外部虚拟镜头的焦距，ω为控制俯仰角。

8.如权利要求7所述的摄像装置，其特征在于，所述转换公式获取模块计算点(F_x*，F_y*，F_z*)在鱼眼镜头的平面上的投影点(F_x，F_y)的公式包括：

Δ＝F_z ^*+|C₁-C₀|；         (12)

${\mathrm{\τ}}^{\′}{=\tan }^{-1}\left(\frac{{\mathrm{Fx}}^{*}}{\mathrm{\Δ}}\right);---\left(13\right)$

$S_1=\frac{{\mathrm{Fx}}^{*}}{\sin \left({\mathrm{\τ}}^{\′}\right)};---\left(14\right)$

${\mathrm{\θ}}^{\′}={\tan }^{-1}\left(\frac{{\mathrm{Fy}}^{*}}{S_1}\right);---\left(15\right)$

F_y＝f₁*sin(θ′)；          (16)

F_x＝f₁*cos(θ′)sin(τ′)； (17)

其中，C₀为外部虚拟镜头的焦点，C₁为鱼眼镜头的焦点，f₁为鱼眼镜头的焦距。

9.如权利要求6所述的摄像装置，其特征在于，所述外部虚拟镜头的圆心角大于180度。

10.如权利要求6所述的摄像装置，其特征在于，所述摄像装置包括巡转台摄影机、快速球型摄影机和PTZ摄影机。

Images