CN102072702B - 一种双摄像机图像对应位置的计算方法 - Google Patents

Abstract

本发明属于视频监控领域，提供了一种双摄像机图像对应位置的计算方法，包括：获取两个摄像机之间的空间位置关系；根据摄像机之间的空间位置关系，由一个摄像机图像上的一点，计算出所述点在另一个摄像机图像上的位置。本发明提供的方法能够对一个摄像机位置与另一个摄像机图像的点关联处理，充分利用了双摄像机各自的优点，对于一个摄像机图像上的任意一点通过本方法就可以确定出另一摄像机位置信息，从而实现智能全景的跟踪；本发明提供的方法充分利用了摄像机之间的空间位置关系，使得本方法不再局限于两个摄像机处于某特定角度的情况，大大增强了本发明方法的适应性。

Description

一种双摄像机图像对应位置的计算方法

技术领域

本发明属于视频监控领域，尤其涉及一种双摄像机图像对应位置的计算方法。

背景技术

目前，随着智能监控技术的不断发展和图像处理技术的日益成熟，原有的采用人力进行可疑目标监控已经满足不了需求，而以人工智能和视频分析等技术为主的智能安防系统很大程度上能弥补人力不足的问题。智能安防系统优势在于可全天候对监控场景进行分析，并实时发现场景中的可疑目标，通过报警等形式通知监控人员做出决策，因此有着广阔的发展空间和巨大的潜在市场。在监控领域使用双摄像机可以实现监视尽量大的场景，而又能够对关心的目标进行清晰的监控，广角摄像机的视角较大，在监控中可实现全景的监控，但是监控画面失真较大，画面的清晰度也比较差，而云台摄像机采用了大变倍的一体化摄像机，可以带来很清晰的监控画面，从而将两者结合起来，通过广角图像进行检测获取运动的目标，控制高速球型摄像机转到运动目标所在的方向，对目标进行细节的监控，实现全景智能的监控，是监控领域的一个重要发展方向。

采用双摄像机实现全景智能跟踪的难点是如何通过一个摄像机图像上的一点计算出在另一摄像机图像上的位置，现在已有的计算方法是在两个摄像机处于一个特定的角度，而当角度改变的时候计算方法就会失效，因此局限性比较大，大大限制了其应用性。

发明内容

本发明提供了一种双摄像机图像对应位置的计算方法，旨在解决已有的计算如何通过一个摄像机图像上的一点计算出在另一摄像机图像上的位置方法是在两个摄像机处于一个特定的角度，而当角度改变的时候计算方法就会失效，因此局限性比较大，大大限制了其应用性的问题。

本发明是这样实现的，一种双摄像机图像对应位置的计算方法，所述方法包括：

获取两个摄像机之间的空间位置关系；

根据摄像机之间的空间位置关系，由一个摄像机图像上的一点，计算出所述点在另一个摄像机图像上的位置。

本发明提供的方法能够对一个摄像机位置与另一个摄像机图像的点关联处理，充分利用了双摄像机各自的优点，对于一个摄像机图像上的任意一点通过就可以确定出另一摄像机位置信息，从而实现智能全景的跟踪；本发明提供的方法充分利用了摄像机之间的空间位置关系，使得本方法不再局限于两个摄像机处于某特定角度的情况，大大增强了本发明方法的适应性。

附图说明

图1为本发明实施例提供的双摄像机图像对应位置的计算方法的实现流程图；

图2为本发明实施例提供的根据摄像机之间的空间位置关系，由一个摄像机图像上的一点，计算出所述点在另一个摄像机图像上的位置的实现流程图；

图3为本发明实施例提供的由球型云台摄像机和鱼眼镜头摄像机实现全景智能跟踪的方法的实现流程图；

图4为本发明实施例提供的鱼眼图像球面投影示意图；

图5为本发明实施例提供的双球面的投影关系图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的双摄像机图像对应位置的计算方法的实现流程图。详述如下：

一种双摄像机图像对应位置的计算方法，包括：

在步骤S101中，获取两个摄像机之间的空间位置关系。

在本步骤中，使用的摄像机可以是广角摄像机也可以是云台摄像机。使用的广角摄像机需要满足符合鱼眼图像球面投影规则(如图4所示)。使用的云台摄像机需要满足可水平360度垂直90度转动，将云台摄像机的位置跟广角摄像机图像的点关联起来，从而云台摄像机可以先作为广角摄像机来处理，然后再对应到云台摄像机的位置；而且将云台摄像机与广角摄像机图像关联的方法为：以广角摄像机二维图像为坐标系，云台摄像机置于坐标系原点，则云台摄像机可扫描整个球面，对于广角摄像机图像上的一点，可计算其入射角度信息，这一入射角度信息可对应到云台摄像机的位置，转动云台摄像机使其处于这一位置，则可使这一点对应的场景点处于云台摄像机图像的中心，从而可使广角摄像机图像的点与云台摄像机的位置关联起来。

在步骤S102中，根据摄像机之间的空间位置关系，由一个摄像机图像上的一点，计算出所述点在另一个摄像机图像上的位置。

图2示出了本发明实施例提供的根据摄像机之间的空间位置关系，由一个摄像机图像上的一点，计算出所述点在另一个摄像机图像上的位置的实现流程，详述如下：

在步骤S201中，获取两个摄像机之间的空间位置关系；

在步骤S202中，获得一个像面上一点对于摄像机的入射角度信息；

本步骤中，计算入射角度信息是按照鱼眼球面投影规则进行处理的。

在步骤S203中，获得这一点对于另一个摄像机的入射角度信息；

在步骤S204中，获得这一点在另一个像面上位置。

在本发明实施例中，采用TI公司的DM642开发板作为视频处理系统，采用摄像机分别为鱼眼镜头摄像机符合鱼眼球面投影规则和球型云台摄像机。

球型云台摄像机首先作为鱼眼镜头摄像机来处理，从而以云台摄像机为球心有一个像面和鱼眼投影球面，称之为球型云台摄像机像面和球型云台摄像机球面，而云台摄像机采集的图像称之为云台摄像机图像。视频处理系统分别采集鱼眼图像和球型云台摄像机的图像作为视频源，以鱼眼视频作为运动检测，对于检测出的目标通过本方法计算出球型云台摄像机的绝对位置，从而控制球型云台摄像机跟踪运动目标。

在本发明实施例中，鱼眼镜头以一定的角度倾斜使DM642视频处理系统采集的鱼眼图像可以看到球型云台摄像机的正下方，在本实施例中，当鱼眼镜头摄像机和球型云台摄像相机位置距离在20cm以下时，计算的准确度误差为±2°，在球型云台摄像相机变倍不是特别大的时候，效果可以接受，因此在两个相机距离差别比较小时可以忽略距离差带来的误差，在本实施例中未考虑距离差，且只考虑两个摄像机形成的像面只有一个方向的角度差即共轴旋转形成的角度差。

如图3所示，具体实现流程包括如下步骤：

在步骤S301中，获得球型云台摄像机和鱼眼镜头摄像机的空间位置关系；

在步骤S302中，在鱼眼图像上任取一点计算其对于鱼眼镜头的入射角度信息；

在步骤S303中，根据获得的入射角度信息和两个摄像机之间的空间位置关系，获得这一点对于球型云台摄像机球面的入射角度信息；

在步骤S304中，根据入射角度信息获得其在球型云台摄像机像面上的位置，获得球型云台摄像机的位置。

对于鱼眼图像的失真包含径向失真和切向失真，由于切向失真对于实际的影响不是很明显，在本方法中仅考虑其径向失真，如图4所示：点O1是像平面的圆心，O1Z1垂直于像平面，为鱼眼镜头光轴方向，O1A1和O1B1为两个入射光线，入射角度定义为入射光线与光轴的夹角，A2和B2为A1和B1在球面上的投影点，D1和D2分别是A1和B1的成像点。设α1和α2为∠A1O1Z1和∠B1O1Z1的弧度值，d1和d2为D1和D2到圆心O1的距离。则投影关系满足式(1)：

$\frac{\mathrm{\α}1}{\mathrm{\α}2}=\frac{d1}{d2}$ $0\≤\mathrm{\α}1\≤\mathrm{\α}2\≤\frac{\mathrm{\π}}{2}---\left(1\right)$

当时，d2等于底面的圆心半径R，有式(2)：

$\mathrm{\α}1=\frac{d1\mathrm{\π}}{2R}---\left(2\right)$

其中R为鱼眼镜头的投影球面半径，在本实施例中取470。

对球型云台摄像机首先作为鱼眼镜头摄像机进行处理形成投影球面，其半径采用与鱼眼图像投影球面相同的半径，从而形成如图5所示的双球面，其中坐标系XYZ为球型云台摄像机投影球面坐标系，坐标系X′Y′Z′为鱼眼的投影球面坐标系，由于不考虑鱼眼相机和球型云台摄像机的距离差，从而两个球面具有相同的X轴和共同的球心O。

在本发明实施例中，获得两个摄像机之间的空间位置关系时，首先假设两个摄像机像面的夹角为α；并且对于球型云台摄像机知道其在Y轴方向的水平角度为pan0，且知道顺时针方向为球型云台摄像机的水平正方向，XYZ平面为球型云台摄像机垂直0度，根据图5所示的球面投影关系图可知：

∠YOY′＝α(3)

在本发明实施例中，在鱼眼图像上选定一个点P2(x′，y′)其对应的场景点为A，连接A与球心O交球面上一点记为P，由式(2)可以获得场景点A对于鱼眼镜头的入射角度

$\∠Z^{\′}\mathrm{OA}=\frac{\sqrt{x^{\′2}+y^{\′2}}\×\mathrm{\π}}{2\×R}---\left(4\right)$

在本发明实施例中，按照鱼眼图像成像规则P在球型云台摄像机抽象像面上的成像点为P1(x，y)。根据垂直投影规则，球面点P在鱼眼像面和球型云台摄像机抽象像面上的垂点为T₂和T₁，过T2向X轴做垂线垂点为T，连接T与T1则可证明TT1垂直X轴，即T也为过T1向X轴做垂线的垂点。根据建立的坐标系和获得入射角度信息鱼眼镜头摄像机和球型云台摄像机的空间位置关系可以由以下坐标变换及投影关系计算，

P2的坐标(x′，y′)和式(4)可知：

$\∠\mathrm{AOT}2=\frac{\mathrm{\π}}{2}-\∠Z^{\′}\mathrm{OA}---\left(5\right)$

$\∠Y^{\′}\mathrm{OT}2=\arctan \frac{x^{\′}}{y^{\′}}---\left(6\right)$

P2(x′，y′)在坐标原点时∠Y′OT2＝0，当y′＝0时x′＞0则x′＜0则当x′＝0时y′＞0则∠Y′OT2＝0，y′＜0则∠Y′OT2＝π；因为反三角函数的值域问题，应根据x′、y′的取值对式(6)的结果按照上面处理的方法进行处理。

T1和T2为P在两个像面上的垂直投影，以及T为T1和T2在X轴上的垂直投影可知：

|OT2|＝R×sin(∠Z′OA)(7)

|OT|＝|OT2|×sin(|∠Y′OT2|)(8)

|PT2|＝R×sin(∠AOT2)(9)

$\left|\mathrm{PT}\right|=\sqrt{R^2-{\left|\mathrm{OT}\right|}^2}---\left(10\right)$

$\∠\mathrm{PTT}2=\arcsin \left(\frac{\left|\mathrm{PT}2\right|}{\left|\mathrm{PT}\right|}\right)---\left(1\right)$

当P在鱼眼像面的像点处于像平面的下半平面(y′＜0)时，即垂直投影T2也处于X′OY′平面的下半平面，式(11)需要做以下修正：

$\∠\mathrm{PTT}2=\mathrm{\π}-\arcsin \left(\frac{\left|\mathrm{PT}2\right|}{\left|\mathrm{PT}\right|}\right)---\left(12\right)$

再由式(3)可得：

∠PTT1＝∠PTT2-∠YOY′＝∠PTT2-α(13)

根据∠PTT1的大小即可知垂点T1处于像平面XOY的上半平面还是下半平面，则处于上半平面反之则在下半平面，又因为T1、T2共用OT即可知T1所处的象限。

|PT1|＝|PT|×sin(|∠PTT1|)

(14)

$\∠\mathrm{AOT}1=\arcsin \left(\frac{\left|\mathrm{PT}1\right|}{R}\right)$

(15)

$\left|\mathrm{OT}1\right|=\sqrt{R^2-{\left|\mathrm{PT}1\right|}^2}$

(16)

$\∠\mathrm{YOT}1=\arcsin \left(\frac{\left|\mathrm{OT}\right|}{\left|\mathrm{OT}1\right|}\right)$

(17)

因为可知T1处于那一个象限内，因此∠YOT1的取值可以参照∠YOT2的取值方法进行处理。

从而获得A对于球型云台摄像机投影球面的入射角度：

$\∠\mathrm{ZOA}=\frac{\mathrm{\π}}{2}-\∠\mathrm{AOT}1$

(18)

在步骤304中根据式(2)、式(17)、式(18)以及P1(x，y)可得方程组：

$\left\{\begin{array}{c}x=y\×\tan (\∠\mathrm{YOT}1)\\ \sqrt{x^2+y^2}=\frac{\∠\mathrm{ZOA}\×2R}{\mathrm{\π}}\end{array}\right.$

(19)

求解方程组(19)即可得到场景点A在球型云台摄像机像面上的位置，x，y的取值正负可根据T1所处的象限确定。

然后根据x，y的值计算其入射角度信息，得到球型云台摄像机的位置，控制球型云台摄像机转到计算所得到的位置，使得场景点A在球型云台摄像机图像的像点处于图像的中心。设此时云台摄像机的水平位置为pan垂直位置为tilt，由式(15)和式(17)，以及步骤一中获得pan0可知：

pan＝(pan0+∠YOT1)％360(20)

tilt＝∠AOT1

(21)

下面对使用本案例方法获得两个摄像机空间位置的方法做一个简单介绍：首先在鱼眼镜头图像上选择一点，然后控制球型云台摄像机使这一点对应的场景点在球型云台摄像机图像上的像点处于图像的中心，通过查询可得到此时球型云台摄像机的位置即p和t。

由式(4)～式(11)可求出∠PTT2和|OT|以及|PT|，在由式(21)和式(15)可知：

|PT1|＝R×sin(∠AOT1)＝R×sin(t)(22)

再由式(16)和式(17)可求出∠YOT1，由式(14)可知：

$\∠\mathrm{PTT}1=\arcsin \left(\frac{\left|\mathrm{PT}1\right|}{\left|\mathrm{PT}\right|}\right)$

(23)

由式(13)和式(20)可知：

α＝∠YOY′＝∠PTT2-∠PTT1(24)

pan0＝(p-∠YOT1)％360

(25)

在本实施的处理中，是首先让一个像平面处于水平进行处理的，其它的情况只要是符合基本的要求都可以转化为这种情况进行处理；另外对于两个摄像机形成的投影球面没有重叠的情况本方法不再适用。

本发明的有益效果在于：首先，摄像机位置与广角摄像机图像的点关联处理能够充分利用广角图像大视角的特性以及云台摄像机清晰的监控图像的优点，对于广角摄像机图像上的任意一点通过本发明方法就可以确定出云台摄像机位置信息，从而实现智能全景的跟踪；其次、可适应摄像机比较广泛，只要是符合条件的广角摄像机或者云台摄像机不论怎么组合都可以采用本方法进行计算，增强了本方法的适应性。此外，本方法利用了摄像机之间的空间位置关系来计算双摄像机图像对应位置，不再局限于两个摄像机处于某特定角度的情况，大大增强了本发明方法的适应性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种双摄像机图像对应位置的计算方法，其特征在于，所述方法包括：

步骤一，获取两个摄像机之间的空间位置关系；所述摄像机，一台是广角摄像机，另一台是云台摄像机；所述云台摄像机满足水平360度垂直90度转动，将云台摄像机的位置跟广角摄像机图像的点关联起来；

所述将云台摄像机与广角摄像机图像关联的方法为：

以广角摄像机二维图像为坐标系，云台摄像机置于坐标系原点，云台摄像机扫描整个球面；

对于广角摄像机图像上的一点，计算其入射角度信息；

将这一入射角度信息，对应到云台摄像机的位置；

转动云台摄像机使其处于所述位置，使所述广角摄像机图像上的一点对应的场景点处于云台摄像机图像的中心，使广角摄像机图像的点与云台摄像机的位置关联起来；

步骤二，根据摄像机之间的空间位置关系，由一个摄像机图像上的一点，计算出所述点在另一个摄像机图像上的位置；

所述根据摄像机之间的空间位置关系，由一个摄像机图像上的一点，计算出所述一个摄像机图像上的一点在另一个摄像机图像上的位置的实现方法为：

获得一个摄像机图像上一点对于摄像机的入射角度信息；

获得所述一个摄像机图像上一点对于另一个摄像机的入射角度信息；

获得所述一个摄像机图像上一点在另一个像面上位置；

所述获得一个摄像机图像上一点对于摄像机的入射角度信息是按照鱼眼球面投影规则进行处理的；

所述计算一个摄像机图像上一点对于另一个摄像机的入射角度信息采用垂直投影坐标变换进行计算。