CN101641611A - 摄像头装置及确定第一摄像头相对于第二摄像头的相对位置的方法 - Google Patents

Abstract

一种确定第一摄像头相对于第二摄像头的相对位置的方法，其包括下列步骤：至少确定各个基准点相对于第一摄像头的第一、第二和第三位置；至少确定所述各个基准点相对于第二摄像头的第一、第二和第三距离；至少采用第一位置、第二位置和第三位置以及第一距离、第二距离和第三距离，来计算第二摄像头相对于第一摄像头的相对位置。

Description

摄像头装置及确定第一摄像头相对于第二摄像头的相对位置的方法

技术领域

本发明涉及一种用于确定第一摄像头相对于第二摄像头的相对位置的方法。

本发明还涉及包括第一摄像头、第二摄像头以及控制节点的摄像头装置。

背景技术

最近的科技发展实现了能够提供对捕捉到的场景进行高品质描述和分析的新一代智能摄像头。这些装置可以支持各种应用，包括人和动物检测、监视、动作分析以及面部识别。例如，W.Wolf等人在“Smart cameras as embedded systems”，in Computer，vol.35，no.9，pp.48-53，2006中说明了这种智能摄像头。

完全利用从多个有利位置采集到的图像，有助于了解场景中的这种智能摄像头是如何相对于彼此定位和定向的。

发明内容

本发明的目的是提供一种能够确定第一和第二摄像头的相对位置而避免采用单独的位置感测装置的方法。本发明的另一个目的是提供一种摄像头装置，其包括第一摄像头、第二摄像头和控制节点，该摄像头装置能够确定这些摄像头的相对位置，而避免采用单独的位置感测装置。

根据本发明，通过根据权利要求1所述的方法和根据权利要求2所述的摄像头装置，来实现这些目的。

本发明基于以下认识：如果这些摄像头具有其中可以观测到至少三个公共基准点的共享视场，则可以计算出这些摄像头相对于彼此的位置。为了确定该相对位置，知道这些基准点相对于这些摄像头中的第一个摄像头的相对位置(x₁，y₁)、(x₂，y₂)、(x₃，y₃)，同时知道这些基准点相对于另一个摄像头的相对距离d₁、d₂、d₃就足够了。

采用深度和角度信息可以得到这些基准点的相对位置。采用立体摄像头可以得到深度和角度。通过下式：

x_i＝d_icos(θ_i)，和

y_i＝d_isin(θ_i)

可以得到具有深度d_i和角度θ_i的基准点相对于摄像头的相对位置(x_i，y_i)。

这些基准点是静态点还是移动对象随后时刻的观测点是不重要的。在一个实施例中，这些基准点例如是布置在空间中的亮斑。可替换地，它可以是移动通过空间从而可以在不同的时刻形成不同的基准点的单个斑。可替换地，采用模式识别算法，可以将这些基准点作为空间中的典型特征来进行检测。

知道了相对于第一摄像头的三个相对位置(x₁，y₁)、(x₂，y₂)、(x₃，y₃)以及相对于第二摄像头的深度信息d₁、d₂、d₃，就可以如下计算这些摄像头相对于彼此的相对位置。

在这个计算中，引入下列辅助公式来简化这些等式：

a₁＝2x₂-2x₁；

b₁＝2y₂-2y₁；

$c_1=x_2^2+y_2^2-d_2^2-x_1^2-y_1^2-d_1^2;$

a₂＝2x₃-2x₁；

b₂＝2y₃-2y₁；

$c_2=x_3^2+y_3^2-d_3^2-x_1^2-y_1^2-d_1^2.$

现在，采用下列等式，可以计算出第二个摄像头的位置(x_c，y_c)：

$x_c=\frac{b_2{c}_1-b_1{c}_2}{a_1{b}_2-b_1{a}_2},$ 和

$y_c=\frac{a_1{c}_2-a_2{c}_1}{a_1{b}_2-b_1{a}_2}.$

可替换地，通过在x_c和y_c的等式中代入这些辅助公式，可以避免使用这些辅助公式。

在耦接到这些摄像头的中央节点中可以识别这些摄像头捕捉到的图像中的特征。不过，在一个优选实施例中，这些摄像头是智能摄像头。这具有的优点是：这些摄像头和中央节点之间的通信只需要相对较小的带宽。

在优选实施例中，摄像头装置还被布置成计算第一和第二摄像头的相对定向。另外，可以采用算法计算这个相对定向。

附图说明

参照附图，对本发明的这些和其他方面进行详细说明。其中：

图1示意性地示出了具有公共视场的摄像头的装置；

图2示出了采用第一摄像头的位置和定向对全局空间进行的定义；

图3示出了第一摄像头的局部空间；

图4示出了全局空间，其中将第一摄像头布置在原点，并且其取景方向对应于x轴；

图5示出了基于单个基准点的基准坐标和摄像头与该基准点之间的距离而得到的摄像头的可能位置的一组解；

图6示出了基于两个基准点的基准坐标和摄像头与这些基准点之间的两个距离而得到的摄像头的可能位置的一组解；

图7示出了基于三个基准点的基准坐标和摄像头与这些基准点之间的三个距离而得到的摄像头的可能位置的一组解。

具体实施方式

在本发明的下文的详细说明中，阐述了众多的特定细节，以便彻底地理解本发明。不过，在不采用这些特定细节的情况下也可以实施本发明。在其他情况下，并没有对已知的方法、步骤、和/或部件进行详细地说明，以便不把本发明的这些方面说明得含混难懂。

图1示出了4节点的示例网络，该网络包括三个能够进行对象识别的摄像头C1、C2、C3以及中央节点C4。这个节点负责同步网络中的其他节点、接收数据并创建这些传感器的2D映射图。在这个实施例中，摄像头C1、C2、C3是智能摄像头，能够进行对象识别。这些智能摄像头向中央节点C4报告检测到的对象特征以及对象特征被检测到的深度和角度。不过，在另一个实施例中，这些摄像头向中央节点发送视频信息，中央节点采用从这些摄像头接收到的视频信息执行对象识别。如果使用的对象可以很清楚地从背景中区分出来而且形状简单(比如，亮光斑)，则对象识别可以相对简单。

在图1中示出了两个区域：A1和A2。A1对网络中的所有摄像头可见，而A2只对摄像头C1和C3可见。黑色路径是在该区域中移动的对象，而斑(t0，t1，…，t5)是捕捉到的对象的瞬时位置。参照这个照片对算法进行说明。例如，捕捉到的对象是走过房间的人的脸。

不做任何限制，假定所有的摄像头已经在每个瞬时t0，t1，…，t5对检测到的人脸的视角和深度进行了测量，而且，所有的这个信息已经被发送到中央节点并被存储在中央节点中。在表1中显示了这个数据：

表1：从智能摄像头接收到的数据

tj	C1	C2	C3
				t0	(dC1，t0，θC1，t0)	0	(dC3，t0，θC3，t0)
t1	(dC1，t1，θC1，t1)	0	(dC3，t1，θC3，t1)
				t2	(dC1，t2，θC1，t2)	(dC2，t2，θC2，t2)	(dC3，t2，θC3，t2)
t3	(dC1，t3，θC1，t3)	(dC2，t3，θC2，t3)	(dC3，t3，θC3，t3)
				t4	(dC1，t4，θC1，t4)	(dC2，t4，θC2，t4)	(dC3，t4，θC3，t4)
t5	(dC1，t5，θC1，t5)	(dC2，t5，θC2，t5)	(dC3，t5，θC3，t5)

表1示出了存储在中央节点中的数据。存储了针对每个摄像头C_i和每个瞬时t_j的对象相对于该摄像头的深度d_Ci，tj以及θ_Ci，tj。如果摄像头正在进行拍照，而它并没有在它的视场(field of view，FOV)中检测到任何人脸，则它通过存储0值来指定这种情况。

为了创建网络的2D映射图，需要知道这些摄像头的相对位置。为了找到这个信息，第一步是指定具有位置为(0，0)的原点0的笛卡尔平面。这个点与一个摄像头的位置相关。采用这个起始点和从这些摄像头接收到的数据，中央节点能够获得其他摄像头的相对位置。如图2所示，被选为开始这种计算的第一摄像头被放置在点(0，0)，其中，其定位对着x轴的正方向。根据那个点和定向，可以找到其他摄像头的位置。

现在，中央节点可以创建一个表来指定哪一个摄像头已经位于网络中，如定位表2所示。这个例子示出了算法开始时的定位表，因此，摄像头在笛卡尔平面中还没有确定的位置和定向。

表2：摄像头C1、C2、C3的定位表

如果摄像头C_i已经定位，就可以知道其在笛卡尔平面中的位置(x_Ci，y_Ci)和定向

相关的字段定位被置为值“是”，否则，字段位置和定向没有任何意义，而且，“是否定位”的值被置为“否”。

在接收数据和创建定位表之后，中央节点执行下述迭代算法：

1.在第一步，该算法开始搜索在映射图中没有定位的摄像头。该摄像头必须与已经定位的另一个摄像头至少共享三个点(在对算法进行说明之后进行证明)。如果还没有摄像头被定位，选择一个摄像头，该摄像头被选择作为定义之前在图2中所示的笛卡尔平面的基准。根据这种定义，笛卡尔平面的原点是所选的基准摄像头的位置，x轴的方向与该基准摄像头的定向一致。

然后，控制流程继续进行步骤2。

如果所有的智能摄像头均被定位，结束算法，否则，选择满足之前要求的摄像头C_i，算法返回至步骤3。如果这些条件均没有得到满足，采用另一串对象点，重复整个算法。

2.第二步是将坐标从局部空间(摄像头空间)转换到全局空间(笛卡尔平面)，在局部空间中，对象的这些点是相对于摄像头的局部原点定义的(图3)，在全局空间中，这些点是相对于为映射图中的所有摄像头所公用的原点来定义的(图4)。

现在，固定了所选摄像头C_i的位置，并且可以固定由C_i所见的对象在笛卡尔系统中的位置。这些坐标被存储在如表3所示的全局对象空间表中。简单计算这些位置(x_tj，y_tj)。实际上，由于该摄像头在两个空间中均位于原点，所以局部空间和全局空间之间的深度保持不变。而且，由于该摄像头在全局坐标系中的定向等于

所以对于局部空间而言，角度也是相似的，因此：

x_tj＝d_Ci，tjcos(θ_Ci，tj)

y_tj＝d_Ci，tjsin(θ_Ci，tj)

然后，控制流程继续进行步骤1。

表3：在笛卡尔系统中的对象点的图

tj	全局坐标
		t0	(xt0，yt0)
t1	(xt1，yt1)
		t2	(xt2，yt2)
t3	(xt3，yt3)
		t4	(xt4，yt4)
t5	(xt5，yt5)

步骤3：摄像头C_n至少观测在全局空间上的三个全局坐标。假定这些点涉及瞬时t_i、t_j、t_k，从表3中选取下列坐标：

(x_ti，y_ti)；(x_tj，y_tj)；(x_tk，y_tk)。

采用下列辅助条件简化所得的等式：

a₁＝2x_tj-2x_ti；

b₁＝2y_tj-2y_ti；

$c_1=x_{\mathrm{tj}}^2+y_{\mathrm{tj}}^2-d_{\mathrm{Cn},\mathrm{tj}}^2-x_{\mathrm{ti}}^2-y_{\mathrm{ti}}^2-d_{\mathrm{Cn},\mathrm{ti}}^2;$

a₂＝2x_tk-2x_ti；

b₂＝2y_tk-2y_ti；

$c_2=x_{\mathrm{tk}}^2+y_{\mathrm{yk}}^2-d_{\mathrm{Cn},\mathrm{tk}}^2-x_{\mathrm{ti}}^2-y_{\mathrm{ti}}^2-d_{\mathrm{Cn},\mathrm{ti}}^2.$

现在，采用下列等式计算标号为n的摄像头的位置(x_Cn，y_Cn)：

$x_{\mathrm{Cn}}=\frac{b_2{c}_1-b_1{c}_2}{a_1{b}_2-b_1{a}_2}---\left(1\right)$ 以及

$y_{\mathrm{Cn}}=\frac{a_1{c}_2-a_2{c}_1}{a_1{b}_2-b_1{a}_2}---\left(2\right)$

然后，通过采用下述公式PLEASE CHECK THIS ONE来计算摄像头n的定向

在公式(3)和(4)之间存在不对称。

x＝(x_ti-x_Cn)cos(-θC_n，ti)-(y_ti-y_Cn)sin(-θ_Ci，ti)                    (3)

y＝(y_ti-y_Cn)cos(-θ_Cn，ti)-(x_ti-x_Cn)sin(-θ_Ci，ti)                    (4)

将函数arctan(y/x)优选地实施为查找表(LuT)，不过，可替换地，例如可以通过级数展开来计算这个函数。

对于x＝0，如果y分别是正值或负值时，arctan(y/x)等于π/2或-π/2。

然后，将通过等式(1)、(2)、(5)所得到的值存储在定位表2中，控制流程继续进行步骤1。

参照图5、图6和图7，对根据本发明的方法进行证明。

图5示出了具有一个点(x_ti，y_ti)和这个点和摄像头C_n之间的相对距离不足以确定这个摄像头在空间中的位置。实际上，满足距离d为d_Cn，ti的点是等式(6)所描述的圆周上的点。

(x-x_ti)²+(y-y_ti)²＝d_Cn，ti                (6)

当如图6所示可以获得两个基准点(x_ti，y_ti)、(x_tj，y_tj)时，通过下述方程组给出解：

(x-x_ti)²+(y-y_ti)²＝d_Cn，ti                (7a)

(x-x_tj)²+(y-y_tj)²＝d_Cn，tj                (7b)

如图7所示，当可以得到三个基准点(x_ti，y_ti)、(x_tj，y_tj)和(x_tk，y_tk)时，可以找到唯一的解，从下列的三个方程的方程组中可以找到唯一的解：

(x-x_ti)²+(y-y_ti)²＝d_Cn，ti                (8a)

(x-x_tj)²+(y-y_tj)²＝d_Cn，tj                (8b)

(x-x_tk)²+(y-y_tk)²＝d_Cn，tk                (8c)

这个方程组会很耗费计算资源，但可以按照下文进行简化。从等式8a中减去等式8b，可以得到图7所示的直线A。从等式8b中减去等式8c，可以得到直线B。

现在，足以解出下述的两个线性方程的方程组。

$x(2x_{\mathrm{tj}}-2x_{\mathrm{ti}})+y(2y_{\mathrm{tj}}-2y_{\mathrm{ti}})+x_{\mathrm{ti}}^2+y_{\mathrm{ti}}^2-x_{\mathrm{tj}}^2-y_{\mathrm{tj}}^2-d_{\mathrm{Cn},\mathrm{ti}}^2-d_{\mathrm{Cn},\mathrm{tj}}^2=0---\left(9a\right)$

$x(2x_{\mathrm{tk}}-2x_{\mathrm{tj}})+y(2y_{\mathrm{tk}}-2y_{\mathrm{tj}})+x_{\mathrm{tj}}^2+y_{\mathrm{tj}}^2-x_{\mathrm{tk}}^2-y_{\mathrm{tk}}^2-d_{\mathrm{Cn},\mathrm{tj}}^2-d_{\mathrm{Cn},\mathrm{tk}}^2=0---\left(9b\right)$

通过示例，假定各个基准点是移动对象的典型特征的后续位置。例如，典型特征可以是所述对象的质量中心，或者对象上的一个角。

虽然采用三个点来进行这种计算就足够了，但是这个计算还可以基于更多的点。例如，用于相对位置的第一子计算可以基于第一、第二和第三基准点。然后，第二子计算可以基于第二、第三和第四基准点。随后，通过平均从第一和第二子计算中得到的结果，可以得到最终的结果。

可替换地，第一和第二子计算可以采用独立的基准点组。

在又一个实施例中，通过每次用采用三个基准点的子计算来重复估计这些摄像机的相对位置，以及然后采用增大了数量的估计来计算平均值，该计算可以是相对位置的迭代改进估计。

在又一个实施例中，这些摄像头可以相对于彼此移动。在这种情况下，可以以周期性的时间间隔对相对位置进行重新估计。取决于精度，可以对周期性估计的结果进行临时平均。

例如，当后续估计在时间点“i”是(x_c，i，y_c，i)时，那么，平均值是

$(x_{c,k},y_{c,k})=\underset{m=-M}{\overset{+M}{\mathrm{\Σ}}}(x_{c,k-m},y_{c,k-m})$

在确定基准点相对于该摄像头的坐标和距离的精度以及这些摄像头的相对位置的改变速度给定的情况下，技术人员可以选择M的最优值。

例如，如果这些摄像头的相对位置变化相对较慢，可以为M选择相对较大的值。

可替换地，通过迭代过程，根据经过子计算得到的坐标对(x_c，i，y_c，i)可以计算平均位置(x_c，k，y_c，k)：

(x_c，k，y_c，k)＝α(x_c，k-1，y_c，k-1)+(1-α)(x_c，i，y_c，i)

同样，在确定基准点相对于该摄像头的坐标和距离的精度以及这些摄像头的相对位置的改变速度给定的情况下，技术人员可以选择α的最优值。例如，如果这些摄像头的相对位置变化相对较慢，可以为α选择相对较大的值。

在本发明的实施例中忽略了高度信息。可替换地，采用3D信息可以计算两个摄像头的相对位置。在这种情况下，采用四个基准点，可以以相似的方式确定这些摄像头的相对位置。

根据本发明的方法适用于任意数量的摄像头。如果一组摄像头可以被看作每个后续对共用三个基准点的一系列摄像头，可以计算这组摄像头的相对位置。

应当注意的是，本发明的保护范围并不局限于本文所说明的实施例。该系统的一部分可以被实施为硬件、软件或硬件及软件的组合。例如，通过通用处理器或者通过专用硬件可以执行计算摄像头位置的算法。本发明的保护范围也不受权利要求书中的参考标号的限制。所用词“包括”并不排除没有在权利要求中提到的其他部件。在部件前面的限定词“一个”或“一种”并不排除多个那些部件。形成本发明的一部分的装置可以被实施为专用硬件的形式，也可以被实施为程控的通用处理器的形式。本发明在于每个新特征以及这些特征的组合。

Claims (4)

1.一种确定第一摄像头相对于第二摄像头的相对位置的方法，其包括下列步骤：

至少确定各个基准点相对于第一摄像头的第一位置、第二位置和第三位置；

至少确定所述各个基准点相对于第二摄像头的第一距离、第二距离和第三距离；

至少采用第一位置、第二位置和第三位置以及第一距离、第二距离和第三距离，来计算第二摄像头相对于第一摄像头的相对位置。

2.一种摄像头装置，其包括第一摄像头(C₁)、第二摄像头(C₂)和控制节点(C₄)，所述控制节点耦接至第一摄像头(C₁)来接收各个基准点相对于第一摄像头(C₁)的第一位置、第二位置和第三位置((x_ti，y_ti)；(x_tj，y_tj)；(x_tk，y_tk))；并耦接至第二摄像头(C₂)来接收所述各个基准点相对于第二摄像头(C₂)的第一距离、第二距离和第三距离(d_Ci，ti，d_Ci，tj，d_Ci，tk)，所述控制节点还被布置成基于第一位置、第二位置和第三位置以及第一距离、第二距离和第三距离来计算第二摄像头相对于第一摄像头的相对位置(x_C2，y_C2)。

3.根据权利要求2所述的摄像头装置，其中，所述摄像头(C₁，C₂，C₃)是智能摄像头。

4.根据权利要求2所述的摄像头装置，其中，所述控制节点(C₄)还被布置成计算第二摄像头(C₂)相对于第一摄像头(C₁)的相对定向

Images