CN101782386A - 非视觉几何的摄像机阵列视频定位方法及系统 - Google Patents

Abstract

本发明公布了一种非视觉几何的摄像机阵列视频定位方法及系统，本发明以固定间距安装在平面板上的摄像机阵列，每个摄像机的焦距和视场角相同，可以将整个视场分割成形状和坐标平面内投影面积相同的菱形视场区域。每个摄像机的模拟视频信号通过插在计算机扩展插槽上的视频采集卡变换为数字视频信号。计算机对每路的数字视频信息进行分析，判断目标是否出现在各路视频图像中。然后通过拍摄到目标的这些摄像机的序号就可以计算出目标出现在哪个菱形视场区域，从而对目标进行快速定位。

Description

非视觉几何的摄像机阵列视频定位方法及系统

技术领域

本发明涉及一种视频定位技术，特别是一种使用摄像机阵列快速确定和跟踪目标位置的方法，可用于多种需要快速三维测量定位的场合，还可以用于警戒性探测，检测是否有目标接近摄像机阵列。

背景技术

视频定位是一种非接触式目标定位方法，相对于传统的电磁式和超声式定位设备，视频定位设备构造简单、不易受外界干扰，在虚拟现实系统、自动化生产线和机器人导航等领域具有广泛的应用。视频定位目前主要采用的有基于单摄像机，基于双摄像机和基于多摄像机系统的三维信息获取方法和装置。现有方法都基于传统的视觉几何计算，离不开立体匹配技术，立体匹配技术在理论上是完美的，但在实际应用中因为无法快速准确的找到匹配点，使以上三维信息获取方法的鲁棒性不高，而且运算量大。

基于阵列摄像机的深度图实时获取方法(申请号：200910098790.0)由一个3D摄像机提供的低分辨率深度图来得到若干个可见光摄像机视点上的高分辨率深度图。虽然也采用阵列摄像机，但是只获取深度信息，无法得到完整的三维信息，完成目标的定位功能。

基于摄像机阵列的三维实时获取系统(申请号：200810062878.2)由多个高分辨率摄像机和一个较低空间分辨率TOF摄像机组成阵列，首先利用TOF摄像机获取空间分辨率较低的场景三维信息初始值，通过摄像机标定建立TOF摄像机与各台高分辨率摄像机位置关系的严格对应性，将深度信息映射优化，最终通过配准获得三维信息。该系统需要对TOF摄像机和各台高分辨率摄像机在所覆盖的共同空间上达到严格的对应关系，一旦配准信息稍有误差，所计算出的三维信息将出现较大的误差。

发明内容

本发明的目的是克服现有目标定位技术的不足，提供一种利用摄像机阵列对目标进行视频定位的方法和系统，它利用摄像机阵列对视区空间的分割特性定位，无需视觉几何计算，具有计算简便、实时性高、定位范围大、目标接近阵列时特别灵敏等特点。特别适用于需要在较大范围内对目标进行快速粗略定位的场合。如虚拟现实系统中对体验者的头、手、手指等进行快速定位，提高交互体验的真实性。本发明具有目标越接近阵列，定位方法的目标检测越灵敏的特点。因此还可以用于警戒性探测，检测是否有目标接近摄像机阵列，并获知接近程度。

本发明为实现上述目的，采用如下技术方案：

本发明非视觉几何的摄像机阵列视频定位方法，其特征在于所述方法如下：

1)以固定间距将n×m台摄像机安装在平面板上构成摄像机阵列，其中n为每行的摄像机数，m为每列的摄像机数，每个摄像机的焦距和视场角相同，将整个视场分割成形状和坐标平面内投影面积相同的菱形视场区域；

2)视频采集卡采集摄像机阵列输出的模拟视频信号后转换为数字视频信号，计算机对数字视频信号进行分析后，判断目标是否在图像中，判断方法包括以下两种：

方法A

(1)每个摄像机的图像都计算指定的同一种图像整体性特征t；

(2)对所有单元的图像整体性特征t_i求平均值T，检查t_i和T之间的广义距离，是否有|t_i-T|≥δ，如果是，则认为目标出现在相应的摄像机图像中，其中i为摄像机的序号，取值从1到n×m；

方法B

利用遍历图像像素点的方法提取目标特征，如果在视频信号中提取到目标特征，则认为目标出现在相应的摄像机图像中；

3)利用各个目标的判断信息，通过拍摄到目标的这些摄像机的序号就可以确定目标在视场的哪一个菱形区域，设定目标位置的估计值为菱形的中心，即可对目标进行快速定位。

本发明有益的效果是：无需任何的接收装置，对定位目标无须任何改装，如果用来定位头、手、手指等没有任何的束缚感。无需复杂的视觉几何和特征匹配计算，只需判断每路视频信号中目标是否存在，就可确定目标的三维位置信息。计算简便、实时性高。视场不受约束，可以通过增加摄像机的数量来扩大用于目标定位的区域。根据具体应用的要求，还可以灵活地改变目标定位的精度。如需提高定位精度，只需改变摄像机的焦距或摄像机安装的间距，减小菱形视场区域的大小。目标越接近阵列，则按方法A检测目标时，拍摄到目标的摄像机的图像整体性特征t_i与整个阵列的平均值T之间的差异越大，按方法B检测目标时，一般目标的特征面积增大，因此，无论按哪种方法检测目标，本发明的检测灵敏度均随目标接近阵列而增强。

附图说明

图1为非视觉几何的摄像机阵列视频定位系统的系统构成图。

图1标号名称：1-待定位的目标；

2-目标在XY平面内的投影；

3-目标在YZ平面内的投影；

4-摄像机；

5-摄像机的视场边界线；

6-摄像机阵列输出的模拟视频信号；

7-数字视频信号；

图2为非视觉几何的摄像机阵列视频定位系统的二维工作原理图。

图3为基于整体特征差异的摄像机阵列视频定位的实施流程框图。

图4为基于目标特征提取的摄像机阵列视频定位的实施流程框图。

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

本发明以固定间距安装在平面板上的摄像机阵列，每个摄像机的焦距和视场角相同，可以将整个视场分割成形状和坐标平面内投影面积相同的菱形视场区域。每个摄像机的模拟视频信号通过插在计算机扩展插槽上的视频采集卡变换为数字视频信号。计算机对每路的数字视频信息进行分析，判断目标是否出现在各路视频图像中。然后通过拍摄到目标的这些摄像机的序号就可以计算出目标出现在哪个菱形视场区域，从而对目标进行快速定位。

如图1在ZX平面内布置n×m台摄像机，利用单摄像机的重合视区或独有视区的空间分布特点，可以设计空间区域的分割。当目标所在位置不同时，目标将会出现在不同的空间区域中，被摄像机阵列中不同的摄像机所捕捉。通过得到拍摄到目标的这些摄像机的位置序号，就能估算出目标的位置。

如图2所示以在X、Y平面内定位为例叙述本发明的定位原理。A-F处于整个视场区域的第一层，G-K处于整个视场区域的第二层，L-0处于整个视场区域的第二层，P-R处于整个视场区域的第四层，S-T处于整个视场的第五层，U处于整个视场区域的第六层。以此可类推至整个摄像机阵列的更高层次。其对空间的分割能力是摄像机个数n的函数，所分割的空间数等于

摄像机较多时可获得很高的空间区分度，利用这种空间分割特点，可直接根据拍摄到目标的摄像机个数和摄像机序号估算目标的空间位置。由于所有摄像机的焦距和视场角相同，所以形成的菱形视场区域A、B、C...形状面积相同。设菱形高度为h，菱形宽度为d(即摄像机排列间隔为d，第一个摄像机距坐标系原点的水平距离也为d)，目标位置的估计值为菱形的中心。

摄像机阵列输出的模拟视频信号由视频采集卡进行处理，转化为数字信号。一块采集卡可以最多支持16路视频信号的采集，每台计算机最多可以支持4块采集卡。如果摄像机阵列中的摄像机个数需要更多时，可以通过多台计算机集群的方式来实现。

计算机负责判断哪些摄像机拍摄到了目标，这需要检测目标与背景有明显的差异，判断方法可以分为两种：

(1)利用图像整体特征的差异来判断(如图3)：

将摄像机阵列中的第i个摄像机拍摄到的图像转换到HSV颜色空间，提取色调H和饱和度S分量，算出H-S二维直方图H_i；然后将所有摄像机图像的H-S二维直方图相加并求取平均值，得到阵列平均H-S二维直方图H_aver；最后对每个摄像机图像的H-S二维直方图H_i与阵列平均H-S二维直方图H_aver用如下公式求取Bhattacharyya距离(巴氏距离)：

$d_{\mathrm{Bhattacharyya}}(H_i,H_{\mathrm{aver}})=\sqrt{1-\underset{k}{\mathrm{\Σ}}\frac{\sqrt{H_i\left(k\right)\·H_{\mathrm{aver}}\left(k\right)}}{\sqrt{{\mathrm{\Σ}}_k{H}_i\left(k\right)\·{\mathrm{\Σ}}_k{H}_{\mathrm{aver}}\left(k\right)}}},$

其中H_i(k)和H_aver(k)分别代表相应直方图的第k列。Bhattacharyya距离在0到1之间，值越小匹配度越好。通过对具体目标的试验可以确定一个阈值δ，Bhattacharyya距离大于δ则表示当前这个摄像机中的图像整体特征与阵列平均图像特征差异过大，摄像机拍摄到了目标。

(2)利用目标特征的提取来判断(如图4)：

如果能获得目标的准确特征信息如目标的颜色特征等，就可以直接在图像中判断是否存在目标。以判断颜色特征为例，将待判断的摄像机图像转换到HSV颜色空间，从图像左上角开始遍历每个像素的色调H和饱和度S值，如果该像素的H和S值在目标的颜色范围内，再对相邻的上下左右四个像素进行颜色特征判断，如此循环递归，直到找到周边所有相连的在目标颜色范围内的像素，然后计算这些像素的个数，如果大于预先设定的一个阈值ξ，则表示这个摄像机的图像中存在目标。

获知摄像机阵列中哪些摄像机拍摄到目标后，就可以估算实际的目标三维位置。在X轴方向m行摄像机中找出拍到目标最多的一行摄像机，在这一行摄像机中序号为第a至b台摄像机中拍摄到了目标，拍摄到目标的摄像机台数c＝b-a+1，b≥a，则通过以下公式获得目标位置：

$\left\{\begin{array}{c}x=d\×(b+a)/2\\ y=h/2+(c-1)\×h\end{array}\right.$

其中x和y分别为目标在XY平面内求得的X轴和Y轴坐标。

在Z轴方向n列摄像机中找出拍到目标最多的一列摄像机，在这一列摄像机中序号为第e至f台摄像机中拍摄到了目标，拍摄到目标的摄像机台数g＝f-e+1，f≥e，则通过以下公式获得目标位置：

$\left\{\begin{array}{c}z=d\×(f+e)/2\\ y=h/2+(g-1)\×h\end{array}\right.$

其中z和y分别为目标在ZY平面内求得的Z轴和Y轴坐标。

Z方向也可以采用另一种摄像机间隔，从而使X和Z方向的定位精度不同。在Z、Y平面应用上述算法求得的y坐标可以和在Z、Y平面内求得的y坐标平均后作为最终坐标值。

Claims (8)

1.一种非视觉几何的摄像机阵列视频定位方法，其特征在于所述方法如下：

1)以固定间距将n×m台摄像机安装在平面板上构成摄像机阵列，其中n为每行的摄像机数，m为每列的摄像机数，每个摄像机的焦距和视场角相同，将整个视场分割成形状和坐标平面内投影面积相同的菱形视场区域；

2)视频采集卡采集摄像机阵列输出的模拟视频信号后转换为数字视频信号，计算机对数字视频信号进行分析后，判断目标是否在图像中，判断方法包括以下两种：

方法A

(1)每个摄像机的图像都计算指定的同一种图像整体性特征t；

(2)对所有单元的图像整体性特征t_i求平均值T，检查t_i和T之间的广义距离，是否有|t_i-T|≥δ，如果是，则认为目标出现在相应的摄像机图像中，其中i为摄像机的序号，取值从1到n×m；

方法B

利用遍历图像像素点的方法提取目标特征，如果在视频信号中提取到目标特征，则认为目标出现在相应的摄像机图像中；

3)利用各个目标的判断信息，通过拍摄到目标的这些摄像机的序号就可以确定目标在视场的哪一个菱形区域，设定目标位置的估计值为菱形的中心，即可对目标进行快速定位。

2.根据权利要求1所述的非视觉几何的摄像机阵列视频定位方法，其特征在于所述图像整体性特征t为使用HSV色彩空间下的H-S二维直方图。

3.根据权利要求2所述的非视觉几何的摄像机阵列视频定位方法，其特征在于使用HSV色彩空间下的H-S二维直方图为图像整体性特征的判断方法如下：

将摄像机阵列中的第i个摄像机拍摄到的图像转换到HSV颜色空间，提取色调H和饱和度S分量，算出H-S二维直方图H_i；然后将所有摄像机图像的H-S二维直方图相加并求取平均值，得到阵列平均H-S二维直方图H_aver；最后对每个摄像机图像的H-S二维直方图H_i与阵列平均H-S二维直方图H_aver用如下公式求取Bhattacharyya距离(巴氏距离)：

$d_{\mathrm{Bhattacharyya}}(H_i,H_{\mathrm{aver}})=\sqrt{1-\underset{k}{\mathrm{\Σ}}\frac{\sqrt{H_i\left(k\right)\·H_{\mathrm{aver}}\left(k\right)}}{\sqrt{{\mathrm{\Σ}}_k{H}_i\left(k\right)\·{\mathrm{\Σ}}_k{H}_{\mathrm{aver}}\left(k\right)}}},$

其中H_i(k)和H_aver(k)分别代表相应直方图的第k列。Bhattacharyya距离大于设定的阈值δ则表示当前这个摄像机中的图像整体特征与阵列平均图像特征差异过大，摄像机拍摄到了目标。

4.根据权利要求1所述的非视觉几何的摄像机阵列视频定位方法，其特征在于所述目标特征为颜色特征。

5.根据权利要求4所述的非视觉几何的摄像机阵列视频定位方法，其特征在于使用颜色特征为目标特征的提取来判断的方法如下：

将待判断的摄像机图像转换到HSV颜色空间，从图像左上角开始遍历每个像素的色调H和饱和度S值，如果该像素的色调H和饱和度S值在目标的颜色范围内，再对相邻的上下左右四个像素进行颜色特征判断，如此循环递归，直到找到周边所有相连的在目标颜色范围内的像素，然后计算这些像素的个数，如果大于预先设定的一个阈值ξ，则表示这个摄像机的图像中存在目标。

6.根据权利要求1所述的非视觉几何的摄像机阵列视频定位方法，其特征在于步骤3)所述的定位方法如下：

在X轴方向m行摄像机中找出拍到目标最多的一行摄像机，在这一行摄像机中序号为第a至b台摄像机中拍摄到了目标，拍摄到目标的摄像机台数c＝b-a+1，b≥a，则通过以下公式获得目标位置：

$\left\{\begin{array}{c}x=d\×(b+a)/2\\ y=h/2+(c-1)\×h\end{array}\right.$

其中d和h分别为菱形视场区域的宽和高，x和y分别为目标在XY平面内求得的X轴和Y轴坐标。

在Z轴方向n列摄像机中找出拍到目标最多的一列摄像机，在这一列摄像机中序号为第e至f台摄像机中拍摄到了目标，拍摄到目标的摄像机台数g＝f-e+1，f≥e，则通过以下公式获得目标位置：

$\left\{\begin{array}{c}z=d\×(f+e)/2\\ y=h/2+(g-1)\×h\end{array}\right.$

其中z和y分别为目标在ZY平面内求得的Z轴和Y轴坐标。

7.根据权利要求6所述的非视觉几何的摄像机阵列视频定位方法，其特征在于在XY平面求得的y坐标可以和在ZY平面内求得的y坐标平均后作为最终坐标值。

8.一种非视觉几何的摄像机阵列视频定位系统，其特征在于包括n×m台摄像机安装在平面板上构成的摄像机阵列、视频采集卡以及计算机，n×m台摄像机分别通过视频采集卡与计算机通信，其中n为每行的摄像机数，m为每列的摄像机数，每个摄像机的焦距和视场角相同。

Images