CN1988545A

CN1988545A - 用于大数量摄像头阵列标定的图像采集方法

Info

Publication number: CN1988545A
Application number: CN 200610165572
Authority: CN
Inventors: 戴琼海; 韩准; 刘烨斌
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2006-12-22
Filing date: 2006-12-22
Publication date: 2007-06-27

Abstract

本发明涉及用于大数量摄像头阵列标定的图像采集方法，属于计算机多媒体技术领域。该方法，包括：采集PC和控制服务器建立TCP/IP连接；设置纸板的位置和角度；控制服务器控制各个采集PC与其相连的摄像头在同一时刻对所述纸板进行图像采集，得到所有摄像头所采集的同一时刻的一组图像；变换所述纸板的位置和角度，再重复步骤3)对纸板进行图像采集，最后得到多组图像。本发明方法可以有效解决多台计算机标定图像采集中的同步问题，提高摄像机标定的精确度。

Description

用于大数量摄像头阵列标定的图像采集方法

技术领域

本发明属于计算机多媒体技术领域，特别涉及计算机视觉和摄像头的标定

背景技术

Internet上使用的一个关键的底层协议是网际协议，通常称IP协议。利用这个共同遵守的通信协议，从而使Internet成为一个允许连接不同类型的计算机和不同操作系统的网络。通信协议正像两台计算机交换信息所使用的共同语言，它规定了通信双方在通信中所应共同遵守的约定。

TCP协议被称作一种端对端协议。这是因为它为两台计算机之间的连接起了重要作用：当一台计算机需要与另一台远程计算机连接时，TCP协议会让它们建立一个连接、发送和接收数据以及终止连接。传输控制协议TCP协议利用重发技术和拥塞控制机制，向应用程序提供可靠的通信连接，使它能够自动适应网上的各种变化。即使在Internet暂时出现堵塞的情况下，TCP也能够保证通信的可靠。

摄像头的标定是指通过不同摄像头对处于静止的基准物体采集图像(在整个过程中摄像头位置不能移动)，及对采集的图像进行处理，从而得到摄像头的参数的过程。该过程是利用摄像头采集图像/视频，进行计算机视觉、图形学研究的必须步骤。

其中，摄像头的参数包括内参数和外参数。内参数包括：

A = [\begin{matrix} f_{x} & 0 & p_{x} \\ 0 & f_{y} & p_{y} \\ 0 & 0 & 1 \end{matrix}], d = [\begin{matrix} d_{1} & d_{2} & d_{3} & d_{4} \end{matrix}]

其中A为摄像头的内参数矩阵，(f_x,f_y)为摄像头(x，y)方向的放大倍数，(p_x,p_y)为摄像头拍摄图像的中心点坐标。d通常被称为扭曲向量，是表示摄像头图像扭曲程度的l×4的向量。以上的这些量不随摄像头位置改变而改变，故被称为摄像头内参数。

外参数包括摄像头相对世界坐标的旋转矩阵R，以及摄像头平移向量t。这些参数都会随着摄像头的位置改变而变化，所以被称为摄像头的外参数。在计算机图形学和视觉的研究中，真正有用的参数不是(R，t)，而是摄像头于基准摄像头之间的相对位置(R′，t′)。(R′，t′)与(R，f)的关系为：

R^{'} = R_{0}^{- 1} R, t^{'} = t - R_{0}^{- 1} t_{0}

其中(R₀，t₀)为基准摄像头的外参数。

一般大型摄像头阵列标定系统包括：摄像头阵列，基准物，多台用于采集基准物的计算机(以下简称采集PC)，每台采集PC通过USB或者1394口连接摄像头阵列中的数个摄像头。

目前国际上较为通用的基准物体通常为一个由人手持的具有国际象棋棋盘图案的纸板，上述标定系统的图像采集方法，包括以下步骤：

1)由人手持设置纸板的位置和角度；

2)各个计算机分别控制与其相连的摄像头对所述纸板进行图像采集，得到一组图像，并将图像存入与其相应的文件夹；

3)变换所述纸板的位置和角度(即变换基准物体和摄像头之间的距离和角度)，再对纸板进行图像采集，得到多组图像。

如前所述的标定图像的采集过程中，标定用纸板通常是通由人手持。目前很多图形学的研究中，经常会用到数十甚至数百摄像头组成的摄像头阵列。而由于计算机主线带宽问题，这些摄像头不可能连接在同一台计算机上。由于纸板由人手持，如果各个摄像头不能在同一时刻采集图像，则会给标定结果带来较大误差。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种新的用于大数量摄像头阵列标定的图像采集方法，可以有效解决多台计算机标定图像采集中的同步问题，提高摄像机标定的精确度。

本发明提出的用于大数量摄像头阵列标定的图像采集方法，其特征在于，用于本方法的大型摄像头阵列的标定系统包括：摄像头阵列，基准物，多台用于采集基准物的计算机(以下简称采集PC)，控制服务器，摄像头阵列中的数个摄像头通过USB或者1394口连接采集PC，控制服务器和采集PC之间用以太网相连；所述定标系统的图像采集方法，包括以下步骤：

1)采集PC和控制服务器建立TCP/IP连接；

2)设置纸板的位置和角度(一般由人手持)；

3)控制服务器控制各个采集PC与其相连的摄像头在同一时刻对所述纸板进行图像采集，得到所有摄像头所采集的同一时刻的一组图像；

4)变换所述纸板的位置和角度(即变换基准物体和摄像头之间的距离和角度)再重复步骤3)对纸板进行图像采集，最后得到多组图像。

上述步骤1)中PC和控制服务器建立TCP/IP连接方法，包括以下步骤：

(11)控制服务器监听从采集PC发来的TCP/IP连接请求；

(12)各个采集PC向控制服务器发出TCP/IP连接请求；

(13)控制服务器收到采集PC的连接请求，和各个采集PC建立TCP/IP连接。

上述步骤3)中得到所有摄像头所采集的同一时刻的一组图像方法，包括以下步骤：

7)控制服务器向所有采集PC发送同步时间戳(以毫秒为单位)；

8)各个采集PC收到控制服务器发送的时间戳，用该时间戳更新本机时间戳，完成各个采集PC间的时间戳同步；

9)各个采集PC通知控制服务器同步操作完成；

10)待收到所有采集PC同步操作完成的通知后，控制服务器向所有采集PC发送采集图像的时间戳(同样以毫秒为单位)；

11)各个采集PC收到该采集图像的时间戳后，且当各个采集PC的时间戳达到该采集图像的时间戳时，该采集PC控制与其相连的摄像头进行同步采集，得到所有摄像头所采集的同一时刻的一组图像，并将图像存入与其相应的文件夹；

12)各个采集PC通知控制服务器，采集完成。

本发明原理

本发明通过在一次图像采集过程中，控制服务器和采集PC之间的两次TCP/IP通信，自动完成不同采集PC之间图像的同步采集。

本发明优点

1)多台采集PC向控制服务器发出TCP/IP连接请求；用TCP/IP通信的方法自动的完成各个摄像头之间的同步采集，节省人工对各个计算机的操作；

2)高精度的同步，精确度为毫秒量级，降低了由采集带来的标定误差。

具体实施方式

本发明提出了一种大规模摄像头阵列的标定图像采集方法，结合具体实施例详细说明如下：

本实施例的大型摄像头阵列的标定系统包括：由24个摄像头组成的阵列，6台用于采集基准物的计算机(采集PC)，基准物为国际上较为通用的具有国际象棋棋盘图案的纸板。

本实施例的控制服务器配置：

CPU：Intel PIV 2.8GHz

内存：512M

操作系统：RedHat 4 AS Linux Server

控制服务器：BBNC Control Server

本实施例中的采集PC的配置：

CPU：Intel PIV dual-3.0GHz

内存：512M

操作系统：Windows XP

采集程序：BBNC Multicapture

本实施例中，每台采集PC通过1394连接口连接4个1394摄像头。共24个摄像头连接于6台采集PC之上。采集PC和控制服务器之间的网络为千兆以太网。

本实施例的图像采集方法的步骤如下：

1)PC和控制服务器建立TCP/IP连接：控制服务器监听从采集PC发来的TCP/IP连接请求；6台采集PC分别向控制服务器发出TCP/IP连接请求；控制服务器收到采集PC的连接请求，和6台采集PC建立TCP/IP连接；

2)设置纸板的位置和角度；

3)控制服务器控制各个计算机与其相连的摄像头同时对所述纸板进行图像采集，得到一组图像；具体方法为；控制服务器向6台采集PC发送同步时间戳(以毫秒为单位)；各台采集PC收到控制服务器发送的时间戳，用该时间戳更新本机时间戳，完成6台采集PC间的时间戳同步；采集PC通知控制服务器同步操作完成；待收到6台采集PC同步操作完成的通知后，控制服务器向6台采集PC发送采集图像的时间戳(同样以毫秒为单位)；6台采集PC收到该采集图像的时间戳后，且当采集PC时间戳达到该采集图像的时间戳时，每台采集PC控制与其相连的4个摄像头进行同步采集，并将图像存入与其相应的文件夹；6台采集PC通知控制服务器，采集完成；一组图像的采集完成；

4)变换所述纸板的位置和角度(即变换基准物体和摄像头之间的距离和角度)再重复步骤3)的方法对纸板进行图像采集，得到45组图像。

Claims

1、用于大数量摄像头阵列标定的图像采集方法，其特征在于，用于该方法的大型摄像头阵列的标定系统包括：摄像头阵列、基准物、多台用于采集基准物的采集计算机、控制服务器，其中，摄像头阵列中的数个摄像头通过USB或者1394口连接采集计算机，控制服务器和采集计算机之间通过以太网相连；所述定标系统的图像采集方法，包括以下步骤：

1)采集PC和控制服务器建立TCP/IP连接；

2)设置纸板的位置和角度；

4)变换所述纸板的位置和角度，再重复步骤3)对纸板进行图像采集，最后得到多组图像。

2、如权利要求1所述方法，其特征在于，所述步骤1)中PC和控制服务器建立TCP/IP连接方法，包括以下步骤：

(11)控制服务器监听从采集PC发来的TCP/IP连接请求；

(12)各个采集PC向控制服务器发出TCP/IP连接请求；

3、如权利要求1所述方法，其特征在于，所述步骤3)中得到所有摄像头所采集的同一时刻的一组图像方法，包括以下步骤：

1)控制服务器向所有采集PC发送同步时间戳(以毫秒为单位)；

2)各个采集PC收到控制服务器发送的时间戳，用该时间戳更新本机时间戳，完成各个采集PC间的时间戳同步；

3)各个采集PC通知控制服务器同步操作完成；

4)待收到所有采集PC同步操作完成的通知后，控制服务器向所有采集PC发送采集图像的时间戳(同样以毫秒为单位)；

5)各个采集PC收到该采集图像的时间戳后，且当各个采集PC的时间戳达到该采集图像的时间戳时，该采集PC控制与其相连的摄像头进行同步采集，得到所有摄像头所采集的同一时刻的一组图像，并将图像存入与其相应的文件夹；

6)各个采集PC通知控制服务器，采集完成。