CN100501569C - 全方向立体摄像机及其控制方法 - Google Patents

Abstract

本发明公开了一种全方向立体摄像机及其控制方法。所述全方向立体摄像机包括：两个或更多的全方向摄像机；支撑构件，安装在所述全方向摄像机之间的拍摄范围内，以使所述全方向摄像机互相连接，并且所述支撑构件包括形成在其表面上的补偿图案。

Description

全方向立体摄像机及其控制方法

技术领域

本发明涉及一种摄像机，更具体地讲，涉及一种用于产生全景图像的全方向立体摄像机以及其控制方法。

背景技术

对于各种商业营业所，如大厦、银行、公寓等，公众使用周围的设施、停车区域等。在这些区域中，安装闭路电视(CCTV)来监视这些区域并确保公众的安全。在CCTV中使用的传统监视器摄像机能够在预定的视角范围内捕捉非常有限的区域的图像。因此，如果期望在捕捉并监视所述有限的区域以及更大的区域，必须安装更多的摄像机。然而，这样做既增加了摄像机的安装费用也增加了安装时间。

因为全景摄像机具有比一般的摄像机的视角更宽的视角，所以这种装置能够捕捉更广的区域。然而，因为全景摄像机不能够捕捉所有的方向，即360度方向的图像，所以这种摄像机的功能也受到限制。为了加大视角，使用了用于捕捉全方向，即360度方向的图像的全方向摄像机。全方向摄像机能够以完整的360度视角来拍摄摄像机的周围。因此，由于全方向摄像机能够在除了被隐藏的地方之外的几乎所有每个方向上拍摄照片，所以即使仅安装一个全方向摄像机时，该全方向摄像机作为监视器摄像机也非常有用。

图1是示出传统的单视点全方向摄像机的示图。如图1所示，传统的全方向摄像机被设计为使得由镜子102反射的光被投射到图像传感器104的成像表面上。换句话说，在空间中的特定位置X处的光被从具有抛物面的镜子102的Xmir位置反射，然后投射到图像传感器104上的Ximg位置上。这样，来自与镜子102邻近的大部分位置的光被镜子102的表面反射，然后投射到图像传感器104的成像表面上，从而图像传感器104将投射的光混合，形成投射到镜子102上的失真的圆形全方向图像。该全方向图像被图像处理器补偿并被转换为完整的360度全景图像。

在镜子102中具有单一的Omir点的全方向摄像机被称为单视点(SVP)全方向摄像机，其中，所有的入射光会聚在Omir点上。另外，具有两个以上Omir点的全方向摄像机被称为非SVP全方向摄像机，其中，镜子102的入射光会聚在所述两个以上Omir点上。由于设计、视角等方面的限制，事实上难以实现SVP全方向摄像机，所以主要使用相对容易实现的非SVP全方向摄像机。

为了获得失真的全方向图像和补偿的完整的全景图像之间的图像差，SVP全方向摄像机拍摄位于空间中的平面型补偿图案的照片以获得图像差，并且将该图像差用于补偿。然而，在非SVP全方向摄像机周围布置圆柱形补偿图案之后，非SVP全方向摄像机必须获得用于补偿所需的图像差。

图2是示出利用空间图案在非单视点全方向摄像机中进行的补偿的示图。如图2所示，其上绘制有均匀的图案的圆柱形补偿器202环绕着摄像机设置，以提取失真的全方向图像。因此，为了补偿非SVP全方向摄像机，所述摄像机必须被移到安装补偿器202的地方，或者补偿器202必须被移到安装摄像机的地方。由于在所有的情况下都需要移动和安装，所以这种摄像机非常不方便。具体地讲，如果摄像机被安装在用户或管理人员难以接近的非常高的地方或者不方便的地方，则不方便程度进一步加大。

发明内容

因此，本发明的一方面在于提供一种与补偿器一体形成的全方向摄像机，以容易地执行补偿。

本发明的另一方面在于提供一种包括两个全方向摄像机的全方向立体摄像机，其中，利用其上形成有补偿图案的支撑构件将所述两个补偿摄像机互相机械地连接。

本发明的另一方面在于提供一种包括信号线的全方向摄像机，所述信号线是在所述全方向摄像机中必须使用的，其穿过所述支撑构件以防止该信号线被包含在图像中。

对于本发明的其它方面和/或优点，一部分将在下面的描述中进行阐述，一部分将通过描述而变得明显，或者可以通过本发明的实施而理解。

上述和/或其它方面通过提供一种全方向立体摄像机来实现，所述全方向立体摄像机包括：两个或更多的全方向摄像机；支撑构件，安装在所述全方向摄像机之间的拍摄范围内，以使所述全方向摄像机互相连接，并且所述支撑构件包括形成在其表面上的补偿图案。

所述全方向摄像机被安装为互相面对。

当从所述全方向摄像机的各个CCD观看时，所述支撑构件宽度窄且长度长，从而死角减小且机械强度增大。

此外，所述支撑构件包括具有圆形截面的杆。所述支撑构件包括具有泪滴形截面的杆。所述支撑构件包括具有椭圆形截面的杆。可以有两个所述支撑构件。

此外用于传输从所述全方向摄像机中的任何一个产生的图像信号的信号线穿过所述支撑构件的内部到达所述全方向摄像机中的另一个，以防止该信号线占据图像的一部分。所述全方向摄像机中的每个包括非单视点全方向摄像机。

上述和/或其它方面也可以通过提供一种全方向立体摄像机的控制方法来实现，所述全方向立体摄像机包括两个或更多的全方向摄像机以及支撑构件，所述支撑构件安装在所述全方向摄像机之间的拍摄范围内，以使所述全方向摄像机互相连接，并且所述支撑构件包括形成在其表面上的补偿图案，所述控制方法包括：利用图像信息将由所述全方向摄像机获得的圆形全方向图像转换为全景图像；通过将所述各个全方向摄像机假定为独立投射的摄像机，通过由所述全方向摄像机捕捉的全景图像获得图像转换算法和三维坐标估计算法。

附图说明

通过下面结合附图对实施例进行的描述，本发明的这些和/或其它方面及优点将会变得清楚并更加容易理解，其中：

图1是显示传统的单视点全方向摄像机的概念的示图；

图2是利用空间图案在单视点全方向摄像机中进行的补偿的示图；

图3是根据本发明实施例的全方向立体摄像机的示图；

图4是显示图3的全方向立体摄像机的控制系统的示图；

图5A和图5B是显示图3的全方向立体摄像机的支撑构件的示图；

图6A和6B是显示图3的全方向立体摄像机的另一支撑构件的示图；

图7是显示从图3的全方向立体摄像机获得的未补偿的全方向图像；

图8是显示补偿的图像的示图，其中，未补偿的图像被转换为全景图像；

图9是显示根据本发明实施例的全方向立体摄像机的控制方法的示图；

图10和图11是显示从图3的全方向立体摄像机提取的三维坐标的概念的示图。

具体实施方式

现在将详细说明本发明的实施例，其例子表示在附图中，其中，相同的标号始终指示相同的元件。以下通过参照附图描述实施例以解释本发明。

图3是显示根据本发明实施例的全方向立体摄像机的示图。如图3所示，两个全方向摄像机302和304互相面对，并且通过四个支撑构件306互相机械地连接。虽然显示了四个支撑构件306，但是可以设置更少的支撑构件(例如两个)，只要能够保持全方向摄像机302和304稳定就可以。虽然对支撑构件306的最大数目没有限制，但是必须考虑到支撑构件306可能会占据图像的区域。

四个支撑构件306中的一个具有内部空间以及穿过该内部空间的信号线308a。为了将两个全方向摄像机302和304结合成一个全方向立体摄像机，由两个全方向摄像机302和304产生的全方向图像信号由单一的图像处理器(未显示)处理。为此，两个全方向摄像机302和304的任何一条信号线都必须穿过安装支撑构件306的位置并到达另一个全方向摄像机。为此，信号线一定会被包括在视角内并且一定会被反射到图像上，从而屏幕中的死角增加。因此，为了支撑全方向立体摄像机，需要将两个全方向摄像机结合成一个的支撑构件306，所以不可避免地产生由支撑构件306导致的死角。然而，如图3所示，当信号线308a穿过支撑构件306的内部空间时，至少能够防止由信号线308a产生的死角。

图4是显示图3中的全方向立体摄像机的控制系统的示图。如图4所示，通过两个全方向摄像机302和304获得的全方向图像信号经信号线308a和308b被传输到图像处理器402，然后图像处理器402补偿全方向图像信号，以形成完整的图像，从而显示器404显示该图像。在这种情况下，通过全方向摄像机302和304获得的图像帧是圆形的，而由图像处理器402补偿的图像帧变成矩形全景图像。

图5A和图5B是显示图3中的全方向立体摄像机的支撑构件的示图。如图5A所示，支撑构件306的长度由具有圆形截面的圆柱杆来确定。全方向摄像机302和304的各个视角也必须被考虑，以使得全方向摄像机302和304中的任何一个不会与由全方向摄像机302和304中的另一个捕捉的图像干扰。此外，支撑构件306的表面形成有补偿图案。补偿图案包括具有预定宽度b的多个的带306a，所述多个带306a在宽度方向上按照相同的间距b布置。支撑构件306的直径与补偿图案中的所述带的宽度b相等。

图5B显示由支撑构件306限定的死角α，死角α的大小由支撑构件306的直径b以及支撑构件306与全方向摄像机302和304的距离确定。因此，如果可能，支撑构件306的直径b减小和支撑构件306与全方向摄像机302和304的距离增加能够减小死角α。然而，如果为了减小死角α而使支撑构件306与全方向摄像机302和304的距离增加过多，则全方向摄像机302和304的尺寸可能会比期望的尺寸大，因此，减小支撑构件306的直径是有效的。然而，当考虑到两个全方向摄像机302和304之间的机械强度时，可能的直径减小也受到限制。

图6A和6B是显示图3的全方向立体摄像机的另一种支撑构件的示图。屏幕中的由支撑构件606占据部分的宽度由支撑构件606的直径c确定。设置有包括多个带606a的补偿图案。如果支撑构件606具有泪滴形截面，则由于泪滴形截面的角被包含在弧形图像中，所以死角β不受影响，并且提供比圆形截面更大的机械强度。换句话说，虽然图6中的支撑构件606的直径c小于支撑构件306的直径，但是图5中的支撑构件306的强度与图6中的支撑构件606的强度相同，并且由于图6中的支撑构件606具有相对小的直径，所以死角β变得比图5中的死角α小。

在其它情况下，也可以使用任何能够增加机械强度并减小死角的截面，例如椭圆形截面、矩形截面等。

图7是显示从图3的全方向立体摄像机获得的未补偿的全方向图像。如图7所示，从图3的全方向立体摄像机获得的未补偿的全方向图像具有在圆形中央区域无图像的环形。事实上，具有预定宽度和规则间隔的支撑构件306的补偿图案从外侧越接近图像的中心，所述间隔和宽度越小。全方向图像的补偿是将圆形全方向图像转换为矩形全景图像，并且将与实际的图像不同的补偿图案的宽度和间距的失真补偿为全景图像，如图8所示，这将在下面描述。

图8是显示补偿的图像的示图，其中，未补偿的图像被转换为全景图像，其中图7中的AA′-BB′被切开，并且未补偿的图像通过补偿被转换为矩形全景图像。当将图7中的全方向图像与图8中的全景图像进行比较时，图7中的全方向图像中的支撑构件306的补偿图案的宽度和间隔与实际情况不同，其从外侧向中心减小并且不均匀。然而，即使图8的全景图像中的支撑构件306的补偿图案的宽度和间隔与实际情况不同，但至少所述宽度和间隔的比例保持图5A中的实际情况的比例。换句话说，由于图5A中的支撑构件306的补偿图案的宽度b和间隔b已知，所以也能知道全方向图像中的支撑构件306比实际情况失真多少。补偿所述失真，以获得如图8所示的完整的全景图像。在以上过程中，按照查询表的形式设置根据本发明实施例的全方向立体摄像机的失真的程度，其中，目标捕捉图像参照查询表中的值被转换，从而能够获得完整的全景图像。具体地，利用查询表代替用公式表示的数学模型，图像处理器的处理量显著减小，从而系统负载也减小，并且图像的处理速度显著增加。

图9是显示根据本发明实施例的全方向立体摄像机的控制方法的示图，该方法由图4中的图像处理器402执行。如图9所示，环形全方向图像是从各个全方向摄像机302和304接收到的(902)。由于通过折反射光学系统进入的图像呈椭圆形，所以对接收到的全方向图像进行椭圆拟合，以获得椭圆的中心、拱线和短轴(904)。利用拱线和短轴能够获得两个摄像机的图像传感器的CCD坐标的斜面。当所述斜面绕着椭圆的旋转轴(短轴)旋转时，两个摄像机的图像传感器的CCD坐标的X-Y平行，从而全方向图像从椭圆形被转换为圆环形(906)。

图像处理器402从转换的圆形全方向图像上检测支撑构件306，由支撑构件306的图像信息产生用于补偿的查询表(908)，并且按照参照图8描述的相同方法根据查询表将全方向图像转换为全景图像(910)。

全方向立体摄像机利用两个全方向摄像机拍摄照片，通过假设各个全方向摄像机是独立的投影摄像机，通过各个全方向摄像机捕捉的全景图像获得图像转换算法和三维坐标估计算法(912)。

图10和图11是显示从图3的全方向立体摄像机提取三维坐标的概念的示图。具体地，图10显示全方向摄像机的Z轴截面。如图1所示，随着全方向图像被转换为全景图像，全方向摄像机302和304可被认为是传统的投影摄像机。此外，由于两个摄像机已经被补偿，所以摄像机302和304的CCD互相平行。因此，两个全方向摄像机302和304可被认为是平行的立体摄像机。为了假设平行的立体摄像机，必须获得全景图像的虚焦距f和虚深度偏移量Ro。这些值可由公式(1)至(3)获得。可测量的值是y、Y和R，可获得的值是f和Ro。

(1)y：f＝Y：(R+Ro)

(2) $[Y-y]\·\left[\begin{array}{c}f\\ \mathrm{Ro}\end{array}\right]=[y\·R]$

(3) $\left[\begin{array}{c}f\\ \mathrm{Ro}\end{array}\right]=A^{+}\·B$ 其中，

当在被拍摄的空间中测量几个点时，可得到公式(3)，通过最小均方算法可通过公式(3)得到虚焦距f和虚深度偏移量Ro。当对通过上述方法以获得的全景图像的虚焦距f和虚深度偏移量Ro以及两个全景图像的竖直方向进行立体匹配时，可获得图10中的Y和R。

如上所述，在获得R之后，当得到图11中的全景图像的X坐标的方向θ时，可获得将下部的全方向摄像机304作为参考点的由公式(4)表达的点的三维坐标。

X_L+R·cos(Azimuth)

(4)Y_L+R·sin(Azimuth)

Z_L＝Y

根据本发明的实施例，补偿装置被安装在全方向摄像机中，从而容易执行补偿。

具体地，在具有两个全方向摄像机的全方向立体摄像机中，两个全方向摄像机利用具有补偿图案的支撑构件互相连接，从而能够在没有单独的补偿装置的情况下进行补偿。

此外，在全方向摄像机中必须包括的信号线穿过支撑构件的内部，从而信号线没有被包含在图像中。

虽然已经显示并描述了本发明的实施例，但是本领域技术人员应当认识到，在不脱离本发明的原理和精神的情况下可以在实施例中进行改变，本发明的范围在权利要求及其等同物中限定。

Claims (12)

1、一种全方向立体摄像机，包括：

两个或更多的全方向摄像机；

支撑构件，安装在所述全方向摄像机之间的拍摄范围内，以使所述全方向摄像机互相连接，并且所述支撑构件包括形成在其表面上的补偿图案。

2、如权利要求1所述的全方向立体摄像机，其中，所述全方向摄像机被安装为互相面对。

3、如权利要求1所述的全方向立体摄像机，其中，所述全方向摄像机的每个包括CCD，当从所述全方向摄像机的各个CCD观看时，所述支撑构件宽度窄且长度长，从而死角减小。

4、如权利要求3所述的全方向立体摄像机，其中，所述支撑构件包括具有圆形截面的杆。

5、如权利要求3所述的全方向立体摄像机，其中，所述支撑构件包括具有泪滴形截面的杆。

6、如权利要求3所述的全方向立体摄像机，其中，所述支撑构件包括具有椭圆形截面的杆。

7、如权利要求3所述的全方向立体摄像机，还包括多个所述支撑构件。

8、如权利要求1所述的全方向立体摄像机，还包括用于传输从所述全方向摄像机中的一个产生的图像信号的信号线，其中，所述信号线穿过所述支撑构件的内部到达所述全方向摄像机中的另一个，以防止所述信号线占据图像的一部分。

9、如权利要求1所述的全方向立体摄像机，其中，所述全方向摄像机中的每个包括非单视点全方向摄像机。

10、一种全方向立体摄像机的控制方法，所述全方向立体摄像机包括两个或更多的全方向摄像机以及支撑构件，所述支撑构件安装在所述全方向摄像机之间的拍摄范围内，以使所述全方向摄像机互相连接，并且所述支撑构件包括形成在其表面上的补偿图案，所述控制方法包括：

利用图像信息将由所述全方向摄像机获得的圆形全方向图像转换为全景图像；

通过将所述各个全方向摄像机假定为独立投射的摄像机，通过由所述全方向摄像机捕捉的全景图像获得图像转换算法和三维坐标估计算法。

11、如权利要求4所述的全方向立体摄像机，其中，所述补偿图案沿着所述杆的长度方向的宽度等于所述杆的直径。

12、如权利要求1所述的全方向立体摄像机，其中，所述补偿图案包括多个带。

Images