CN103546680B - 一种无变形的全方位鱼眼摄像装置及实现方法 - Google Patents

Abstract

本发明实施例公开了一种无变形的全方位鱼眼摄像装置及实现方法。该方法包括：根据采集到的物理场景空间的多幅实际图像，获取其像素点的坐标和颜色值；根据主摄像头拍摄到的图像的坐标系来定义合成图像的坐标系；根据合成图像的坐标系与所有辅助摄像头的图像坐标系的投影关系，计算所有辅助摄像头的图像在合成图像的坐标系中的坐标；将主摄像头和所有辅助摄像头拍摄到的实际图像的像素点的颜色值复制到合成图像坐标系中所对应的像素点；显示由该合成图像的全方位图像信息。本发明可以给用户更加直观的全方位状况，使用户更加直观的观测全景图像信息。

Description

一种无变形的全方位鱼眼摄像装置及实现方法

技术领域

本发明涉及图像摄像技术，尤其涉及一种无变形的全方位鱼眼摄像装置及实现方法。

背景资料

随着社会的发展，一个智能化的全新时代已经来临。智能化时代离不开传感器技术，但是普通的传感器也只能获取单一的信息。摄像头拍摄的图像信息真实反映了空间多种信息，因此，图像处理及识别技术是未来发展的一大趋势。

目前，市面上常用的摄像头的拍摄范围受一定的角度限制，就连广角摄像头也难以实现180°的视野。虽然鱼眼摄像头能够实现水平180°的视野，但是，鱼眼摄像头拍摄的边角和远处的变形很大。既使通过后续的校正处理，也难以弥补由于光学变形造成的信息缺失。

为了克服上述不足，本发明提供一种无变形的全方位鱼眼摄像装置及实现方法。

发明内容

本发明实施例提供了一种无变形的全方位鱼眼摄像装置及实现方法。基本思路是用多个摄像头从不同角度获取多幅无变形的实际图像，然后合成为一幅完整的无变形的全方位图像。本发明中的摄像头分为一个主摄像头和多个辅助摄像头。通过图像合成技术，用多个辅助摄像头拍摄的无变形图像来弥补主摄像头拍摄不到的盲区，从而合成为一张完整的无变形的全方位的图像效果。本发明实施例提升了用户体验，并提高了装置的安全智能性。

本发明提供一种无变形的全方位鱼眼摄像方法，其包括以下步骤：

S101，根据采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和所述实际图像的像素点的颜色值；

S102，建立合成图像坐标系；

S103，根据所述实际图像的像素点坐标计算对应的在所述合成图像坐标系中的坐标；

S104，将所述实际图像的像素点的颜色值复制至所述实际图像的像素点坐标对应的合成图像坐标系中的坐标；

S105，显示由所述合成图像的虚拟无变形的全方位图像。

所述S101，具体为：根据包括主摄像头和多个辅助摄像头在内的所有摄像头，同时采集所述物理场景空间的多幅实际图像，并获取所述的物理场景空间的多幅实际图像的像素点的坐标和颜色值；其中，所述的主摄像头和所有的辅助摄像头的光轴聚焦于一点，并且所有摄像头的镜头与光轴交点距离为零或接近于零；每个辅助摄像头与主摄像头都有图像重叠部分，每个相邻的辅助摄像头之间也有图像重叠部分。

所述S102具体包括：以主摄像头拍摄的图像中心为坐标原点，以主摄像头拍摄到的真实图像的水平向右为合成图像的横坐标轴正方向，以主摄像头拍摄到的真实图像的垂直向下为合成图像的纵坐标轴正方向，建立直角坐标系。

所述S103具体包括：根据获取到的所述实际图像的像素点坐标，计算对应合成图像的图像坐标；其中，主摄像头图像坐标以及颜色值，直接复制给合成图像坐标系中相应的坐标；所有辅助摄像头在合成图像坐标系中的坐标，根据辅助摄像头图像与主摄像头图像之间的投影关系进行计算。

所述S104具体包括：根据所有辅助摄像头拍摄到的实际物理场景空间的图像的像素点的颜色值，复制给与所述所有辅助摄像头拍摄的实际物理场景空间的图像的像素点坐标对应的在合成坐标系的坐标，需要说明的是，对于没有被赋予颜色值的合成坐标系中的坐标点，通过计算在合成图像坐标系中相邻的像素点的颜色值的平均值，将所述平均值赋予该合成图像的坐标。

所述S105具体包括：所述的主摄像头和所有辅助摄像头同时采集到的物理场景空间实际图像的像素点坐标均通过计算在合成图像坐标系上找到相应的合成图像坐标，将原来的多幅物理场景空间图像转化为一副虚拟的无变形的全方位图像，并将其显示出来。

本发明还提供另一种无变形的全方位鱼眼摄像方法，其包括以下步骤：

S201，对所述摄像头进行标定校准，所述摄像头包括主摄像头和多个辅助摄像头；

S202，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像；

S203，根据采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和和所述实际图像的像素点的颜色值；

S204，建立合成图像坐标系；

S205，根据所述所有辅助摄像头拍摄到的物理场景空间的实际图像的像素点的坐标，计算对应的在所述合成图像坐标系中的坐标；

S206，将所述主摄像头和所有辅助摄像头拍摄到的物理场景空间实际图像的像素点的颜色值，复制给所述主摄像头和所有辅助摄像头拍摄到的物理场景空间实际图像的像素点的坐标对应的在合成坐标系中的坐标；

S207，显示由所述合成图像的虚拟无变形的全方位图像和视频。

所述S201具体包括：接收到用户的标定请求后，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像；使所述主摄像头和所述所有辅助摄像头在内的所有摄像头的光轴相交于一点，同时所有摄像头的镜头与光轴的交点的距离为零或接近于零。

针对每个辅助摄像头的标定，包括：在所述主摄像头拍摄到的物理场景真实图像中，选取能够被该辅助摄像头同时看到的四个以上的像素点，获取所述像素点在主摄像头图像中的坐标值；同时，在该辅助摄像头图像中找到所述像素点，并获取所述像素点在该辅助摄像头图像上的坐标值，计算该辅助摄像头图像与主摄像头图像之间的投影关系。

所述S202包括：标记校准后，所述图像显示的装置控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像。

一种无变形的全方位鱼眼摄像装置，其包括：

图像采集模块，用于根据主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和颜色值；

坐标系设定模块，用于设定合成图像坐标系；

计算模块，用于根据所述所有辅助摄像头拍摄到的物理场景空间实际图像的像素点坐标计算对应的合成图像坐标系中的坐标；

赋予颜色模块，用于将所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点的颜色值，复制给与所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点坐标对应的在合成图像坐标系中的坐标；

显示模块，用于显示由所述合成图像的虚拟无变形的全方位图像；

标定模块，用于根据多幅实际图像合成一副完整的无变形图像之前，对摄像头进行校准标定；

所述标定模块包括：

采集单元：用于接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集标定参考图像；

获取单元，用于获取主摄像头和所有辅助摄像头采集到的标定参考图像中标定像素点在各自原始拍摄到的实际图像的坐标；

计算单元，用于计算主摄像头和所有辅助摄像头拍摄到图像像素点在所述合成图像坐标系的坐标，其具体包括：辅助摄像头矩阵计算子单元，用于根据所述辅助摄像头图像与主摄像头图像之间选取的一组标定点坐标值，计算出投影关系矩阵；主摄像头坐标计算子单元，用于将主摄像头拍摄的实际图像中心平移到所述合成图像坐标系的坐标原点，主摄像头拍摄实际图像的横坐标轴和纵坐标轴的正方向都保持不变，更新主摄像头图像中像素点的坐标；

判断单元，用于判断所有辅助摄像头标定完毕后，发出标定完毕信号。

另一种无变形的全方位鱼眼摄像装置，其包括：

标定校准模块，用于对摄像头进行标定校准，具体用于：接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像，所述所有辅助摄像头构成一个辅助摄像头模块。包括主摄像头和所有辅助摄像头在内的所有摄像头的光轴必须相交于一点，同时所有摄像头的镜头光轴的交点的距离为零或接近于零；

控制模块，用于控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像，具体用于在标定完成后，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像；

图像采集模块，用于根据主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和颜色值；

坐标系设定模块，用于设定合成图像坐标系；

计算模块，用于根据所述所有辅助摄像头拍摄到的物理场景空间的实际图像的像素点的坐标，计算对应的合成图像坐标系中的坐标；

赋予颜色模块，用于将所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点的颜色值，复制给与所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点坐标对应的在合成图像坐标系中的坐标；

显示模块，用于显示由所述合成图像的虚拟无变形的全方位图像；

标定模块，用于根据多幅实际图像合成一副完整的无变形图像之前，对摄像头进行校准标定；

所述标定模块包括：

采集单元：用于接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集标定参考图像；

获取单元，用于获取主摄像头和所有辅助摄像头采集到的标定参考图像中标定像素点在各自原始拍摄到的实际图像的坐标；

计算单元，用于计算主摄像头和所有辅助摄像头拍摄到图像像素点在所述合成图像坐标系的坐标，其具体包括：辅助摄像头矩阵计算子单元，用于根据所述辅助摄像头图像与主摄像头图像之间选取的一组标定点坐标值，计算出投影关系矩阵；主摄像头坐标计算子单元，用于将主摄像头拍摄的实际图像中心平移到所述合成图像坐标系的坐标原点，主摄像头拍摄实际图像的横坐标轴和纵坐标轴的正方向都保持不变，更新主摄像头图像中像素点的坐标；

判断单元，用于判断所有辅助摄像头标定完毕后，发出标定完毕信号。

相较于现有技术，本发明具有如下有益效果：

通过将获取的多幅实际图像进行处理合成为一整幅虚拟无变形的全方位图像，并对一整幅虚拟无变形的全方位图像进行显示，可以给用户更加直观的全方位状况，使用户更加直观的观测全景图像信息。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一之无变形的全方位鱼眼摄像方法的流程示意图；

图2是本发明实施例二之无变形的全方位鱼眼摄像方法的流程示意图；

图3是本发明实施例三的无变形的全方位鱼眼摄像装置的主要组成模块的结构示意图；

图4是图3中的标定模块的结构示意图；

图5是图3中的计算单元的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

请参见图1，为实施例提供一种无变形的全方位鱼眼摄像头装置及实现方法的第一实施例流程示意图。如图1所示，本发明实施例的所述方法包括以下步骤：

S101，根据采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和所述实际图像的像素点的颜色值；

具体说来，可以根据包括主摄像头和多个辅助摄像头在内的所有摄像头，同时采集所述物理场景空间的多幅实际图像，并获取所述的物理场景空间的多幅实际图像的像素点的坐标和颜色值。

其中，所述的主摄像头和所有的辅助摄像头的光轴聚焦于一点，并且所有摄像头的镜头与光轴交点距离为零或接近于零。每个辅助摄像头与主摄像头都有图像重叠部分，每个相邻的辅助摄像头之间也有图像重叠部分。

S102，建立合成图像坐标系；

以主摄像头拍摄的图像中心为坐标原点，以主摄像头拍摄到的真实图像的水平向右为合成图像的横坐标轴正方向，以主摄像头拍摄到的真实图像的垂直向下为合成图像的纵坐标轴正方向，建立直角坐标系。该合成图像的坐标可以出现负数。

S103，根据所述实际图像的像素点坐标计算对应的在合成图像坐标系中的坐标；

具体的，根据获取到的所述实际图像的像素点坐标，计算对应合成图像的图像坐标。其中，主摄像头图像坐标以及颜色值，直接复制给合成图像坐标系中相应的坐标。所有辅助摄像头在合成图像坐标系中的坐标，分别根据每个辅助摄像头图像与主摄像头图像之间的投影关系进行计算。

S104，将所述实际拍摄的图像的像素点的颜色值复制给所述实际拍摄的像素点坐标对应的合成图像坐标系中的坐标；

具体的，根据所有辅助摄像头拍摄到的实际物理场景空间的图像的像素点的颜色值，复制给与所述所有辅助摄像头拍摄的实际物理场景空间的图像的像素点坐标对应的在合成坐标系的坐标，需要说明的是，对于没有被赋予颜色值的合成坐标系中的坐标点，可以通过计算在合成图像坐标系中相邻的像素点的颜色值的平均值，将所述平均值赋予该合成图像的坐标。

S105，显示由所述合成图像的虚拟无变形的全方位图像；

需要说明的是，所述的主摄像头和所有辅助摄像头同时采集到的物理场景空间实际图像的像素点坐标都可以通过计算在合成图像坐标系上找到相应的合成图像坐标，可以将原来的多幅物理场景空间图像转化为一副虚拟的无变形的全方位图像，并将其显示出来。让用户更加直观的观测全景图像信息。

实施例二：

请参见图2，其为本实施例提供的另一种无变形的全方位鱼眼摄像方法的流程示意图，其包括如下步骤：

S201，对摄像头进行标定校准；

具体的，接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像，所述所有辅助摄像头构成一个辅助摄像头模块。包括主摄像头和所有辅助摄像头在内的所有摄像头的光轴必须相交于一点，同时所有摄像头的镜头与光轴的交点的距离为零或接近于零。

针对每个辅助摄像头的标定，具体为：

在主摄像头拍摄到的物理场景真实图像中，选取能够被该辅助摄像头同时看到的四个以上的像素点，获取这些像素点在主摄像头图像中的坐标值。同时，在该辅助摄像头图像中找到这些像素点，并获取这些点在该辅助摄像头图像上的坐标值。计算该辅助摄像头图像与主摄像头图像之间的投影关系。当所有辅助摄像头标定完毕，设备发出标定成功的信号。

针对主摄像头，获取的标定参考图像，进行如下处理：

通过手动选取标定参考图像多组标定点（有多少个辅助摄像头就有多少组点），提取每组点在主摄像头拍摄的标定参考图像中的像素点坐标值。并将合成图像坐标系的坐标原点设在主摄像头的中心位置，以主摄像头的图像水平向右为合成图像的横向坐标轴正方向，以主摄像头图像的水平向下为合成图像的纵向坐标轴正方向。并将主摄像头图像的坐标原点由原先的图像左上角移到所述合成图像的坐标系相同，其对应的像素点坐标做相应的改变。

针对任一个辅助摄像头，获取的标定参考图像，进行如下处理：

通过手动选取标定参考图像中一组完整标定点，提取这组点在辅助摄像头拍摄的标定参考图像中的像素点的坐标值。

假设所述主摄像头标定点中，某一点在主摄像头拍摄的图像的坐标为,该点所在的一组标定点全部被第i（i=1,2,3）个辅助摄像头全部完整拍摄到，假设主摄像头的M点在第i个辅助摄像头的对应点为，点在第i个辅助摄像头的图像坐标为，和的投影关系为公式1：

(1)

将第i个辅助摄像头拍摄到的一组标定点坐标值和该组标定点在主摄像头上的图像坐标值代入上述公式1，可以分别求出、、、、、、、的值，从而得出从第i个摄像头图像的像素点坐标到主摄像头图像的像素点坐标的投影关系矩阵（Image(i)ToImage(0)）的公式2：

(2)

待每个辅助摄像头的图像与主摄像头图像之间的投影关系计算完毕，发出标定成功信号，所述标定完成信号包括声音信号和光信号，所述声音信号控制蜂鸣器发出“标定完成”的声音，所述光信号控制标定成功指示灯闪烁。

S202，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像；

具体的，标定完成后，所述图像显示的装置控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像。

S203，根据采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和颜色值；

S204，建立合成图像坐标系；

S205，根据所述所有辅助摄像头拍摄到的物理场景空间的实际图像的像素点的坐标，计算对应的合成图像坐标系中的坐标；

具体的，根据所有辅助摄像头拍摄到的所述物理场景空间实际图像的像素点坐标，将所述像素点坐标代入步骤S201中的公式，可以得到与所述实际合成图像坐标系中对应的合成坐标。

S206，将所述主摄像头和所有辅助摄像头拍摄到的物理场景空间实际图像的像素点的颜色值，复制给所述主摄像头和所有辅助摄像头拍摄到的物理场景空间实际图像的像素点的坐标对应的在合成坐标系中图像坐标；

S207，显示由所述合成图像的虚拟无变形的全方位图像和视频。

其中，步骤S203、S204、S206和S207可以分别参见图1所示的实施例一的步骤S101、S102，S104和S105，在此不进行赘述。

在本发明实施例中，在根据主摄像头和所有辅助摄像头拍摄到的物理场景实际图像，合成无变形的全景图像前，需要先对所有辅助摄像头进行一次性的标定校准，通过将主摄像头和所有辅助摄像头获取物理场景空间的实际图像进行处理合成为虚拟无变形的全方位图像，并对虚拟无变形的全方位图像进行显示，让用户更加直观地观测全景图像信息。

实施例三：

请参见图3，其为用于实现实施例一所述的无变形的全方位鱼眼摄像方法的装置结构示意图。如图3所示，所述装置1包括：

图像采集模块10，用于根据主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和颜色值；

坐标系设定模块20，用于设定合成图像坐标系；

具体实现中，所述坐标系设定模块20是以主摄像头拍摄到的图像的中心为坐标原点，主摄像头拍摄到的图像水平向右为横向坐标轴正方向，主摄像头拍摄到的图像垂直向下为纵向坐标轴的正方向，建立直角坐标系。该坐标系中图像像素点坐标可以是负数。

计算模块30，用于根据所述所有辅助摄像头拍摄到的物理场景空间实际图像的像素点坐标计算对应的合成图像坐标系中的坐标；

具体实现中，所述计算模块30,根据所有辅助摄像头拍摄到的物理场景空间获取到的实际图像的像素点坐标，计算对应的合成图像坐标系中的坐标。其中每个辅助摄像头在合成图像坐标系中的坐标，根据辅助摄像头的图像与主摄像头图像之间的投影关系进行计算。

赋予颜色模块40，用于将所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点的颜色值，复制给与所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点坐标对应的在合成图像坐标系中的坐标；

具体实现中，所述赋予颜色模块40根据所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点的颜色值，将所述颜色值赋予与所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点坐标对应的在合成图像坐标，需要说明的是，对于没有被赋予颜色值的合成图像坐标，可以通过计算相邻的合成图像坐标的颜色值的平均值，将所述平均值赋予该合成图像的坐标。

显示模块50，用于显示由所述合成图像的虚拟无变形的全方位图像；

具体实现中，所述合成模块50，先将所述合成图像坐标原点由图像中心平移到合成图像的左上角。然后将坐标系更新后的合成图像输出在显示设备中显示出虚拟无变形的全方位图像和视频。

在本发明实施例中，通过将获取的多幅实际图像进行处理合成为一整幅虚拟的无变形的全方位图像和视频，并对虚拟无变形的全方位图像和视频进行显示，可以给用户更加直观的全景信息。

标定模块60，用于根据多幅实际图像合成一副完整的无变形图像之前，对摄像头进行校准标定；

具体实现中，所述的标定模块60，接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集标定参考图像，所有摄像头的光轴必须相交于一点，并且镜头与光轴之间的交点距离为零或接近于零。获取所述主摄像头和所有辅助摄像头采集到的标定参考图像的标定点坐标，并根据所述主摄像头标定点坐标与对应辅助摄像头标定点坐标之间的关系，计算辅助摄像头图像与主摄像头图像之间的投影关系矩阵。待所有辅助摄像头标定完成，发出标定成功信号。

具体的，请一并参见图5，为本发明实施例提供标定模块的结构示意图。如图5所示，所述标定模块60包括：

采集单元61：用于接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集标定参考图像；

具体实现中，当用户打开标定开关时，所述采集单元61控制所述的主摄像头和所有辅助摄像头拍摄物理场景空间的真实图像转换为标定参考图像。

获取单元62，用于获取主摄像头和所有辅助摄像头采集到的标定参考图像中标定像素点在各自原始拍摄到的实际图像的坐标；

具体实现中，针对主摄像头采集到的图像，手动选取N组标定点，并获取其在主摄像头拍摄真实图像的像素点坐标，其中N为与该主摄像头对应的辅助摄像头的个数，N至少为三个，每组标定点至少有四个点。针对于每个辅助摄像头，主摄像头拍摄到的图像中这N组标定点中至少有一组标定点能够被该辅助摄像头完全拍摄到。

针对每个辅助摄像头图像，手动选取所述主摄像头图像中N组标定点中，能够完全被该辅助摄像头拍摄到的标定点，并获取其在该辅助摄像头拍摄真实图像像素点坐标。

计算单元63，用于计算主摄像头和所有辅助摄像头拍摄到图像像素点在所述合成图像坐标系的坐标；

具体实现中，请一并参见图5，为本发明实施例提供计算单元的结构示意图。如图5所示，所述计算单元63包括：

辅助摄像头矩阵计算子单元631，用于根据所述辅助摄像头图像与主摄像头图像之间选取的一组标定点坐标值，计算出投影关系矩阵；

具体实现中，假设所述主摄像头图像标定点中某一点在主摄像头拍摄的图像的坐标为,该点所在的一组标定点全部被第i（i=1,2,3）个辅助摄像头全部完整拍摄到，假设主摄像头图像的M点在第i个辅助摄像头图像的对应点为，点在第i个辅助摄像头的图像坐标为，和的投影关系为公式1：

(1)

将第i个辅助摄像头拍摄到的一组标定点坐标值和该组标定点在主摄像头上的图像坐标值代入上述公式1，可以分别求出、、、、、、、的值，从而得出第i个摄像头图像的像素点坐标到主摄像头图像的像素点坐标的投影关系矩阵（Image(i)ToImage(0)）的公式2：

(2)

主摄像头坐标计算子单元632，将主摄像头拍摄的实际图像中心平移到所述合成图像坐标系的坐标原点，主摄像头拍摄实际图像的横坐标轴和纵坐标轴的正方向都保持不变，更新主摄像头图像中像素点的坐标。

判断单元64，用于判断所有辅助摄像头标定完毕后，发出标定完毕信号；

具体实现中，所述判断单元64判断所有辅助摄像头标定完毕后，发出标定完成信号，所述标定完成信号可以报考声音信号和光信号，利用声音信号控制蜂鸣器发出“标定完成”的声音，利用光信号控制标定成功指示灯闪烁。

在本实施例中，在合成一副无变形的全方位图像之前，先要对摄像头进行一次性标定校准，通过将获取的实际图像进行处理合成为虚拟无变形的全方位图像和视频，并对虚拟无变形的全方位图像进行显示，可以给用户更加直观的全景信息。

实施例四：

本实施例提供一种用于实现实施例二所述的无变形的全方位鱼眼摄像方法的装置，其与实施例三所述的装置结构相似，区别仅在于：

还包括一标定校准模块及一控制模块。

所述标定校准模块，用于对摄像头进行标定校准。

具体的，接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像，所述所有辅助摄像头构成一个辅助摄像头模块。包括主摄像头和所有辅助摄像头在内的所有摄像头的光轴必须相交于一点，同时所有摄像头的镜头与光轴的交点的距离为零或接近于零。

针对每个辅助摄像头的标定，具体为：

在主摄像头拍摄到的物理场景真实图像中，选取能够被该辅助摄像头同时看到的四个以上的像素点，获取这些像素点在主摄像头图像中的坐标值。同时，在该辅助摄像头图像中找到这些像素点，并获取这些点在该辅助摄像头图像上的坐标值。计算该辅助摄像头图像与主摄像头图像之间的投影关系。当所有辅助摄像头标定完毕，设备发出标定成功的信号。

针对主摄像头，获取的标定参考图像，进行如下处理：

通过手动选取标定参考图像多组标定点（有多少个辅助摄像头就有多少组点），提取每组点在主摄像头拍摄的标定参考图像中的像素点坐标值。并将合成图像坐标系的坐标原点设在主摄像头的中心位置，以主摄像头的图像水平向右为合成图像的横向坐标轴正方向，以主摄像头图像的水平向下为合成图像的纵向坐标轴正方向。并将主摄像头图像的坐标原点由原先的图像左上角移到所述合成图像的坐标系相同，其对应的像素点坐标做相应的改变。

针对任一个辅助摄像头，获取的标定参考图像，进行如下处理：

通过手动选取标定参考图像中一组完整标定点，提取这组点在辅助摄像头拍摄的标定参考图像中的像素点的坐标值。

假设所述主摄像头标定点中，某一点在主摄像头拍摄的图像的坐标为,该点所在的一组标定点全部被第i（i=1,2,3）个辅助摄像头全部完整拍摄到，假设主摄像头的M点在第i个辅助摄像头的对应点为，点在第i个辅助摄像头的图像坐标为，和的投影关系为公式1：

(1)

将第i个辅助摄像头拍摄到的一组标定点坐标值和该组标定点在主摄像头上的图像坐标值代入上述公式1，可以分别求出、、、、、、、的值，从而得出从第i个摄像头图像的像素点坐标到主摄像头图像的像素点坐标的投影关系矩阵（Image(i)ToImage(0)）的公式2：

(2)

待每个辅助摄像头的图像与主摄像头图像之间的投影关系计算完毕，发出标定成功信号，所述标定完成信号包括声音信号和光信号，所述声音信号控制蜂鸣器发出“标定完成”的声音，所述光信号控制标定成功指示灯闪烁。

所述控制模块，用于控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像。具体的，标定完成后，所述图像显示的装置控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像。

然后，图像采集模块根据主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和颜色值。

本实施例中的计算模块，具体用于根据所有辅助摄像头拍摄到的所述物理场景空间实际图像的像素点坐标，将所述像素点坐标代入步骤S201中的公式1：，可以得到与所述实际合成图像坐标系中对应的合成坐标。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (4)

1.一种无变形的全方位鱼眼摄像装置，其特征在于：包括：

图像采集模块，用于根据主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和颜色值，所述的主摄像头和所有的辅助摄像头的光轴聚焦于一点，并且所有摄像头的镜头与光轴交点距离为零或接近于零，从而保证无变形的合成出图像；每个辅助摄像头与主摄像头都有图像重叠部分，每个相邻的辅助摄像头之间也有图像重叠部分；

坐标系设定模块，用于设定合成图像坐标系：以主摄像头拍摄的图像中心为坐标原点，以主摄像头拍摄到的真实图像面向水平右侧延伸为合成图像的横坐标轴正方向，以主摄像头拍摄到的真实图像面向垂直下方延伸为合成图像的纵坐标轴正方向，建立直角坐标系，并称之为合成图像坐标系，这个坐标系与每个辅助摄像头的图像坐标系有特定的转换关系，这种特定的转换关系可以通过主摄像头中图像特征点与辅助摄像头中图像特征点的匹配直接计算出来，这种特定的转换关系称之为辅助摄像头图像与主摄像头图像之间的投影关系；

计算模块，用于根据所述所有辅助摄像头拍摄到的物理场景空间实际图像的像素点坐标，计算其在合成图像坐标系中的对应坐标位置；其中，主摄像头的图像坐标是直接对应于合成图像坐标系中的坐标位置，这是因为合成图像坐标系源自于主摄像头的图像坐标系；然后，根据辅助摄像头图像与主摄像头图像之间的投影关系，计算所有辅助摄像头的每个图像点的坐标在合成图像坐标系中的对应坐标；赋予颜色模块，用于将所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点的颜色值，复制给与所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点坐标所对应的在合成图像坐标系中的坐标位置；

显示模块，用于显示由所述主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像通过合成图像坐标系合成的虚拟无变形的全方位图像；所述的主摄像头和所有辅助摄像头同时采集到的物理场景空间实际图像的像素点坐标均通过计算，在合成图像坐标系上找到它们相应的合成图像坐标位置，这样就将原来的多幅物理场景空间图像转化为一副真实的无变形的全方位图像，并将其显示出来；标定模块，用于根据多幅实际图像合成一副完整的无变形图像之前，对摄像头进行校准标定；

所述标定模块包括：

采集单元：用于接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集标定参考图像；

获取单元，用于获取主摄像头和所有辅助摄像头采集到的标定参考图像中标定像素点在各自原始拍摄到的实际图像的坐标；

计算单元，用于计算主摄像头和所有辅助摄像头拍摄到图像像素点在所述合成图像坐标系的坐标转换关系及相对应的坐标位置，其具体包括：辅助摄像头矩阵计算子单元，用于根据所述辅助摄像头图像与主摄像头图像之间选取的一组标定点坐标值，计算出投影关系矩阵；主摄像头坐标计算子单元，用于将主摄像头拍摄的实际图像中心平移到所述合成图像坐标系的坐标原点，主摄像头拍摄实际图像的横坐标轴和纵坐标轴的正方向都保持不变，更新主摄像头图像中像素点的坐标；判断单元，用于判断所有辅助摄像头标定完毕后，发出标定完毕信号。

2.一种如权利要求1所述的无变形的全方位鱼眼摄像装置的摄像方法，其特征在于：其包括以下步骤：

S101，根据采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和所述实际图像的像素点的颜色值；

S102，建立合成图像坐标系；

S103，根据所述实际图像的像素点坐标，计算在所述合成图像坐标系中的对应坐标位置；

S104，将所述实际图像的像素点的颜色值复制至所述实际图像的像素点坐标所对应的合成图像坐标系中的坐标位置；

S105，显示由所述主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像通过合成图像坐标系合成的虚拟无变形的全方位图像；

所述S101，具体为：根据包括主摄像头和多个辅助摄像头在内的所有摄像头，同时采集所述物理场景空间的多幅实际图像，并获取所述的物理场景空间的多幅实际图像的像素点的坐标和颜色值；其中，所述的主摄像头和所有的辅助摄像头的光轴聚焦于一点，并且所有摄像头的镜头与光轴交点距离为零或接近于零；每个辅助摄像头与主摄像头都有图像重叠部分，每个相邻的辅助摄像头之间也有图像重叠部分；

所述S102具体包括：以主摄像头拍摄的图像中心为坐标原点，以主摄像头拍摄到的真实图像面向水平右侧延伸为合成图像的横坐标轴正方向，以主摄像头拍摄到的真实图像面向垂直下方延伸为合成图像的纵坐标轴正方向，建立直角坐标系，并称之为合成图像坐标系，这个坐标系与每个辅助摄像头的图像坐标系有特定的转换关系，这种特定的转换关系可以通过主摄像头中图像特征点与辅助摄像头中图像特征点的匹配直接计算出来，这种特定的转换关系称之为辅助摄像头图像与主摄像头图像之间的投影关系；

所述S103具体包括：根据获取到的所述实际图像的像素点坐标，计算其在合成图像中的对应坐标位置；其中，主摄像头图像的坐标直接就是合成图像坐标系中的相应坐标，这是因为合成图像坐标系源自于主摄像头的图像坐标系；然后，根据辅助摄像头图像与主摄像头图像之间的投影关系，计算所有辅助摄像头的每个图像点的坐标在合成图像坐标系中的对应坐标；

所述S104具体包括：根据所有辅助摄像头拍摄到的实际物理场景空间的图像的像素点的颜色值，复制给与所述所有辅助摄像头拍摄的实际物理场景空间的图像的像素点坐标对应的在合成坐标系的坐标，需要说明的是，对于没有被赋予颜色值的合成坐标系中的坐标点，通过计算在合成图像坐标系中相邻的像素点的颜色值的平均值，将所述平均值赋予该合成图像的坐标；

所述S105具体包括：所述的主摄像头和所有辅助摄像头同时采集到的物理场景空间实际图像的像素点坐标均通过计算在合成图像坐标系上找到相应的合成图像坐标，将原来的多幅物理场景空间图像转化为一副真实的无变形的全方位图像，并将其显示出来。

3.一种无变形的全方位鱼眼摄像装置，其特征在于：包括：

标定校准模块，用于对摄像头进行标定校准，具体用于：接收到用户的标定请求时，控制主摄像头和所有辅助摄像头采集物理场景空间的实际图像，所述所有辅助摄像头构成一个辅助摄像头模块；包括主摄像头和所有辅助摄像头在内的所有摄像头的光轴必须相交于一点，同时所有摄像头的镜头与光轴的交点的距离为零或接近于零；所述标定校准是针对每个辅助摄像头的标定校准，其包括：在所述主摄像头拍摄到的物理场景真实图像中，选取能够被该辅助摄像头同时看到的四个以上的像素点，获取所述像素点在主摄像头图像中的坐标值；同时，在该辅助摄像头图像中找到所述像素点，并获取所述像素点在该辅助摄像头图像上的坐标值，计算该辅助摄像头图像与主摄像头图像之间的投影关系；

控制模块，用于控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像，具体用于在标定校准完成后，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像；

图像采集模块，用于根据主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和颜色值；

坐标系设定模块，用于设定合成图像坐标系；

计算模块，用于根据所述所有辅助摄像头拍摄到的物理场景空间的实际图像的像素点的坐标，计算对应的合成图像坐标系中的坐标；

赋予颜色模块，用于将所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点的颜色值，复制给与所述主摄像头和所有辅助摄像头拍摄到的实际图像的像素点坐标对应的在合成图像坐标系中的坐标；

显示模块，用于显示由所述主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像通过合成图像坐标系合成的虚拟无变形的全方位图像；

所述标定校准模块具体包括：

采集单元：用于接收到用户的标定请求时，控制所述主摄像头和所有辅助摄像头采集标定参考图像；

获取单元，用于获取主摄像头和所有辅助摄像头采集到的标定参考图像中标定像素点在各自原始拍摄到的实际图像的坐标；

计算单元，用于计算主摄像头和所有辅助摄像头拍摄到图像像素点在所述合成图像坐标系的坐标，其具体包括：辅助摄像头矩阵计算子单元，用于根据所述辅助摄像头图像与主摄像头图像之间选取的一组标定点坐标值，计算出投影关系矩阵；主摄像头坐标计算子单元，用于将主摄像头拍摄的实际图像中心平移到所述合成图像坐标系的坐标原点，主摄像头拍摄实际图像的横坐标轴和纵坐标轴的正方向都保持不变，更新主摄像头图像中像素点的坐标；

判断单元，用于判断所有辅助摄像头标定完毕后，发出标定校准完毕信号。

4.一种权利要求3所述装置的无变形的全方位鱼眼摄像装置的摄像方法，其特征在于：其包括以下步骤：

S201，对摄像头进行标定校准，所述摄像头包括主摄像头和多个辅助摄像头；

S202，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像；

S203，根据采集到的物理场景空间的实际图像，获取所述实际图像的像素点的坐标和所述实际图像的像素点的颜色值；

S204，建立合成图像坐标系；

S205，根据所述所有辅助摄像头拍摄到的物理场景空间的实际图像的像素点的坐标，计算对应的在所述合成图像坐标系中的坐标；

S206，将所述主摄像头和所有辅助摄像头拍摄到的物理场景空间实际图像的像素点的颜色值，复制给所述主摄像头和所有辅助摄像头拍摄到的物理场景空间实际图像的像素点的坐标对应的在合成坐标系中的坐标；

S207，显示由所述主摄像头和所有辅助摄像头采集到的物理场景空间的实际图像通过合成图像坐标系合成的虚拟无变形的全方位图像；

所述S201具体包括：接收到用户的标定请求后，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像；使所述主摄像头和所述所有辅助摄像头在内的所有摄像头的光轴相交于一点，同时所有摄像头的镜头光轴的交点的距离为零或接近于零；所述对所述摄像头进行标定校准是针对每个辅助摄像头的标定校准，其包括：在所述主摄像头拍摄到的物理场景真实图像中，选取能够被该辅助摄像头同时看到的四个以上的像素点，获取所述像素点在主摄像头图像中的坐标值；同时，在该辅助摄像头图像中找到所述像素点，并获取所述像素点在该辅助摄像头图像上的坐标值，计算该辅助摄像头图像与主摄像头图像之间的投影关系；所述S202包括：标定校准后，控制所述主摄像头和所有辅助摄像头采集物理场景空间的实际图像。