CN101082766A - 一种快速采集全景图像的设备和方法 - Google Patents

Abstract

本发明提出的是一种可在移动过程中快速拍摄全景图像或全景图像序列的设备和方法。他涉及数码照相、摄像技术和全景图像处理技术。所述的设备包括：复数台图像采集装置、同步控制系统以及全景图像处理工作站；复数台图像采集装置固定在同一水平面上，且其成像点近似重合于同一圆弧的圆心处。所述的方法包括步骤：在移动过程中对某一点或运动线路上的连续多个点的四周进行360度的同步拍摄，所拍摄的图像经处理得到该点的全景图或连续的全景图像序列。此设备和方法彻底解决了传统全景拍摄方式无法在移动中实时捕捉的缺陷，减少了图像后处理时拼接的难度，极大地提高了效率。

Description

一种快速采集全景图像的设备和方法

技术领域

本发明涉及一种图像的拍摄设备和拍摄方法。特别是一种全新的全景图像或连续的全景图像序列的快速采集设备和方法。该设备和方法可用于快速采集单幅全景或大规模的采集连续的全景序列。

技术背景

三维全景是一种包含360°完整信息的图像，通过电脑显示器等显示设备，观看者仿佛身临其境，并可以通过自己的操作来观看360°场景内任意一个角落的情况。传统的全景拍摄方式，是使用一台相机定点拍摄。拍摄时利用一种专用云台固定相机，通过旋转一定角度多次拍摄得到相邻之间有重合区域的多张照片，然后将这些照片拼合成一幅完整的全景。此方法有很多缺陷：

1、拍摄和后期处理过程复杂，如寻找相机节点和调试云台、对拼合的瑕疵进行图像处理等。拍摄需专业的摄相师，后期拼合照片和修图，也需要专业的美工人员。

2、拍摄变化大的场景时，无法保证所得结果的完整。由于组成一幅全景的多张照片是通过旋转在不同时刻拍摄的。因而如果在拍摄过程中场景中的物体，如行人、车辆等发生移动，特别是相邻照片的重合区域的物体发生变化，将导致照片无法拼合为全景或拼合的全景图像存在缺陷。

由于上述传统方式需要定点后旋转相机多次拍摄，要求在拍摄过程中相机本身位置不能发生变化，否则就无法拼合得到的照片。因此传统方式不能边移动边拍摄，无法在移动中不间断地获取到连续的全景图像序列。

上述传统设备拍摄全景时效率低，耗时长，不适合对大范围场景(如一个城市的每一条街道)进行完整的、较高密度的拍摄。

由于上述传统设备存在的问题，各数码相机(或摄像机)成像点相距太远，这样即使同样可以拍摄图像，且即使所拍摄的图像中有相同的场景，也无法将拍到的图像进行无缝拼合得到全景。

另外，有利用多台照相机或摄像机进行监控或者用于立体摄影等，但没有用来拍摄全景图像的。

综上所述，由于传统的全景拍摄方式存在上述多种缺陷，其应用只能局限于房地产、场馆展示等有限的领域，因此无法满足获取更大范围和数量的全景的需要。

发明内容

本发明所要解决的技术问题之一是提供一种由多台图像采集装置按要求组合，在同步控制系统控制下快速拍摄并生成全景图像或全景图像序列的设备。该设备不仅可更加轻松快速的得到单幅全景，还可以在移动中进行拍摄，得到连续的全景图像序列。

本发明所要解决的技术问题之二是提供一种由上述设备来实现快速拍摄并生成全景图像或全景图像序列的方法。

作为本发明第一方面的快速拍摄并生成全景图像或全景图像序列的设备，包括：

一固定装置，用以安装图像采集装置；

复数台安装在固定装置上的图像采集装置；

一与复数台图像采集装置连接的同步控制系统；

其特征在于：

所述复数台图像采集装置固定在同一水平面上，且其成像点近似重合于同一圆弧的圆心处。

在本发明中，所述设备还包括一全景图像处理工作站，以实时保存图像采集装置所采集的图像并对所拍摄的图像处理成全景图像。

在本发明中，复数台图像采集装置所采集的图像涵盖了360度视野的全景，且相邻两台图像采集装置所采集的图像具有部分重合区域。

本发明的图像采集装置包含但不限于CCD数码照相机或CMOS数码照相机或摄像机。

在本发明中，所述CCD数码照相机或CMOS数码照相机或摄像机的节点(nodal point)平均分布于同一个圆的圆弧上，同时调整镜头方向以使所有镜头的中心线相交于圆的圆心。

在本发明中，所述设备包括一移动装置，所述固定装置安装在移动装置上，以实现多点连续拍摄。

在本发明中，所述同步控制系统可以被设置连续拍摄模式，所述设备将按同步控制系统预先设定的帧速率连续拍摄。

在本发明中，所述图像采集装置所拍摄的图像可以存储在自身的存储介质中。

在本发明中，所述同步控制系统为一与各图像采集设备的拍摄按钮连接的同步遥控器。

在本发明中，所述同步控制系统为一与各具有PC控制功能的图像采集装置连接的PC控制器。

作为本发明第二方面的快速拍摄并生成全景图像或全景图像序列的方法，包含如下步骤：

1、使用多台在同步控制系统控制下的复数台图像采集装置对某一点或线路上多个点的四周同时进行拍摄；

2、将所拍摄的图像经处理得到该点的全景图或连续点的全景图像序列。

在本发明的方法中，所述复数台图像采集装置的视野范围涵盖了整个360度的场景。

在本发明的方法中，使用同步控制系统控制复数台图像采集装置在同一时间采集，共同获取到同一位置360度方向的图像。

在本发明的方法中，可以使用同步控制系统控制复数台CCD数码照相机或CMOS数码照相机或摄像机，使各台CCD数码照相机或CMOS数码照相机或摄像机在同一时刻曝光，共同获取到同一位置360度方向的图像。

在本发明的方法中，可以通过计算的选取并排列图像采集装置，使相邻的图像采集装置所采集的图像中有重合部分，通过对图像重合区域的拼合处理能够使相邻图像无缝融合。

所述拼合的图像，经过透视校正便得到全景图像。

在本发明的方法中，所采用的CCD数码照相机或CMOS数码照相机或摄像机可以通过转接广角镜头或超广角镜头的方式增大所拍摄图像的视野范围(FOV)，以减少所需数码照相机或摄像机的数量。

所述超广角镜头可以是鱼眼镜头。

在本发明的方法中，可以在固定位置定点拍摄，得到单幅的全景图像。也可在行进过程中边移动边拍摄，得到全景图像序列。

在本发明的方法中，所述图像采集装置所拍摄的图像可以存储在自身的存储介质中，集中后续到处再处理成全景图像。也可以实时的将图片传至全景图像处理工作站即时处理为全景图像。

在本发明的方法中，图像采集时，复数台图像采集装置的成像点近似重合于同一圆弧的圆心处。

与传统的全景拍摄方式或多摄像机的设备相比，本发明的重大区别在于其中各台图像采集装置，如数码照相机(或摄像机)采用了独创的布局结构进行固定，将数码照相机(或摄像机)按照本发明的要求进行固定后，各台照相机(或摄像机)的成像点便近似重合于同一圆弧的圆心处，同时确保了相邻图像有重合区域，因而才能使一次成像便使各照相机(或摄像机)的图像涵盖了360度视野的全景，并可以在软件中无缝拼接成为全景图像。而传统的全景拍摄设备只采用一台数码照相机(或摄像机)，需要多次旋转相机才能拍到整个360度场景的图像，无法像本发明一样做到一次成像。而其他一些使用多台数码相机(或摄像机)的采集设备，因为没有按照本发明的方法布置数码照相机(或摄像机)，即使同样可以拍摄图像，即使所拍摄的图像中有相同的场景，但由于成像点相距太远，也无法将拍到的图像进行无缝拼合得到全景。

另外本发明更能够彻底的解决上述传统全景拍摄方式的缺陷，为获取大范围海量全景提供了一种设备和方法，为全景的普及和应用提供了有力的技术支持。

针对传统方式拍摄和后期处理过程复杂的缺陷，本发明在拍摄上其设备一旦固定便一劳永逸。无需重复安装和调试。而固定数码照相机(或摄像机)位置的另一个好处是在后期处理拼合上简化了程序、降低了难度。因为固定的相机所拍的图片参数也相应的固定，拼合时我们只需要调用固定的函数，而不需要进行复杂的特征点搜索和匹配，因此一个简单的批处理程序便可以快速的处理所拍摄的大量图像，效率提高90％。拼合误差也大大降低，基本不需要修图。

针对拍摄变化大的场景时所得结果会不完整的缺陷，本发明采用多台数码照相机(或摄像机)在同步控制系统的控制下在同一时刻拍摄，整个场景一次性捕获，无需担心场景的变化，不会出现拍出的图像无法拼合或有缺陷的问题。

本发明是一键式拍摄，只需按一下同步控制系统中的拍摄按钮，便完成了一幅全景图像的拍摄。另外可以将本发明的设备一移动装置，如车顶，行驶过程中可以通过遥控器随时拍摄。另外也可以设置成连续拍摄模式，设备将按同步控制系统预先设定的帧速率连续拍摄。这样很容易就能在大范围场景(如城市)中得到连续、完整的全景。此外，如果相机(或摄像机)支持PC控制的功能，也可通过PC编程控制进行同步拍摄，并将拍摄的图像同步保存在PC中。

本发明虽然因采用多台数码照相机(或摄像机)造成硬件成本超出传统方式，但是降低了拼合难度，也无需另行购买昂贵的全景拼合软件。此外还节省了专业摄像师和美工人员的人工成本，所以在实际应用中成本与传统方式相差并不大。如果考虑到在效率、效果方面的改进和提高所带来的潜在利益，平均成本甚至低于传统方式。同时本发明实现的很多新功能(如移动中拍摄全景等)是将全景应用于很多新领域所必须的，这以传统方式是无法实现的。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明Nikon CP8800相机接FC-E9鱼眼镜头的示意图。

图2为本发明多台CCD(或CMOS)数码照相机(或数码摄像机)固定结构的原理示意图。

图3为本发明CCD(或CMOS)数码照相机(或数码摄像机)镜头原理示意图。

图4为本发明同步控制系统的原理示意图。

图5为本发明的快速拍摄并生成全景图像或全景图像序列的设备结构示意图。

图中：1为鱼眼镜头，3为CCD(或CMOS)数码照相机(或数码摄像机)，4为遥控器，5为带控制程序的PC，相机控制程序发出的控制信号都由它来进行同步并传输至数码相机(或摄像机)，6为CCD(或CMOS)数码照相机(或数码摄像机)的同步控制系统，7为重合区域，8为节点(Nodal Point)，9为同步控制系统，10为同步控制程序，11为图像的处理程序，12为图像处理工作站，13为得到的全景图像示例。

具体实施方案

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明的快速拍摄并生成全景图像或全景图像序列的设备结构如图5所示，快速拍摄并生成全景图像或全景图像序列的设备，包括固定装置2，用以安装复数台图像采集装置，如多台CCD(或CMOS)数码照相机(或数码摄像机)3，与多台CCD(或CMOS)数码照相机(或数码摄像机)3上的拍摄按钮连接的同步控制系统9或同步控制程序10；多台CCD(或CMOS)数码照相机(或数码摄像机)3还与全景图像处理工作站12用数据线连接，将取得的图像导入全景图像处理工作站12，经专用的处理程序11处理为360的全景图像13。

多台CCD(或CMOS)数码照相机(或数码摄像机)3，按照发明的设计要求进行组合并固定，在同步控制系统9或同步控制程序10的控制下进行多角度的拍摄。

首先我们根据需要选取所需的CCD(或CMOS)数码照相机(或数码摄像机)3，以及配套的广角或超广角附加镜头。根据相机参数和镜头焦距可以计算出相机拍摄图像的视角(常见的广角镜头视角为60-84度，超广角镜头为94-118度甚至更高)，用360除以水平视角的度数即可得到所需相机的数量。例如Nikon CP8800相机在接FC-E9鱼眼镜头(1)后，水平视角达到183度(如图1)，这样理论上只需两台相机就可以覆盖水平方向上360°的所有场景(在实际应用中我们往往会在此基础上增加一台相机以保证获得足够多的重合区域7。

然后我们多台CCD(或CMOS)数码照相机(或数码摄像机)3固定在同一水平平面上，使相机的节点(nodal point)8平均分布于同一个圆的圆弧上(如图2所示)，同时调整镜头方向以使所有镜头的中心线相交于圆的圆心15(如图3所示)。这样固定的目的是使所有相机(或摄像机)的成像点近似地重合于该圆的圆心15，以使所得图像能够无缝拼合。同时也确保数码相机(或摄像机)3拍摄的图像中具有了比较平均的重合部分，通过对重合区域7的计算和处理便可以把原本分散的一组图片经过透视校正生成为一幅360°的全景图像。所述节点(Nodal point)：是指照相机的光学中心，穿过此点的光线不会发生折射。

将多台CCD(或CMOS)数码照相机(或摄像机)3连接至CCD(或CMOS)数码照相机(或数码摄像机)的同步控制系统6，通过同步控制系统6同步控制各台相机(或摄像机)3拍摄参数和快门。快门信号可通过遥控器4人工启动，使各台CCD数码照相机或CMOS数码照相机3或摄像机在同一时刻曝光，共同获取到同一位置360度方向的图像。

如果相机(或摄像机)3支持PC控制的功能，也可通过带控制程序的PC5控制程序编程来定时触发或按照设定规律触发(如图5)。

拍摄所得的图像，可暂时存在数码相机(或摄像机)3的存储界质(如CF卡、SD卡、DV带或光盘)中，待后期导入电脑进行处理。也可通过数据线实时存入图像处理工作站12中，由图像的处理程序11处理为全景图并保存。这样在拍摄过程中也可以对及时的对全景的效果进行监控。

将固定的数码相机(或摄像机)3固定装置2放置到汽车等交通工具上，便可以在行驶过程中随时实现多点连续拍摄并获得全景图像或全景图像序列。

在移动拍摄过程中，同步控制系统可以被设置连续拍摄模式，这样多台数码相机(或摄像机)3将按同步控制系统预先设定的帧速率连续拍摄。

本发明的方法中将多张图片拼合生成全景的方法也与传统的拼合软件并不相同。传统软件是因为是旋转相机进行拍摄，因而每一组全景拍摄时的参数都会发生变化。导致在拼合过程中需要重复进行特征点的搜索和匹配计算，效率很低。而本发明由于固定了数码照相机(或数码摄像机)的位置，所以图像的位置参数也相对固定，拼合处理时只需对第一组图像数据进行特征点匹配的分析，便可计算出整套设备的参数，后续的拼合无需再次搜索和匹配特征点，只需在拼合算法中调用前面计算出的统一参数即可。从而节省了计算中最耗时的部分，效率提升了90％。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (21)

1、一种快速拍摄并生成全景图像或全景图像序列的设备，包括：

一固定装置，用以安装图像采集装置；

复数台安装在固定装置上的图像采集装置；

一与复数台图像采集装置连接的同步控制系统；

其特征在于：

所述复数台图像采集装置固定在同一水平面上，且其成像点近似重合于同一圆弧的圆心处。

2、根据权利要求1所述的设备，其特征在于，还包括一全景图像处理工作站，以实时保存图像采集装置所采集的图像并对所拍摄的图像处理成全景图像。

3、根据权利要求1所述的设备，其特征在于，所述复数台图像采集装置所采集的图像涵盖了360度视野的全景，且相邻两台图像采集装置所采集的图像具有部分重合区域。

4、根据权利要求1或2或3所述的设备，其特征在于，所述图像采集装置包含但不限于CCD数码照相机或CMOS数码照相机或摄像机。

5、根据权利要求4所述的设备，其特征在于，所述CCD数码照相机或CMOS数码照相机或摄像机的节点平均分布于同一个圆的圆弧上，同时调整镜头方向以使所有镜头的中心线相交于圆的圆心。

6、根据权利要求1所述的设备，其特征在于，所述设备包括一移动装置，所述固定装置安装在移动装置上。

7、根据权利要求6所述的设备，其特征在于，所述同步控制系统可以被设置连续拍摄模式，所述设备将按同步控制系统预先设定的帧速率连续拍摄。

8、根据权利要求1所述的设备，其特征在于，所述同步控制系统为一与各图像采集设备连接的同步遥控器或具有PC控制功能的图像采集装置连接的PC控制器。

9、一种快速拍摄并生成全景图像或全景图像序列的方法，包含如下步骤：

1)、使用多台在同步控制系统控制下的复数台图像采集装置对某一点或线路上多个点的四周同时进行拍摄；

2)、将所拍摄的图像处理得到该点的全景图或连续点的全景图像序列。

10、根据权利要求9所述的方法，其特征在于，所述复数台图像采集装置的视野范围涵盖了整个360度的场景。

11、根据权利要求10所述的方法，其特征在于，使用同步控制系统控制复数台图像采集装置在同一时间采集，共同获取到同一位置360度方向的图像。

12、根据权利要求11所述的方法，其特征在于，使用同步控制系统控制复数台CCD数码照相机或CMOS数码照相机或摄像机，使各台CCD数码照相机或CMOS数码照相机或摄像机在同一时刻曝光，共同获取到同一位置360度方向的图像。

13、根据权利要求9所述的方法，其特征在于，通过计算的选取并排列图像采集装置，使相邻的图像采集装置所采集的图像中有重合部分，通过对图像重合区域的拼合处理能够使相邻图像无缝融合。

14、根据权利要求13所述的方法，其特征在于，所述拼合的图像，经过透视校正便得到全景图像。

15、根据权利要求12所述的方法，其特征在于，所采用的CCD数码照相机或CMOS数码照相机或摄像机可以通过转接广角镜头或超广角镜头的方式增大所拍摄图像的视野范围，以减少所需数码照相机或摄像机的数量。

16、根据权利要求15所述的方法，其特征在于，所述超广角镜头可以是鱼眼镜头。

17、根据权利要求9所述的方法，其特征在于，在固定位置定点拍摄，得到单幅的全景图像。

18、根据权利要求9所述的方法，其特征在于，在行进过程中边移动边拍摄，得到全景图像序列。

19、根据权利要求9所述的方法，其特征在于，所述图像采集装置所拍摄的图像可以存储在自身的存储介质中，集中后续再处理成全景图像。

20、根据权利要求9所述的方法，其特征在于，将实时的将图片传至全景图像处理工作站即时处理为全景图像。

21、根据权利要求9所述的方法，其特征在于，图像采集时，复数台图像采集装置的成像点近似重合于同一圆弧的圆心处。

Images