CN103546720A - 合成虚拟视角影像的处理系统及其处理方法 - Google Patents

Abstract

一种合成虚拟视角影像的处理系统及其处理方法，将不同的全景（如鱼眼，多镜头摄影机）摄像装置所拍摄的同一空间的平面影像合成为虚拟视角影像。处理系统包括计算机装置与多个以特定排列方式布满欲观看空间的全景摄像装置。计算机装置电性连接于每一个全景摄像装置。计算机装置根据每一全景摄像装置与使用者(观看者)欲观看角度、位置与距离选择出至少两个以上的摄像装置。计算机装置对所选的平面影像进行合成处理，用以产生虚拟视角影像。

Description

合成虚拟视角影像的处理系统及其处理方法

技术领域

本发明涉及一种数码影像处理系统与方法，特别涉及一种合成虚拟视角影像的处理系统及其处理方法。

背景技术

随着监控设备的普及化，越来越多人会装设监控设备来保障自身的财产与人身安全。为能无死角的监控，因此有厂商提出可全景（panorama）拍摄的摄影机。而全景摄影机的实现方式可以由多组镜头所接合而成，也可以利用以单一个鱼眼镜头（fisheye lens）而实现。全景拍摄的优点在于可以全方位且无死角的方式观看所拍摄的数码影像。

而全景拍摄虽然具有上述的优点，然数码影像仍是属于二维的平面影像。而观看者只能从实体摄影机所在的角度观看平面影像。如果观看者欲查看平面影像的其他角度的话，观看者要通过其他拍摄角度的摄影机方能达成此一目的。如果该角度不存在摄影机则无法观看。而现有的虚拟视角影像生成技术(Virtual View Synthesis)可用来将不同角度的原始影像合成为一虚拟视角影像。但传统的做法是使用非全景摄像装置，所以使用者要重新调整摄像装置的角度，让摄像装置面向欲观看空间。所以这样的调整方式较为麻烦。

发明内容

鉴于以上的问题，本发明的目的在于提供一种合成虚拟视角影像的处理系统，将不同的全景摄像装置所拍摄的同一空间的平面影像合成为任意虚拟视角影像。

本发明所揭露的合成虚拟视角影像的处理系统包括计算机装置与多个全景摄像装置。全景摄像装置用以拍摄其所在位置的全角度影像，全景摄像装置并以特定间隔距离布满欲观察的空间。计算机装置电性连接于这些摄像装置。观看者由计算机装置的输入界面输入欲由空间中哪一位置朝哪个方向观看，计算机装置再根据每一摄像装置所拍摄的全角度影像选择出与观看者欲观看角度与位置距离最近的至少两个以上的摄像装置，计算机装置根据所选择的这些摄像装置位置与欲观看角度位置决定一拍摄夹角。计算机装置根据拍摄夹角对这些全角度影像进行合成处理，用以产生可在拍摄夹角中观看的虚拟视角影像。

本发明另提出一种合成虚拟视角影像的处理方法包括以下步骤：驱动至少二台以上的全景摄像装置，并各自拍摄全角度影像；根据全景摄像装置的观看角度、位置与距离选取至少两全景摄像装置；根据全景摄像装置所拍摄的全角度影像进行合成处理，用以产生虚拟视角影像。

本发明是从多台全景摄像装置中选择至少两台以上的摄像装置，并且利用所选择的摄像装置以不同的角度拍摄平面影像。将不同拍摄角度的平面影像进行合成处理，藉以产生相应的虚拟视角影像。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明的架构示意图；

图2A为本发明的实时合成的运作流程示意图；

图2B为本发明的一般合成的运作流程示意图；

图3为本发明的拍摄距离的示意图；

图4A为本发明的不同摄像装置拍摄平面影像的平面图；

图4B-1为本发明的所拍摄的不同角度的平面影像示意图；

图4B-2为本发明的所拍摄的不同角度的平面影像示意图；

图4C为本发明的所拍摄的合成后的虚拟视角影像示意图。

其中，附图标记

全景摄像装置110

计算装置120

处理单元121

储存单元122

连接端口123

反扭曲程序124

合成程序125

影像物件310

全角度影像410

立体影像物件420

全景摄像装置A、B

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

本发明所述的摄影系统可以被应用于道路安全监控、家庭监控（homesurveillance）或保全监控等范围中。本发明的摄影系统包括多台全景摄像装置110与计算机装置120。请参考图1所示，其为本发明的架构示意图。本发明可根据不同的环境（如室内有天花板的空间，室内有墙壁的空间，室外或开放空间）进而将全景摄像装置110以固定间隔距离依二维格状的方式布设于不同的位置。而本发明所述的全景摄像装置110是属于一种可360度全景拍摄的摄像装置。因此使用者可以在天花板、地板或墙壁上架设全景摄像装置110，就可以观看该区域的所有方向的影像。

计算机装置120更包括处理单元121、储存单元122与摄像装置连接端口123。一般而言，计算机装置120可以藉由个人计算机、笔记型计算机或数码影像录制主机（digital video recorder，简称DVR）所实现。处理单元121电性连接于处储存单元122与连接端口123。本发明的储存单元122除了可以记录全景摄像装置110所拍摄的数码影像，更储存有反扭曲程序124（dewarp）与合成程序125。计算机装置120可以通过实体电缆（cable）或无线传输（wireless）的连接端口123连接于每一个全景摄像装置110。计算机装置120接收全景摄像装置110所拍摄的全角度影像410。而全角度影像410可能是静态的影像，也可以是动态影片。而本发明的全角度影像410的观看角度与位置可以由使用者所指定。

接着，处理单元121对全角度影像410进行合成程序125的处理。本发明分为实时合成与一般合成两种。为清楚说明本发明的影像合成处理的流程，还请配合图2A、图2B所示，其为本发明的实时合成与一般合成运作流程示意图。

本发明的实时合成的判断与处理包括以下步骤：

步骤S211：根据全景摄像装置的观看角度、位置与距离选取至少两全景摄像装置，再驱动这些全景摄像装置拍摄全角度影像；以及

步骤S212：根据全景摄像装置所拍摄的全角度影像进行合成处理，用以产生虚拟视角影像。

本发明的一般合成处理的判断与处理包括以下步骤：

步骤S221：驱动所有的全景摄像装置，并各自拍摄全角度影像；

步骤S222：根据全景摄像装置的观看角度、位置与距离选取至少两全景摄像装置；以及

步骤S223：根据全景摄像装置所拍摄的全角度影像进行合成处理，用以产生虚拟视角影像，而拍摄的方式可为实时影像或录影影像。

首先，从观看者的输入中决定欲进行与观看的目标位置。在决定目标位置后计算机装置120可以根据目标位置，判断各全景摄像装置110与目标间的观看角度与两相距的距离。

计算机装置120可以从所有的全景摄像装置110中选择至少两个以上的全景摄像装置110。而选择的方式可以根据全景摄像装置的观看角度、位置与距离来选取至少两台全景摄像装置。请参考图3所示，其为本发明的拍摄位置的示意图。在图3中所有的全景摄像装置110均会拍摄到影像物件310。而为凸显所选取的全景摄像装置110，所以是以黑色双箭头线表示所选取的全景摄像装置110与影像物件310。由于所采用的是全景摄像装置110，因此全角度影像410的成相可能会有变形（distortion）的情况发生。所以为能显示正确平面的全角度影像410，就需要对前述全景摄像装置110所拍摄的全角度影像410进行反扭曲程序124的处理，藉以产生该张全角度影像410相应的平面影像。平面影像指的是反扭曲处理后的影像。若是全角度影像410没有变形的情况，则不需进行反扭曲程序124的处理。

当计算机装置120取得这些全景摄像装置110所拍摄的全角度影像410后，进行合成程序125。合成程序125将这些不同拍摄角度的全角度影像410进行演算法的运算(例如内插法(Interpolation))。请参考图4A、图4B-1、图4B-2与图4C所示，其为本发明的所拍摄的不同角度的全角度影像与合成后的虚拟角度影像示意图。

以图4A中的盒子为例，在图4A中全景摄像装置A与全景摄像装置B以不同拍摄角度拍摄该盒子。而图4B-1为全景摄像装置A所拍摄的全角度影像410，图4B-2为全景摄像装置B所拍摄的全角度影像410。合成程序125会根据已知的演算法(如前述内插法(Interpolation))，用以计算全角度影像410的合成后的外观。

最后，计算机装置120根据图4B-1与图4B-2的不同角度的全角度影像410进行虚拟视角影像与所属的立体影像物件420的建立。由于全景摄像装置A与全景摄像装置B所拍摄的角度有限，因此所建立的立体影像物件420可旋转的角度是介于全景摄像装置A与全景摄像装置B所拍摄的角度。

本发明是从多台全景摄像装置110中选择至少两台以上的全景摄像装置110，并且利用所选择的全景摄像装置110以不同的角度拍摄全角度影像410。将不同拍摄角度的全角度影像410进行合成处理，藉以产生相应的立体影像物件420。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种合成虚拟视角影像的处理系统，将所拍摄的多张平面影像合成为一虚拟视角影像，其特征在于，该处理系统包括：

多个全景摄像装置，每一该全景摄像装置用以拍摄一全角度影像；以及

一计算机装置，电性连接于该多个全景摄像装置，该计算机装置根据每一该全景摄像装置的观看角度、位置与拍摄距离，选择出至少两该多个全景摄像装置；

其中，该计算机装置根据所选择的该多个全景摄像装置决定一拍摄夹角，该计算机装置根据该拍摄夹角对该多个所选择的全景摄像装置所拍摄的该全角度影像进行合成处理，用以产生该虚拟视角影像。

2.根据权利要求1所述的合成虚拟视角影像的处理系统，其特征在于，该全景摄像装置为鱼眼摄像装置或多镜头摄像装置。

3.根据权利要求1所述的合成虚拟视角影像的处理系统，其特征在于，该多个全景摄像装置是以固定的间隔距离以二维格状的方式架设。

4.根据权利要求1所述的合成虚拟视角影像的处理系统，其特征在于，该计算机装置对该全角度影像进行一反扭曲程序，用以产生该全角度影像的一平面影像。

5.一种合成虚拟视角影像的处理方法，其特征在于，包括以下步骤：

驱动至少二台以上的全景摄像装置，并各自拍摄一全角度影像；

根据该多个全景摄像装置的观看角度、位置与距离选取至少两台该多个全景摄像装置；以及

根据该多个所选取的全景摄像装置所拍摄的该全角度影像进行合成处理，用以产生该虚拟视角影像。

6.根据权利要求5所述的合成虚拟视角影像的处理方法，其特征在于，该全景摄像装置为鱼眼摄像装置或多镜头摄像装置。

7.根据权利要求5所述的合成虚拟视角影像的处理方法，其特征在于，于驱动该多个全景摄像装置前更包括：以二维格状且固定的间隔距离的方式架设该多个全景摄像装置。

8.根据权利要求5所述的合成虚拟视角影像的处理方法，其特征在于，该全景摄像装置于拍摄该数码影像中更包括：对该全角度影像进行一反扭曲程序，用以产生该全角度影像的一平面影像。

Images