CN101689292B

CN101689292B - Banana多媒体数字信号编解码器

Info

Publication number: CN101689292B
Application number: CN200880004992.8A
Authority: CN
Inventors: S·J-L·雅各布
Original assignee: Photint Venture Group Inc
Current assignee: Photint Venture Group Inc
Priority date: 2007-02-14
Filing date: 2008-02-14
Publication date: 2014-01-15
Anticipated expiration: 2028-02-14
Also published as: ES2452366T3; AU2008215908A1; KR20100105351A; JP5172863B2; CN101689292A; NZ579035A; US20100097526A1; WO2008099269A2; HK1142428A1; EP2113119A2; PT2113119E; JP2010518535A; ZA200905624B; TW200844901A; TWI451358B; PL2113119T3; AU2008215908B2; EP2113119B1; US8395657B2; WO2008099269A3

Abstract

本发明公开了一种用于拼接两个或更多个图像以生成高质量的合成图像的方法和系统。所述方法和系统代表了拼接通过鱼眼镜头获取的两个或更多个图像的方式。该方法和系统将两个鱼眼半球状图像转换为两个三角形，其随后被拼接在一起形成矩形图像。这里，在开始时的半球状图像中的每个单独的像素代表在过程结束时的合成的矩形图像中的一个单独像素。因此，合成的拼接的图像在结束时包括与要被拼接的初始图像相同的像素浓度，且占据比球形展开图像或视频更小的存储空间。

Description

BANANA多媒体数字信号编解码器

技术领域

本发明通常涉及计算机图形和图像处理领域，特别是涉及一种从多个原始图像中生成至少一个高质量图像的技术。

发明背景

沉浸可视化技术用于观看图像的虚拟交互式体验，特别是用于将图像插入另一个图像中，以产生真实的沉浸式体验。通过沉浸可视化技术组合多个图像产生全景图像，与利用传统摄像机镜头可能产生的视野相比，其覆盖了更宽的视野。获取圆半球状静态图像的普通设备是具有鱼眼镜头的数字照相机。这种图像包括非常明显和显著数量的细节。通常，沉浸技术涉及交互式摄像，其是基于利用标准广角或鱼眼镜头或镜子以将广角图像反射到标准镜头中而获得的摄像图像的计算机处理器中的数据输入。数字处理包括去除镜子、广角或鱼眼镜头失真，并提供用户需要观看的透视校正图像部分。

在沉浸可视化系统中使用的鱼眼镜头是摄取非常宽的圆形图像的广角镜头。在摄像领域公知鱼眼镜头在获取的图像中产生的独特的失真表现。鱼眼镜头在图像或视频中提供180度的视图。该视图通常有些失真，尽管这种失真可能利用本领域公知的技术充分的校正。为了向用户提供一种良好的沉浸式体验，已经提出很多沉浸可视化系统和方法。

美国专利号6,947,059公开了一种成像系统，包括用于拼接(stitch)和转换的多个图像获取装置，以产生全运动立体球形展开图像。该方法包括以下步骤：获取多个图像，组合第一和第二图像的部分以产生第一组合的球形展开图像，组合第一图像的不同部分和第三图像的部分以产生第二组合的球形展开图像，并显示第一和第二组合的球形展开图像，以产生立体图像。

美国专利号6147709公开了一种用于将高分辨率图像插入到低分辨率图像中以产生沉浸式体验的方法。如以上专利公开的，该方法包括获取低分辨率图像，获取高分辨率图像，利用图像转换方法，恢复低分辨率，放大图像中的细节，覆盖高分辨率图像，匹配像素值，用低分辨率图像中的三个不同的相应值表示高分辨率图像中的至少三个点。

美国专利号6795090提供了一种系统和方法，用于从两个原始全景图像中生成中间全景图像，其中每个全景图像从不同的节点提供场景的360度视野。首先，得到平面图像对，其中每对都对应于从原始全景图像的各个部分得到的原始平面视图，其中场景的相似区域从每对平面视图是可视的。接着，从每对平面图像生成中间平面图像，并且柱形连接所产生的一系列中间平面图像，以形成中间全景图像。

尽管以上专利公开了组合或沉浸两个或多个图像的方法和系统，但是它们之中没有一个具有允许最终的图像被显示在小屏幕上的灵活性。这是由于这一事实，即，在多数公知的沉浸可视化系统中，拼接两个或多个图像产生了放大的球形展开图像。于是，合成的图像或视频需要更大的存储空间。此外，最终图像或视频的质量通常低于用户预期。因此，这就需要一种方法和系统，可以便于减少拼接两个或多个图像之后的图像文件的大小。同样，这种拼接两个或多个图像的方法和系统应该产生高质量的合成图像。

发明内容

本发明的一个目的在于提供一种有效的方法和系统，用于拼接两个或更多个静态和/或移动图像，以产生高质量的合成图像。

本发明还有一个目的在于提供一种方法和系统，用于拼接两个或更多个静态和/或移动图像，以产生与原始图像具有相同像素浓度的合成图像。

本发明还有一个目的在于提供一种方法和系统，用于拼接两个或更多个静态和/或移动图像，以产生减小文件大小的合成输出。

为了获得前述目的，本发明提供了一种用于拼接两个或更多个图像的方法，包括以下步骤：

a.通过图像获取装置，从视野的至少一个点和不同的方向获取两个或更多个图像，以产生半球状图像；

b.将每个半球状图像转换为相应的三角形图像；

c.沿着至少第二三角形图像的边沿，定向至少第一三角形图像，其中第一三角形图像的边沿对应于第二三角形图像的边沿；

d.组合第一三角形图像的边沿上的公共点和第二三角形图像的边沿上的相应点，以形成单个拼接的矩形图像。

本发明还提供了一种用于拼接两个或更多个图像的系统，包括：

图像获取装置，用于从视野的至少一个点和不同的方向获取两个或更多个半球状图像；以及

连接到图像获取装置的图像处理装置，将两个或更多个半球状图像转换为三角形图像，并将三角形图像组合为单个的矩形图像。

为了更清楚本发明，在说明书已经公开了以上目的。然而，以上发明的范围不应该由以上目的和/或优点约束和限制。

附图的简要说明

详细说明是参考相应附图描述的。在附图中，参考数字的最左边的数字标识其中参考数字最早出现的附图。在整个附图中使用相同的数字来表示相同的特征和组件。

附图1示出了如本发明公开的用于拼接两个或更多个图像以生成高质量合成图像的示例性系统。

附图2示出了如本发明公开的利用Banana拼接方法的用于拼接两个或更多个图像以生成高质量合成图像的示例性方法的流程图。

附图3示出了如附图2的描述中公开的BANANA拼接模块(150)的示例性实施方式的框图。

附图4的图示出了两种示例性的半球状图像、其简化图和终点坐标。

附图5的框图示出了将每个半球状图像转换为三角形图像的示例性方法。

附图6是示出了改变三角形图像的方向的示例性方法的框图。

附图7是示出了将两个三角形图像拼接成单个图像并将其定向的示例性方法的流程图。

附图的详细说明

描述了一种用于拼接两个或多个图像以生成高质量的合成图像的方法和系统。该方法和系统不意欲限制为这里所公开的任何特定的形式或配置，或者任何特定的实施例，或者任何特定用途，因为可以在各种细节或关系中对同样的内容进行修改，而不脱离这里示出和描述的所要求保护的发明的精神或范围，其中所示的装置或方法仅仅是为了可操作实施例的示出和公开的目的，而不是示出了本发明可以实施或操作的所有各种形式或修改。

为了有效地拼接通过鱼眼镜头获得的两个或多个图像，要求系统和方法生成高质量的合成图像。此外，这种系统应该为占用大量存储空间的通常的球形展开图像或视频提供可替代方式。为了这种效果，本发明公开的方法和系统提供了对通过例如鱼眼镜头的广角镜头获取的两个或多个图像进行拼接。这里，通过任何类型的鱼眼镜头获取两个或多个静态图像或视频，以产生半球形状。每个半球状图像此后被转换为球形展开图像或视频。

在半球状图像到三角形图像的转换之后，伴随有两个三角形图像的拼接。两个三角形图像的拼接使得矩形图像的形成。在合成的矩形图像中，开始的每个单个像素表示在处理结束时的一个单个像素，因此，结束时包括的像素的浓度与要被拼接的初始图像中的相同。因此，本发明公开的方法和系统产生了具有所有完整的原始细节的超高质量的拼接图像。此外，还实现了在拼接两个或多个图像之后的图像文件大小的减小，与球形展开图像相比，没有进行任何压缩，产生无损转换。

这里所述的技术可以被用在许多不同的操作环境和系统中。在以下部分中结合附图描述了适于进行各种实施的示例性环境。

示例性系统

附图1示出了用于拼接两个或多个图像以生成高质量的合成图像的示例性系统100。根据实施例，示例性系统100可以包括一个或多个图像获取装置102，连接到一个或多个图形处理单元104，所述一个或多个图形处理单元104连接到一个或多个I/O接口106，以及一个或多个输出装置108。图像获取装置102可以是具有一个或多个鱼眼镜头或适配器的数字视频摄像机。鱼眼镜头可以是圆形鱼眼镜头，以便获得至少每个图像180度×180度的视野。

在替代实施例中，图像获取装置102可以通过连接到系统100的通信网络进行访问。图像获取装置102可以还包括在通过I/O接口106转送到图形处理单元104之前将图像数字化的装置。可选的，数字化装置可以通过I/O接口106连接到所述系统100。

I/O接口106可以为系统100提供输入输出能力。I/O接口106可以包括一个或多个用于连接的端口、输入设备、输出设备、模拟和数字转换器等。I/O接口106可以被配置为用于接收通过一个或多个图像获取装置102获取的图像，并将获取的图像转换成相关格式用于通过图形处理单元104进一步处理。由图形处理单元104生成的合成图像可以通过I/O接口106被发送到输出装置108。例如，I/O接口106可以便于利用所有已有的公知方式，例如闪存盘、USB连接、WIFI连接，将图像传递到图形处理单元104。

图形处理单元104可以是单个处理实体或者包括多个计算单元的多个处理实体。图形处理单元104可以包括连接到存储器114的图像处理引擎112。在可替代实施例中，存储器114可以驻存在图形处理单元104外部作为单独的实体，或者可以通过连接到系统100的通信网络进行访问。存储器114可以包括例如易失性存储器(如RAM)和非易失性存储器(如ROM、闪存等)。存储器114可以存储接收的中间和最终图像，以及相关信息。存储器114还可以包括在拼接两个或多个图像的上述处理期间可以通过图像处理引擎112执行的可操作指令和相关数据。

图像处理引擎112可以接收由图像获取装置102获取的相关格式的图像。需要获取至少两个图像，以便获得组合至少两个图像的一个完整的360×180的视野。获取的图像需要是逐行扫描的格式，以便是至少24位色深，并且需要是可理解的多媒体文件格式。这种文件可以是光栅(raster)图像、光栅图像序列、或者视频文件，其具有最小压缩以在全部拼接处理期间保持高质量。当原始源文件是视频且隔行扫描时，隔行交织需要使用本领域公知技术被去除。可替代的，图像处理引擎112可以处理从图像获取装置102接收的图像，以产生半球状图像。此外，图像处理引擎112可以从每个半球状图像中提取多个信息。图像处理引擎112可以使用提取的信息将半球状图像转换为等价三角形图像，以及它们随后的拼接和定向。上述公开的过程确保了合成的矩形图像将会与原始图像具有相同的像素浓度，因此确保了与本领域当前公知的球形展开图像相比的无损转换。随后，图像处理引擎112将合成的拼接图像发送到输出装置108来进行显示。在优选实施例中，输出装置108可以是连接到系统100的显示屏和/或打印设备。在可替换实施例中，输出装置108可以通过连接到系统100的通信网络进行访问。

系统100可以被实施为独立系统，或者可以被实施为连接在网络中的系统。在初始化阶段，图形处理单元104可以将由图像获取装置102获取的图像、可操作指令和其它相关数据加载到存储器114。图像处理引擎112从每个图像中提取多个信息，包括每个半球状图像的坐标值和两个或多个图像的相应点。图像处理引擎112还使用存储在存储器114中的可操作指令来将半球状图像转换为等价三角形图像。另外，图像处理引擎112将三角形图像中的至少一个旋转180度，并沿着公共底边与至少第二三角形图像组合，以生成拼接图像。另外，图像处理引擎112便于拼接图像的方向的校正，以生成与原始图像具有相同像素浓度的矩形图像。最终的图像通过I/O接口106被发送到输出装置108。由本发明的所述系统生成的最终图像被发现具有超高质量，因为它保留了与原始图像相同的像素数量进而保留了相同量的细节。另外，输出文件的大小减少了大约22％，而没有使用任何压缩技术，与标准球形展开图像相比，产生更有效的存储。

示例性方法

描述了一种用于拼接两个或更多图像以生成高质量合成图像的示例性方法。附图2-7描述了逻辑流程图和/或简化图中的方块图，其表示可以采用硬件、软件或其组合来实施的一系列操作。在软件背景下，方块表示当由一个或多个处理器执行时，执行所述操作的计算机指令。该过程所描述的顺序并不意欲约束为限制，且任意数目的所描述的方块可以采用任何顺序来组合以实施该过程，或替代的过程。此外，可以从过程中删除单独的方块，而不脱离这里所描述的主题的精神和范围。

附图2示出了如本发明所公开的，利用Banana拼接处理，用于拼接两个或更多个图像以生成高质量合成图像的示例性方法系统的框图。

在优选实施例中，使用两个源文件。这些图像是两个光栅图像，表示使用背对背装在两个数字摄像机上的两个鱼眼镜头而获取的两个鱼眼图像。每个镜头具有至少180度的视野。这些图像是在任意给定的时刻在相同的环境中获取的两个图像。色深可以是24位、32位或者索引颜色。

这两个图像光栅图像1(110)和光栅图像2(120)使用本领域公知的方法加载到光栅图像读取器(130)。这两个光栅图像接着没有被压缩，并缓冲到光栅图像缓冲器(140)。光栅图像缓冲器(140)由系统的多个元件访问。由光栅图像读取器(130)提供输入光栅信息。与图像选择相关的参数由选择参数模块(180)通过(150)提供。输出信息是发送到BANANA拼接模块(150)的光栅图像。光栅图像缓冲器(140)还被连接到GUI(图形用户接口)(170)。

GUI(170)是在光栅图像缓冲器(140)、光栅图像写入器(210)、选择参数(180)、人机设备(190)和显示器(200)之间的可视连接。它可以被连接到拼接图像缓冲器(160)以加速处理过程。GUI与人机设备(190)交互作用，在所述人机设备(190)中用户和系统交互作用。由于GUI通过光栅图像缓冲器(140)显示两个未加工的图像(110)和(120)，终端用户对那些图像进行选择，以确定每个图像的要被拼接在一起的区域。选择的公共形状是一个圆形，其中用户可以确定中心和射线。可以使用不同的形状来进行上述选择。这种信息是由人机设备(190)输入的，并且由选择参数(180)提供和安排格式。接着，模块(180)将选择信息发送到BANANA拼接模块(150)，其收集在(140)中的所需的光栅信息并处理它们，以将处理的图像发送到拼接图像缓冲器(160)。Banana拼接模块(150)的功能在附图4的以下说明中进行描述。

拼接图像缓冲器(160)从BANANA拼接模块(150)收集球形展开图像。在这一步，信息是光栅图像。该信息接着由光栅图像写入器(210)以现有格式写入，例如BMP、JPG TGA等，且被并行发送到GUI(170)以进行显示。在(220)，光栅球形展开图像可以接着被处理为多个帧，并在压缩模块(230)中压缩为视频。需要对每个图像及图像的每个帧执行上述公开的过程。

附图3示出了在附图2的描述中公开的BANANA拼接模块(150)的示例性实施的框图。

光栅图像缓冲器(140)将两个源光栅图像(300)和(310)传递到具有由附图2的模块(180)提供的选择信息的CIR(圆形)到TRI(三角形)图像处理器(320)。图像处理器(320)如下所述地对每个(300)和(310)的选择处理每个像素的变换。合成信息是2个光栅图像(330)和(340)。接着，光栅图像(340)通过图像处理器旋转(350)来处理，其中对附图6所示的所有像素信息操作180度的旋转。合成数据(360)接着被加载到图像复用器(370)，即多路复用器，如附图7中所述的复用器光栅图像(400)。于是合成的光栅图像就仅仅是一个图像了。

这样的图像数据接着通过图像处理器像素移动器(410)被处理，其中每个像素如附图7所示的被移动，以产生光栅图像(420)。

该图像接着由图像处理裁切模块(430)裁切，以生成最终的矩形裁切图像(440)，其被传送到拼接图像缓冲器(160)。这个最后的步骤完成了拼接过程。

附图4-7示出了由本发明的方法公开的示例性的拼接过程。

附图4示出了两个半球状图像，它们的简化图以及终端坐标。两个或更多个图像可以由图像获取装置中的鱼眼镜头获取。附图元素402示出了由包括鱼眼镜头的图像获取装置获取的场景的正视图。附图元素404代表附图元素402的简化图像，示出了获取图像的中心以及四个端点的坐标。同样的，附图元素406示出了获取的场景的后视图。附图元素408代表附图元素406的简化图像，示出了所述图像的中心的以及四个端点的坐标。在附图4中：

TA指代半球402顶点

TB指代半球406顶点

LA指代半球402左边点

LB指代半球406左边点

RA指代半球402右边点

RB指代半球406右边点

BA指代半球402底点

BB指代半球406底点

CA指代半球402中心点

CB指代半球406中心点

附图5是示出了将每个半球状图像转换为等价三角形图像的流程图。附图元素502表示半球的圆周或周长，所述半球代表由鱼眼镜头获取的场景的正视图。附图元素504代表源于半球中心的射线CARA。半球的一个或多个元素被解释为相应三角形图像的元素。三角形的底边506，由RABALATARA代表，是由周长线502形成的，即，相应半球的TARABALA。同时，三角形图像的斜边508和垂线510由附图元素504代表，即，半球的射线CARA。

同样的，代表由鱼眼镜头获取的场景的后视图的半球被转换为等价三角形。三角形的底边516，由LBTBRBBBLB代表，是由周长线512形成的，即，相应半球的LBTBRBBBLB。同时，三角形图像的斜边518和垂线520由附图元素514代表，即，半球的射线CBLB。因此，每个半球的每个像素遵从以上的变换，并被定位在新的三角形状上，获得附图5所示的位置。

附图6是示出了改变三角形图像的方向的过程的流程图。一个或多个三角形沿着一个或多个轴旋转180度，以将它们定位来与一个或多个图像拼接。在附图6中，三角形602和604代表由半球形成的三角形图像，所述半球分别代表获取的场景的正视图和后视图。三角形604经过如附图6所示的180度的旋转，生成三角形606。我们可以认为，原始形状利用二次回转镜功能被变换，与180度旋转相似。现在，三角形606处于与三角形602拼接的有利方向，三角形602代表附图7的说明中所述的获取的场景的正视图。

附图7是示出了将两个三角形图像拼接成单个图像并将其定向的过程的流程图。原始图像的多个元素被提取并存储用于进一步的处理。另外，还识别两个或更多个图像共同的元素。为了拼接三角形图像702和翻转的三角形图像704，还识别代表公共元素的三角形的相应点。三角形702和704的相应点由附图8中的RA&LB，BA&BB，LA&RB，TA&TB和RA&LB代表。随后，三角形702和704的相应点沿着两个三角形702和704的斜边被组合或组装，以产生拼接图像706。

最后，对边RA，LB和CB线执行垂直变换，以获得球形展开图像。在合成的球形展开图像中，开始的每个单独像素代表在过程结束时的一个单独像素，由此在结束时包括与要被拼接的初始图像相同浓度的像素。此外，在存储空间方面最终图像的大小减小了至少22％。因此，本发明公开的方法和系统从两个或更多个图像中生成了比标准球形展开图像更高质量的拼接图像。

以上描述的以及在附图中示出的实施例仅仅是以举例方式来表示，并不意欲限制本发明的概念和原则。因此，本领域普通技术人员可以理解，可以在元件及其配置和布置上进行各种变化，而不脱离在所附权利要求中阐述的本发明的精神和范围。

本领域技术人员很容易理解，本发明不限于这里所述的特定实施例。因此，在所附权利要求的范围和精神内可以进行变形，而不会牺牲本发明主要的优点。

Claims

1.一种用于拼接两个或更多个图像的方法，包括以下步骤：

通过图像获取装置，从视野的至少一个点和不同的方向获取两个或更多个图像，以产生半球状图像；

将每个半球状图像转换为相应的三角形图像；

沿着至少第二三角形图像的边沿，定向至少第一三角形图像，其中所述第一三角形图像的边沿对应于所述第二三角形图像的边沿；

组合所述第一三角形图像的边沿上的公共点和第二三角形图像的边沿上的相应点，以形成单个拼接的图像。

2.如权利要求1的方法，其中转换的步骤包括以下步骤：

通过相应的圆形表示每个半球状图像；

通过圆形的周长表示三角形的底边；

通过从圆形的中心到圆形的边沿发出的射线，表示三角形的垂线和斜边。

3.如权利要求1的方法，其中定向的步骤包括将至少第一三角形图像旋转180度的步骤。

4.如权利要求1的方法，其中组合所述第一三角形图像的边沿上的点和所述第二三角形图像的边沿上的相应点的步骤包括以下步骤：

确定第一三角形图像的边沿上的对应于第二三角形图像的边沿的公共点；

沿着所述公共点，组合第一三角形图像的边沿和第二三角形图像的边沿，以形成单个拼接的图像；以及

变换所述单个图像的一个或多个边，以形成矩形的拼接的图像。

5.如权利要求1的方法，其中拼接的图像是与原始半球状图像具有相同像素浓度的矩形图像。

6.一种用于拼接两个或更多个图像的系统，包括：

连接到所述图像获取装置的图像处理装置，用以将两个或更多个半球状图像转换为三角形图像；沿着至少第二三角形图像的边沿，定向至少第一三角形图像，其中所述第一三角形图像的边沿对应于所述第二三角形图像的边沿；并组合所述第一三角形图像的边沿上的公共点和第二三角形图像的边沿上的相应点，以形成单个拼接的图像。

7.如权利要求6的系统，其中所述图像获取装置包括至少一个广角镜头。

8.如权利要求6的系统，其中所述图像获取装置获取静止的和移动的图像。

9.如权利要求6的系统，其中拼接的图像是与所述半球状图像具有相同像素浓度的矩形图像。

10.如权利要求6的系统，其中该系统包括：

存储装置，用于存储获取的图像，中间和拼接的图像，以及相关的图像处理信息；以及

输出装置，用于显示获取的中间图像和拼接的图像。

11.如权利要求6或10的系统，其中该系统通信连接到通信网络。