CN103945206B - 一种基于相似帧比较的立体图像合成系统 - Google Patents

Abstract

本发明公开了一种基于相似帧比较的立体图像合成系统，系统从与目标图像的二维图像在时间上有连续关系的一段视频帧中选取与该二维图像拥有同一系列背景的前后各x帧图像进行相似帧比较，找到合适的像素值填补到目标图像的空洞中，再由填补完空洞的多张不同视角的图像合成立体图像。因是以不同时间的像素值做填补，填补空洞的像素值是完全真实存在而非猜测，所生成的图像比传统方法更加真实，且不需做复杂的运算，运行时间较短。

Description

一种基于相似帧比较的立体图像合成系统

技术领域

本发明涉及一种立体图像合成系统，尤其涉及一种基于相似帧比较的立体图像合成系统。

背景技术

伴随着视频图像技术的发展，民众对立体显示技术的要求逐步提高，由于立体影片拍摄技术尚处起步阶段，早期的2D视频、影片无论从质量上、观赏性上、信息保存度上，与3D视频差距较大，已不能满足大众的日常生产、生活、娱乐需求。在市场需求高、技术可行的前提下，2D转3D技术成为研究热点。目前国内外的2D转3D技术主要是采用基于深度图的3D效果合成，即利用中间视点与其对应的深度图合成多视点的图像，是一种较常用的方法。具体利用两张二维图像合成出一张深度图，或来源图像是已有的一张二维图像与一张深度图，再利用一张二维图像与合成的深度图配合基于深度图形的绘制技术生成不同视角的图像，即为多视点图像的合成。然而由于可见性变化等原因，采用基于深度图形的绘制技术合成的视图往往存在空洞。

多视点合成时图像中产生的空洞已有的处理方式主要分两类，一类是利用破洞周围的像素信息去填补，例如线性插值、线性外插、背景映射或是图像修复。另一种则是在合成3D图像前先对深度图像像做预处理，让图像在合成时能够减少或是移除破洞，像是对称式高斯平滑，非对称式高斯平滑等。

现阶段针对视点合成时视图中产生的空洞，基于深度图形的绘制技术是算法均是在同一个画面中对空洞附近进行水平像素的推测运算，这样计算得到的填洞像素值的正确率不高，容易造成图像边缘的失真。例如现有方法中的对深度图平滑处理和水平镜像方法，对深度图进行平滑处理后，再进行图像变形图像大部分的破洞都会消失，但也会在图像上产生几何失真；而采用水平镜像方法填洞可以防止图像的几何失真，但是会给填补后的图像在前后景处造成模糊的情况。

采用基于深度图形的绘制技术生成不同视角的图像，得到的不同视角的图像在生成的过程中，有些像素信息会由于图像的遮蔽效应而丢失，所以在同一帧上选取像素信息对视点合成时产生空洞进行填补，所用的像素信息对不同视点不同位置的空洞进行填补后，会造成图像失真。

发明内容

本发明的目的在于克服现有技术的不足，提供一种生成的图像较传统方法更真实的，基于相似帧比较的立体图像合成系统。

为实现上述目的，本发明的技术方案为：一种基于相似帧比较的立体图像合成系统，其包括：

一内存单元，用于存储整个立体图像合成系统运行所需的相关数据，供系统内各单元调用；

一深度图产生单元，根据输入图像生成对应的深度图；

当深度图产生单元的输入图像为左图像与右图像的两视角图像时，对两幅图像进行深度信息的采集，产生一幅对应的深度图，再将深度图像和对应的二维图像传输到图像变形单元；

当深度图产生单元的输入图像为深度图和对应的二维图像时，则深度图产生单元不运作，将深度图和对应的二维图像传输到图像变形单元；

一图像变形单元，根据深度图产生单元输入的一张二维图像及其对应的深度图的参数，经过图像变形得到多张具有不同视差并含有空洞的二维图像和对应的空洞图像，将多张含有空洞的二维图像作为目标图像与对应的空洞图像一起存入内存单元；

一相似帧比较单元，从内存单元调入目标图像的二维图像，并读取与目标图像的二维图像在时间上有连续关系的一段视频帧，从中选取与目标图像的二维图像拥有同一系列背景的前后各x帧图像，x为小于或等于8的正整数，用结构相似性方法将目标图像的二维图像先与前后x帧图像中距离最远的图像进行比较，依次向内一一进行相似帧的判断，将得到的相似帧的值存入内存单元中，待前后x帧图像分别与目标图像的二维图像比较结束后，根据所得的相似帧的值，进行相似性范围的判断；

当有满足相似性判定范围的前后帧图像时，将满足在范围内的前后帧图像及其对应的深度图像存入内存单元；

当没有满足相似性判定范围的帧或只有一边满足相似性判定范围时，将离目标图像的二维图像最近的前后两帧图像及其对应的深度图像存入内存单元，在空洞填补单元另作处理；

一空洞填补单元，基于相似帧比较后所得的前后帧图像及其对应的深度图像，对多张不同视角含有空洞的目标图像一一进行空洞填补，

当有满足相似性判定范围的前后帧图像时，从内存单元调用相似帧比较单元得到的满足在范围内的前后帧图像及其对应的深度图和目标图像及其对应的空洞图像，比较前后帧图像对应的深度图的深度值大小，取深度值小的深度图像对应的二维图像的像素值对目标图像中的空洞进行填补；

当没有满足相似性判定范围的前后帧图像或只有一边满足相似性判定范围时，则调用离目标图像的二维图像最近的前后两帧图像及其对应的深度图像和目标图像及其对应的空洞图像，比较离目标图像的二维图像最近的前后两帧图像对应深度图的深度值大小，取深度值小的深度图对应的二维图像的像素值对目标图像的空洞进行填补；

将生成多张不同视角的图像输出到裸眼屏像素合成单元。

一裸眼屏像素合成单元，接收空洞填补单元中填补完空洞的多张不同视角的图像，将多张不同视角的图像合并成一张立体图像，并从显示装置输出。

所述相似帧比较单元中前后各x帧图像的x的取值为5。

所述相似帧比较单元中相似性判定范围为[0.78 0.85]。

本发明采用以上技术方案，利用相似帧比较，从同一系列背景的图像中找出合适的像素值填补到目标图像的空洞中。因是以不同时间的像素值做填补，所补空洞的像素值是真实存在的而非猜测，所生成的图像会比传统方法更加真实，且不需做复杂的运算，运行时间较短。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明的立体图像合成系统；

图2为本发明的图像变形对应图；

图3为本发明的相似帧比较单元对应图；

图4为本发明的空洞填补单元对应图。

具体实施方式

如图1所示，本发明公开的一种基于相似帧比较的立体图像合成系统包含以下单元：一深度图产生单元01、一图像变形单元02、一内存单元03、一相似帧比较单元04、一空洞填补单元05和一裸眼屏像素合成单元06。下面分别对各个单元进行详细说明。

内存单元03，用于存储整个立体图像合成系统运行所需的相关数据，供系统内各单元调用。

深度图产生单元01，根据输入图像生成对应的深度图。当深度图产生单元01的输入图像为左图像与右图像的两视角图像时，对两幅图像进行深度信息的采集，产生一幅对应的深度图，再将原始深度图像和对应的二维图像传输到图像变形单元02；当深度图产生单元01的输入图像为深度图加对应的二维图像时，则深度图产生单元01不运作，将原始深度图像和二维图像传输到图像变形单元02。

图像变形单元02，根据深度图产生单元01输入的数据利用图像变形公式得到要进行空洞填补的目标图像；如图2所示，图像变形单元02接收深度图产生单元01输入的一张二维图像及其对应的深度图像，并根据深度图提取深度值，然后依据二维图像中各像素对应的深度信息及像素位置，利用图像变形公式对二维图像进行图像变形，得到多张具有不同视差并含有空洞的二维图像和对应的空洞图像，将多张含有空洞的二维图像作为目标图像与对应的空洞图像一起存入内存单元03。

图像变形公式如下：

$\mathrm{\Δs}=k\frac{b}{2}\frac{p_z}{d+p_z}\·\mathrm{\ρ}$

$\frac{Z_F-Z_N}{Z_F-p_z}=\frac{255}{g}$

其中Δs表示目标视角和中心视角的像素位移差；k代表着视角的位置，以8个视角为例，中心视角的k＝0，左边的视角为k＝-1～-4，右边的视角则为k＝1～3；b表示两眼间的距离，单位为厘米；p_z表示P点实际的灰阶深度值；ρ表示显示器每厘米上的像素个数；d表示眼睛与屏幕的距离，单位为厘米；Z_F表示立体成像实际离屏幕最远的距离；Z_N表示立体成像实际离屏幕最近的距离；g表示深度图对应像素位置的深度值。

相似帧比较单元04，从内存单元03调入相关数据进行相似帧比较找出适合填补到不同视角图像的空洞的像素信息。如图3所示，相似帧比较单元04从内存单元03调入目标图像的二维图像，并读取与目标图像的二维图像在时间上有连续关系的一段视频帧，从中选取与目标图像的二维图像拥有同一系列背景的前后各x帧图像，x为小于或等于8的正整数，本实施例中x的取值为5。利用现有的结构相似性方法将目标图像的二维图像先与前后x帧图像中距离最远的图像进行比较，依次向内一一进行相似帧的判断，将得到的相似帧的值存入内存单元03中。待前后x帧图像分别与目标图像的二维图像比较结束后，根据所得的相似帧的值，进行相似性范围的判断。经过对多个连续视频相似帧范围选取的实验，按照图像在时间上的相对位移关系以及背景信息的不变性两个原则，并考虑到相似帧在时间上的选取的差异要求。本实施例中选定的满足条件的前后帧的范围为[0.780.85]。在相似帧比较过程中当有满足相似性判定范围的前后帧图像时，将满足在范围内的前后帧图像及其对应的深度图像存入内存单元03，并停止相似性范围的比较；当没有满足相似性判定范围的帧或只有一边满足相似性判定范围时，将离目标图像的二维图像最近的前后两帧图像及其对应的深度图像存入内存单元03，在空洞填补单元05另作处理。

空洞填补单元05，基于相似帧比较单元04所得的前后帧图像及其对应的深度图像，对多张不同视角含有空洞的目标图像一一进行空洞填补，生成多张不同视角的图像输出到裸眼屏像素合成单元06。空洞填补的具体步骤为：当有满足相似性判定范围的前后帧图像时，空洞填补单元05从内存单元03调用相似帧比较单元04得到的满足在范围内的前后帧图像及其对应的深度图和目标图像及其对应的空洞图像，如图4所示，其中(a)为空洞图水平像素值，其中黑色区域为像素区，白色区域为空洞；(b)图为空洞图相同水平位置对应的二维图像的水平像素值，非0为像素区，0为空洞区；(c)(d)图为前后帧图像相同水平位置对应的深度图的深度值；(e)和(f)分别为在相似帧判断单元得到的满足相似范围的前后帧图像其中(e)为图(c)对应的二维图像，(f)为(d)对应的二维图像。空洞填补单元05比较(c)和(d)的对应位置的深度值的大小，取深度值小的对应位置的二维图像的像素值填图(b)中的空洞，图(g)为填充后的水平像素图像。当没有满足相似性判定范围的前后帧图像或只有一边满足相似性判定范围时，空洞填补单元05则调用离目标图像的二维图像最近的前后两帧图像及其对应的深度图像和目标图像及其对应的空洞图像，比较离目标图像的二维图像最近的前后两帧图像对应深度图的深度值大小，取深度值小的深度图对应的二维图像的像素值对目标图像的空洞进行填补。

一裸眼屏像素合成单元06，接收空洞填补单元05中填补完空洞的多张不同视角的图像，将多张不同视角的图像合并成一张立体图像，并从显示装置输出。。

综上所述，仅为本发明的一种具体实施方式。但是，本领域中的普通技术人员在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (3)

1. 一种基于相似帧比较的立体图像合成系统，其特征在于：其包括：

一内存单元，用于存储整个立体图像合成系统运行所需的相关数据，供系统内各单元调用；

一深度图产生单元，根据输入图像生成对应的深度图；

当深度图产生单元的输入图像为左图像与右图像的两视角图像时，对两幅图像进行深度信息的采集，产生一幅对应的深度图，再将深度图像和对应的二维图像传输到图像变形单元；

当深度图产生单元的输入图像为深度图和对应的二维图像时，则深度图产生单元不运作，将深度图和对应的二维图像传输到图像变形单元；

一图像变形单元，根据深度图产生单元输入的一张二维图像及其对应的深度图的参数，经过图像变形得到多张具有不同视差并含有空洞的二维图像和对应的空洞图像，将多张含有空洞的二维图像作为目标图像与对应的空洞图像一起存入内存单元；

一相似帧比较单元，从内存单元调入目标图像的二维图像，并读取与目标图像的二维图像在时间上有连续关系的一段视频帧，从中选取与目标图像的二维图像拥有同一系列背景的前后各x帧图像，x为小于或等于8的正整数，用结构相似性方法将目标图像的二维图像先与前后x帧图像中距离最远的图像进行比较，依次向内一一进行相似帧的判断，将得到的相似帧的值存入内存单元中，待前后x帧图像分别与目标图像的二维图像比较结束后，根据所得的相似帧的值，进行相似性范围的判断；

当有满足相似性判定范围的前后帧图像时，将满足在范围内的前后帧图像及其对应的深度图像存入内存单元；

当没有满足相似性判定范围的帧或只有一边满足相似性判定范围时，将离目标图像的二维图像最近的前后两帧图像及其对应的深度图像存入内存单元，在空洞填补单元另作处理；

一空洞填补单元，基于相似帧比较后所得的前后帧图像及其对应的深度图像，对多张不同视角含有空洞的目标图像一一进行空洞填补，

当有满足相似性判定范围的前后帧图像时，从内存单元调用相似帧比较单元得到的满足在范围内的前后帧图像及其对应的深度图和目标图像及其对应的空洞图像，比较前后帧图像对应的深度图的深度值大小，取深度值小的深度图像对应的二维图像的像素值对目标图像中的空洞进行填补；

当没有满足相似性判定范围的前后帧图像或只有一边满足相似性判定范围时，则调用离目标图像的二维图像最近的前后两帧图像及其对应的深度图像和目标图像及其对应的空洞图像，比较离目标图像的二维图像最近的前后两帧图像对应深度图的深度值大小，取深度值小的深度图对应的二维图像的像素值对目标图像的空洞进行填补；

将生成多张不同视角的图像输出到裸眼屏像素合成单元。

一裸眼屏像素合成单元，接收空洞填补单元中填补完空洞的多张不同视角的图像，将多张不同视角的图像合并成一张立体图像，并从显示装置输出。

2. 根据权利要求1所述的一种基于相似帧比较的立体图像合成系统，其特征在于：所述相似帧比较单元中前后各x帧图像的x的取值为5。

3. 根据权利要求1所述的一种基于相似帧比较的立体图像合成系统，其特征在于：所述相似帧比较单元中相似性判定范围为[0.78 0.85]。