CN103974055A

CN103974055A - 3d照片生成系统及方法

Info

Publication number: CN103974055A
Application number: CN201410029673.XA
Authority: CN
Inventors: 邓澍新
Original assignee: City Plan Is As Science And Technology Ltd
Current assignee: City Plan Is As Science And Technology Ltd
Priority date: 2013-02-06
Filing date: 2014-01-22
Publication date: 2014-08-06
Anticipated expiration: 2034-01-22
Also published as: CN103974055B; US9544576B2; US20160134859A1; HK1200254A1; US9270977B2; US20140219551A1; HK1189451A2; HK1192107A2

Abstract

本发明涉及一种3D照片生成系统及方法，其中3D照片生成系统包括：立体图像输入模块，用于输入立体图像，所述立体图像包括左眼图像和右眼图像；深度估算模块，用于估算所述立体图像的深度信息并生成深度图；多视点图像重建模块，用于根据所述深度图和所述立体图像生成多视点图像；图像隔行扫描模块，用于对所述多视点图像进行调整并形成混合图像。本发明的3D照片生成系统及方法，显著的简化了3D照片生成过程，提高了3D照片的质量。本发明的3D照片生成系统及方法可以广泛应用于各种主题公园、旅游景点以及照相馆。将会使更多的消费者享受3D照片带来的乐趣。

Description

3D照片生成系统及方法

技术领域

本发明涉及照片处理系统及方法，更具体地说，涉及一种3D照片处理系统及方法。

背景技术

3D照片通常采用微透镜技术来生成。微透镜的透镜为放大镜阵列，该放大镜阵列设计成当从稍微不同的角度观察时，放大不同的图像。为了生成3D照片，首先需要生成多视点图像，比如说12或更多视点图像，接着多视点图像会混合成混合图像。混合多视点图像是一个从多视点图像中提取合适的像素合并成一个新图像的过程，新图像包含原始图像的多视点信息。微透镜的透镜用来在不同的视角显示这些多视点的视角。最后，透过微透镜板观看，观看者的左眼和右眼可以看到不同的图像，从而产生3D的效果。

目前，有一些生成3D照片的不同方法，其中，最常用的方法是采用手动将2D图像转换成多视点图像，这种方法需要数小时甚至数天的时间。通常操作者需要通过创建蒙皮从目标图像中提取对象，然后根据自己的判断给这些蒙皮确定深度信息。深度信息是和原始2D图像具有同样尺寸的单独的灰度图像，灰度图像用灰色表示图像的每个部分的深度。手动创建的深度信息用来引导计算机移动原始2D图像的像素以形成新的视点图。深度图可以产生强烈3D显示效果。

另外一种方法是从多视点拍摄物体，但是，对于运动物体，这种方法并不是一种可行的方法。这种方法需要布置一台或多台摄像机来获取多视点图像。图像获取装置需要小心定位以使输出图像的视角不会过宽。

多视点图像是用来重构混合图像，大多数系统将从多视点图像中提取的数据直接构建混合图像。由于最终图像是每个多视点图像的子样本，这种方法得到的图像不能保持原始图像的质量。

综上所述，现有的3D照片生成方法及系统具有处理时间长、照片的质量低等缺点。

发明内容

本发明的目的在于提供一种处理速度快、照片质量高的3D照片生成系统及方法。

本发明的3D照片生成系统包括：立体图像输入模块，用于输入立体图像，所述立体图像包括左眼图像和右眼图像；

深度估算模块，用于估算所述立体图像的深度信息并生成深度图；

多视点图像重建模块，用于根据所述深度图和所述立体图像生成多视点图像；

图像隔行扫描模块，用于对所述多视点图像进行调整并形成混合图像。

在本发明所述的3D照片生成系统中，所述深度估算模块包括：

像素匹配模块，用于比较所述立体图像的左眼图像和右眼图像并找出所述左眼图像和右眼图像之间的相对像素,根据光流约束方程估算出像素的光流；

深度信息确定模块，用于根据所述左眼图像和右眼图像的光流，找出像素位移来确定像素的深度信息；

深度图生成模块，用于根据所述深度信息生成深度图。

在本发明所述的3D照片生成系统中，所述多视点图像重构模块包括：

基础图像选择模块，用于选择所述立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；

图像数目确定模块，用于根据需求确定所需图像的数目和视差；

像素移动模块，用于根据所述深度图移动所述基础图像的像素以形成新图像；

填洞模块，用于填充所述新图像中由于像素丢失形成的孔洞；

多视点图像生成模块，用于生成多视点图像。

在本发明所述的3D照片生成系统中，所述图像隔行扫描模块包括：

图像调整模块，用于调整所述多视点图像的尺寸；

对比度调整模块，用于调整所述图像调整模块输出的调整后的多视点图像的对比度；

图像合成模块，用于将经过对比度调整后的多视点图像合并形成混合图像；

混合图像输出模块，用于输出所述混合图像。

填洞模块采用插值法填充所述新图像中由于像素丢失形成的孔洞。

本发明的3D照片生成方法，包括如下步骤：

S1输入立体图像，所述立体图像包括左眼图像和右眼图像；

S2估算所述立体图像的深度信息并生成深度图；

S3根据所述深度图和所述立体图像生成多视点图像；

S4对所述多视点图像进行调整并形成混合图像。

在本发明所述的3D照片生成方法中，所述步骤S2包括如下步骤：

S21比较所述立体图像的左眼图像和右眼图像并找出所述左眼图像和右眼图像之间的相对像素,根据光流约束方程估算出像素的光流；

S22根据所述左眼图像和右眼图像的的光流，找出像素位移来确定像素的深度信息；

S23根据所述深度信息生成深度图。

在本发明所述的3D照片生成方法中，所述步骤S3包括：

S31选择所述立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；

S32根据需求确定所需图像的数目和视差；

S33根据所述深度图移动所述基础图像的像素以形成新图像；

S34填充所述新图像中由于像素丢失形成的孔洞；

S35生成多视点图像。

在本发明所述的3D照片生成方法中，所述步骤S4包括：

S41调整所述多视点图像的尺寸；

S42调整经所述步骤S41调整后的多视点图像的对比度；

S43将经过对比度调整后的多视点图像合并形成混合图像；

S44输出所述混合图像。

在本发明所述的3D照片生成方法中，所述步骤34中采用插值法填充所述新图像中由于像素丢失形成的孔洞。

实施本发明的3D照片生成系统及方法，具有以下有益效果：本发明的3D照片生成系统及方法，显著的简化了3D照片生成过程，提高了3D照片的质量。本发明的3D照片生成系统及方法可以广泛应用于各种主题公园、旅游景点以及照相馆。将会使更多的消费者享受3D照片带来的乐趣。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的3D照片生成系统的系统框图；

图2是本发明的3D照片生成系统中深度估算模块的框图；

图3是本发明的3D照片生成系统中多视点图像重建模块的框图；

图4是本发明的3D照片生成系统中图像隔行扫描模块的框图；

图5是本发明的3D照片生成方法的流程图；

图6是本发明的3D照片生成方法中步骤S2的流程图；

图7是本发明的3D照片生成方法中步骤S3的流程图；

图8是本发明的3D照片生成方法中步骤S4的流程图；

图9是本发明的3D照片生成系统所输入的立体图像的示意图；

图10是本发明的3D照片生成系统所形成的深度图与原始图像对比的示意图；

图11是调整后的多视点图像；

图12是混合图像的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1至图4所示，为本发明的3D照片生成系统的一个实施例的系统框图，该3D照片生成系统包括立体图像输入模块1、深度估算模块2、多视点图像重构模块3和图像隔行扫描模块4。其中，立体图像输入模块1用于输入立体图像，立体图像包括左眼图像和右眼图像；深度估算模块2用于估算立体图像的深度信息并生成深度图；多视点图像重建模块3用于根据深度图和立体图像生成多视点图像；图像隔行扫描模块4用于对多视点图像进行调整并形成混合图像。

在本发明的3D照片生成系统中，深度估算模块2进一步包括：像素匹配模块21、深度信息确定模块22和深度图生成模块23。其中，像素匹配模块21用于比较立体图像的左眼图像和右眼图像并找出左眼图像和右眼图像之间的相对像素,根据光流约束方程估算出像素的光流；其中，相对像素是指左眼图像和右眼图像的同一像素位置的像素。深度信息确定模块22用于根据左眼图像和右眼图像的光流找出像素位移来确定像素的深度信息；深度图生成模块23用于根据深度信息生成深度图。

在本发明的3D照片生成系统中，多视点图像重构模块3进一步包括：基础图像选择模块31、图像数目确定模块32、像素移动模块33、填洞模块34和多视点图像生成模块35。其中，基础图像选择模块31用于选择立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；图像数目确定模块32用于根据需求确定所需图像的数目和视差；像素移动模块33用于根据深度图移动基础图像的像素以形成新图像；填洞模块34用于填充新图像中由于像素丢失形成的孔洞；多视点图像生成模块35用于生成多视点图像。

在本发明的3D照片生成系统中，图像隔行扫描模块4进一步包括：图像调整模块41、对比度调整模块42、图像合成模块43和混合图像输出模块44。其中，图像调整模块41用于调整多视点图像的尺寸；对比度调整模块42用于调整图像调整模块输出的调整后的多视点图像的对比度；图像合成模块43，用于将经过对比度调整后的多视点图像合并形成混合图像；混合图像输出模块44，用于输出混合图像。

如图5至图8所示，为本发明的3D照片生成方法的流程图，其包括如下步骤：

S1输入立体图像，立体图像包括左眼图像和右眼图像；

S2估算立体图像的深度信息并生成深度图；

S3根据深度图和立体图像生成多视点图像；

S4对多视点图像进行调整并形成混合图像。

其中，步骤S2进一步包括如下步骤：

S21,比较立体图像的左眼图像和右眼图像并找出左眼图像和右眼图像之间的相对像素,根据光流约束方程估算出像素的光流；

S22根据左眼图像和右眼图像的光流,找出像素位移来确定像素的深度信息；

S23根据深度信息生成深度图。

步骤S3进一步包括：

S31选择立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；

S32根据需求确定所需图像的数目和视差；

S33根据深度图移动基础图像的像素以形成新图像；

S34填充新图像中由于像素丢失形成的孔洞；

S35生成多视点图像。

步骤S4进一步包括：

S41调整多视点图像的尺寸；

S42调整经步骤S41调整后的多视点图像的对比度；

S43将经过对比度调整后的多视点图像合并形成混合图像；

S44输出混合图像。

以上介绍了本发明的3D照片生成系统的构成以及本发明的3D照片生成方法的具体步骤，下面结合一个具体的例子详述本发明的3D照片生成系统和方法是如何工作的。本发明的3D照片生成系统采用立体图像作为输入，根据立体图像自动进行比较并计算3D信息（也称之为深度图）。然后基于深度信息移动原始输入图像的像素来生成多视点图像。为了提高最终混合图像的质量，本发明的3D照片生成系统会对生成的图像进行调整以形成合适尺寸，然后将调整后的图像合并在一起。最后形成的混合图像可以显示在免带眼镜的3D显示装置上，或者合成在微透镜板上形成3D照片。

在本发明的3D照片生成系统中，立体图像输入装置1用于输入立体图像，立体图像也即立体图，可以产生三维视觉效果，它可以是任何能够向通过双目立体观察的观察者传达深度感知体验的图像，该立体图可以通过一种或多种技术获得，立体图像也可以直接采用3D图像。在本例中，输入的立体图像为包含左眼图像和右眼图像的立体图像，具体图像如图9所示。

深度估算模块2用于分析由立体图像输入模块1输入的立体图像的深度信息，以重建多视点图像，深度估算的步骤如图6所示。深度估算模块2包括像素匹配模块21、深度信息确定模块22和深度图生成模块23。其中，像素匹配模块21用于比较输入的立体图像的左眼图像和右眼图像以找出二者的相对像素，也即左眼图像和右眼图像的同一像素位置的像素。物体在立体图像的左眼图像中和右眼图像中存在位移，也称之为视差。为了提取视差，通常採用光流和立体匹配等匹配方法找出左眼图像和右眼图像之间的像素位移。光流是由观察者（例如眼镜或摄像机）和场景之间的相对运动所引起的可视场景中的对象、表面或边缘的视运动的模式。光流估算是根据光流约束方程估算光流。为了找出匹配像素，需要比较图像，并遵循着名的光流约束方程：

\frac{&PartialD; I}{&PartialD; x} V_{x} + \frac{&PartialD; I}{&PartialD; y} V_{y} + \frac{&PartialD; I}{&PartialD; t} = 0

其中，V_x、V_y分别为速度或光流I(x，y，t)的x和y分量，和是图像在相应的方向上的(x，y，t)处的导数。可以采用由粗到精的策略来确定像素的光流。有一些不同的加强视差估算的鲁棒方法，例如基于卷积理论的高精度光流估算。

像素匹配之后，深度信息可以由视差信息和摄像机的参数传递。像素的位移可以指示深度形成。然而，大多数3D立体拍摄装置是将摄像机或镜头转换到一个点上。换而言之，在每个像素的深度的计算中需要考虑光流的方向。深度信息确定模块22用于确定像素的深度信息，利用如下的公式可以计算出每个像素的深度信息。

\max displacement - direction \sqrt{u^{2} + v^{2}}

其中maxdisplacement为像素的最大位移，direction为光流方向，u和v分别是每个像素在x和y方向上的光流矢量。该深度信息可以用来重建3D环境，例如深度图。深度图通过由计算机识别的灰度图像来表示。深度图生成模块23用于生成深度图。通常像素的深度值从0到255，像素的深度值越高，表示距离观察者越近。为了提高3D照片的质量，本发明的3D照片生成系统在深度图中分离出前景和后景，系统用深度值在99到255的范围内像素的表示前景，用深度值在0到128范围内的像素表示后景。前景深度信息和后景深度信息具有一定的重叠，在本实施例中，重叠范围为99到128。前景深度信息和后景深度信息重叠范围可以由用户来调整。这个过程可以增加前景和后景的之间的对比度。进一步，可以增强前景主要对象和后景的深度细节。图10为分离前景和后景的图像的示意图。

多视点图像重构模块3用于重构多视点图像，包括：基础图像选择模块31、图像数目确定模块32、像素移动模块33、填洞模块34和多视点图像生成模块35。基础图像选择模块31可以选择立体图像的左眼图像、右眼图像或者左眼图像和右眼图像作为基础图像来产生多视点图像。多视点图像重构流程如图7所示，如果选择单个图像，例如左眼图像或右眼图像，那么生成的图像将是所选择的图像的左眼图像和右眼图像，如果需要生成2N+1幅图像，所选的图像将是第N+1幅图像，所生成的图像将是第1至N幅图像和第N+2至2N+1幅图像。例如，如果需要生成9幅图像，所选择的图像将是第5幅图像，所生成的图像将是第1至4幅图像和第6至9幅图像。图像数目确定模块32用于根据需要确定图像的数目。另一方面，如果选择两幅图像（左眼图像和右眼图像）作为基础图像来生成多视点图像，也即选择立体图作为基础图像，系统会利用视差和所需要的图像的数目来决定所选择的两幅图像的位置。在本实施例中，系统会先确定所需要生成的图像的数目。多视点图像的数目取决于微透镜板的每英寸透镜数和打印机的每英寸点数，多视点图像的数目N=DPI/LPI,其中DPI为打印机的每英寸点数，LPI为微透镜板的每英寸透镜数。例如，微透镜板的每英寸透镜数为50，每英寸点数为600，所需要的图像的数目为600/50=12，因此需要12幅图像来构成合适的3D图像。初始的立体图像的位置由以下公式确定：

其中N为多视点图像的数目，D为初始立体图像的视差，d为所要生成的多视点图像的每个视点的视差。初始立体图像会插入到多视点图像的合适的位置。其他视点图像将由初始立体图像生成。这种方法将均匀分布多视点图像，即这些图像具有相似的视差，这种方法也会提高最终混合图像的质量。

在确定所需要的图像的数目和所有图像的位置之后，系统会利用深度图来生成多视点图像。左眼图像和右眼图像的深度图在前面的部分中已经生成。这些基础图像，例如左眼图像或右眼图像会根据它们自己的深度图来移动像素。像素移动模块33用于移动基础图像的像素以形成新的图像。通常深度图的深度值从0到255,128为中间值，是基础图像的交汇点。为了由基础图像模拟左眼图像，深度值在128到255范围内的像素移动到右边，深度值在0到127范围内的像素移动到左边。为了由基础图像模拟左眼视图，深度值在128到255范围内的像素移动到左边，深度值在0到127范围内的像素移动到右边。从128到255，像素的深度值越高，像素移动的距离越大，从0到127，像素的深度值越小，像素移动的距离越大。下面是像素移动公式。

lx＝x+parallax；rx＝x-parallax

其中parallax为图像的带有深度信息的视差参数，lx为左眼图像像素的x轴坐标，rx为右眼图像像素的x轴坐标，新左眼图像（lx,y）处的像素为基础图像（x,y）处的像素，新右眼图像（rx,y）处的像素为基础图像（x,y）处的像素。在对像素进行合适的移动之后，会最终生成新的左眼图像和右眼图像。

当系统生成新图像时，新图像会失去一些像素，处理这些失去的像素的过程称之为填洞，填洞模块34用于填充这些洞，这些因为像素移动产生的洞可以利用相邻的像素通过插值的方法进行填充，或者采用其他适宜的填洞方法进行填充。洞的像素值的插值法计算公式如下所示。

lengeh＝endx-startx

weight = \frac{(holex - startx)}{length}

pixelvalue＝((source Image(endx，y)-sourceImage(startx，y))×weight+sourceImage(startx，y)

其中，startx和endx分别是洞在这行中开始和结束的位置，length是洞的长度，holex是洞的x轴位置，weight是洞的权重值，pixelvalue是洞的像素值。在洞填充之后，新生成的视点图像已经准备好，可以进行下一步骤，多视点图像生成模块35可以根据初始图像和新生成的图像生成多视点图像。

图像隔行扫描模块4用于对前面生成的多视点图像进行调整并形成混合图像，包括图像调整模块41、对比度调整模块42、图像合成模块43和混合图像输出模块44。图8为形成混合图像的的流程。本系统可以提高最终混合图像的质量。为了提高最终的混合图像的质量。本系统首先会将每幅图像调整到合适的宽度。图像调整模块41用于多视点图像的尺寸。以前面所说的12幅图像为例，最终打印的图像是600像素宽度每英寸，由于有12幅图像，每英寸每幅图像调整到600/12=50像素宽度每英寸，调整后的图像和初始图像具有相同的高度。如图11所示，12幅调整后的图像和初始图像具有相同的高度，但是具有不同的宽度。接着系统会提高这些调整后的图像的对比度。对比度调整模块42用来调整对比度。这两个过程可以增加最终合成图像的颜色细节。

最终形成的图像是12幅图像的混合图像，图像合成模块43用于形成混合图像。在本实施例中，将重构每英寸像素数为600的图像。为了与每英寸透镜数为50的微透镜板配合，混合图像会包括600/12=50条每英寸。每条包括12像素。图12为图像的混合的条的示意图。像素是按照12到1的顺序由12幅图像中提取的，通常右眼视图是这些条的第一排，即第12幅图像。在图12中，第一条是每幅图像的第一排的组合，以此类推，第二条是每幅图像的第二排的组合。

实际上，大多数微透镜板都不具有理想的每英寸透镜数。例如，有时候，每英寸透镜数为50.1或49.9，而不是50。这会导致最终的3D图像失真。所以系统最后会将图像比例缩放以适合实际的微透镜板。例如，在理想情况下，微透镜板的每英寸透镜数为50，宽度为10英寸。图像的宽度为50X12X10=6000。然而，如果微透镜板的每英寸透镜数为50.1，宽度为10英寸，最终图像的宽度为5988，这可以通过以下公式计算

{Width}_{actual} = \frac{{LPI}_{tdeal}}{{LPI}_{actual}} \times {Width}_{tdeal}

其中LPI_tdeal为理想情况下微透镜版的每英寸透镜数，在该实例中其值为50，LPI_actual为微透镜板的实际每英寸透镜数，在该实例中其值为50.1，Width_tdeal是图像在每英寸透镜数为50的情况下的理想宽度，其为6000，Width_actual是图像在每英寸透镜数实际为50.1的情况下的实际宽度，其为5988。混合图像输出模块44用于所形成的混合图像。

混合图像可以与微透镜板结合以形成3D照片。图像可以直接打印在微透镜板上，将打印的图像复合在微透镜板上放入微透镜版相框，或者采用其他任何适宜的方法与微透镜板结合。

本发明的3D照片生成系统及方法，显著的简化了3D照片生成过程，提高了3D照片的质量。本发明的3D照片生成系统及方法利用立体图作为输入，现有的3D照相机和3D镜头可以作为立体图像的拍摄装置。采用图像处理技术由立体图像重构3D信息并提高3D照片质量。这可以非常快而有效的生成多视点图像并且可以提高生成图像的质量。为了进一步提高混合图像的质量，本发明的3D照片生成系统及方法首先调整多视点图像的大小，这会增加输出的混合图像的颜色细节。本发明的3D照片生成系统及方法可以广泛应用于各种主题公园、旅游景点以及照相馆。将会使更多的消费者享受3D照片带来的乐趣。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种3D照片生成系统，其特征在于，包括：

立体图像输入模块，用于输入立体图像，所述立体图像包括左眼图像和右眼图像；

2.根据权利要求1所述的3D照片生成系统，其特征在于，所述深度估算模块包括：

像素匹配模块，用于比较所述立体图像的左眼图像和右眼图像并找出所述左眼图像和右眼图像之间的相对像素,根据光流约束方程而找出像素的光流；

深度信息确定模块，用于根据所述左眼图像和右眼图像的光流,找出像素位移来确定像素的深度信息；

深度图生成模块，用于根据所述深度信息生成深度图。

3.根据权利要求2所述的3D照片生成系统，其特征在于，所述多视点图像重构模块包括：

多视点图像生成模块，用于生成多视点图像。

4.根据权利要求3所述的3D照片生成系统，其特征在于，所述图像隔行扫描模块包括：

图像调整模块，用于调整所述多视点图像的尺寸；

混合图像输出模块，用于输出所述混合图像。

5.根据权利要求3所述的3D照片生成系统，其特征在于，所述填洞模块采用插值法填充所述新图像中由于像素丢失形成的孔洞。

6.一种3D照片生成方法，其特征在于，包括如下步骤：

S1输入立体图像，所述立体图像包括左眼图像和右眼图像；

S2估算所述立体图像的深度信息并生成深度图；

S3根据所述深度图和所述立体图像生成多视点图像；

S4对所述多视点图像进行调整并形成混合图像。

7.根据权利要求6所述的3D照片生成方法，其特征在于，所述步骤S2包括如下步骤：

S22根据所述左眼图像和右眼图像的光流,找出像素位移来确定像素的深度信息；

S23根据所述深度信息生成深度图。

8.根据权利要求7所述的3D照片生成方法，其特征在于，所述步骤S3包括：

S32根据需求确定所需图像的数目和视差；

S33根据所述深度图移动所述基础图像的像素以形成新图像；

S34填充所述新图像中由于像素丢失形成的孔洞；

S35生成多视点图像。

9.根据权利要求8所述的3D照片生成方法，其特征在于，所述步骤S4包括：

S41调整所述多视点图像的尺寸；

S42调整经所述步骤S41调整后的多视点图像的对比度；

S43将经过对比度调整后的多视点图像合并形成混合图像；

S44输出所述混合图像。

10.根据权利要求8所述的3D照片生成方法，其特征在于，所述步骤34中采用插值法填充所述新图像中由于像素丢失形成的孔洞。