CN102722080B

CN102722080B - 一种基于多镜头拍摄的多用途立体摄像方法

Info

Publication number: CN102722080B
Application number: CN201210214997.1A
Authority: CN
Inventors: 戴云扬
Original assignee: SHAOXING NANJIADA MULTIMEDIA COMMUNICATION TECHNOLOGY RESEARCH DEVELOPMENT CO LTD
Current assignee: Shaoxing Nanjiada Multimedia Communication Technology Research Development Co.,Ltd.
Priority date: 2012-06-27
Filing date: 2012-06-27
Publication date: 2015-11-18
Anticipated expiration: 2032-06-27
Also published as: CN102722080A

Abstract

本发明主要公开了一种基于多镜头拍摄的立体摄像方法，一、采用主摄像头与辅助摄像头进行同步对焦；二、对主摄像头与辅助摄像头取图；三、对所取的图像进行计算，获得深度图；四、通过结合深度图与主摄像头的高清图产生立体效果；五、通过用户对立体效果进行调节；六、输出立体图像。本发明不受场地局限，有效防止图像出现严重的立体错误，应用于智能手机等便携设备中，使其拥有高质量的电脑视觉功能，拥有很大的扩展性。

Description

一种基于多镜头拍摄的多用途立体摄像方法

技术领域

本发明涉及图像处理技术，特别与一种基于多镜头拍摄的多用途立体摄像方法有关。

背景技术

目前市场上已经出现多种基于多镜头的摄像系统，这些系统主要的用途为进行3D拍摄。但目前的多镜头系统普遍存在获得的3D效果不明显或是拍摄结果出现严重的重叠，对较远景或是近景的处理效果不好等一系列问题。这些问题在3D智能手机及卡片机这些小型拍摄设备上尤其突出。

上述问题主要来源于目前这些双摄像头相机采用直接拍摄左右图，然后直接重叠左右图来获取立体图像。这种直接拍摄方法有多种缺点：1）首先左右镜头的位置在这种小型摄像装置上都是固定的，局限性强，无法针对不同的拍摄场景，投放设备屏幕，观看位置等多项参数进行调整。2）现在的立体相机在拍摄及叠加图像时都假设两个立体摄像头与核线为平行的，并且两个摄像机处于一个平面上。但是在实际拍摄中要达到与核线水平并将两个摄像头放在一个平面上非常困难。尤其是在实际进行立体拍摄的时候，操作人员手的抖动，机器校正的偏差等都及其有可能造成小的位差。在最后实际成像的阶段，由于这种位差可能仅一个像素的偏移就可以使得图像出现严重的立体错误。

为了解决上述问题，本发明人设计出一种基于多镜头拍摄的多用途立体摄像方法，本案由此产生。

发明内容

针对这些问题，本发明提出了一种基于多镜头拍摄的立体摄像方法，不受场地局限，有效防止图像出现严重的立体错误。

为了达到上述目的，本发明通过以下技术方案来实现：

一种基于多镜头拍摄的立体摄像方法，

第一步，采用主摄像头与辅助摄像头进行同步对焦；

第二步，对主摄像头与辅助摄像头取图；

第三步，对所取的图像进行计算，获得深度图；

第四步，通过结合深度图与主摄像头的高清图产生立体效果；

第五步，通过用户对立体效果进行调节；

第六步，输出立体图像。

对上述方法进行进一步优化：

所述的第一步中，主摄像头为高解析度的主镜头，辅助摄像头为3个低解析度的辅助镜头,,，且,,在拍摄时完全平行同一水平轴线上，其中与处于同一拍摄视角，,位于左右两侧。

所述的,,具备完全相同的光学特征，现每个可产生一帧图像，的分辨率可以定义为。其中为在上每个位置的值。

所述的第三步中，根据,,产生两个组合图，每个组合设计为：,；

再用以下方式计算深度图：

一、首先根据每个组合的两个相机先按以下算法找出最低的SumofAbsoluteDifference()绝对差值和：

其中为比较窗口的横向及纵向像素大小，一般可以设置为2，3或4，和分别对应每个组合中的镜头，为该点在图像中的所处的位置；

二、以d为与核线平行的位移,建立基于目前像素点为中心的搜索窗口一般为5,7或9个像素大小的搜索窗口，算出SAD值，

；

对于每个组合对搜索窗口中的SAD选取最低值，

，其中；

然后对所有的组合在(x,y)点位上产生的最小的SAD，进行比较产生：，其中；

根据这个的值，我们将记录相应在上取得的位移值,其相应的d即为图像的实际位移；

三、在完成对每个像素进行位移计算及记录成一个后，就可以获得一个辅助摄像头产生的实际深度图，

；

所述的第四步中，针对主摄像头的分辨率，用相应的增强分辨率的形式产生对于主摄像头的最终放大深度图以对应主摄像机所获得的高清图，放大后采用像素弯曲（pixelwarping）方法产生立体图像；

用以下公式获得主摄像头的高清图：；其中J’为产生的虚拟图,J为原高清图,对J的每一个像素进行相应的位移后即可产生虚拟图。

所述的第五步中，根据观看终端的屏幕尺寸及观看人视觉位置不同，采取以下公式调整：；其中为针对终端屏幕设计的新的位移，为一个比例因数，为原始的位移。

所述的第五步中，采用以下公式对深度图进行进一步调节：

；其中的为一个位移调节因数，为最终修正过的位移。

本发明提出的立体摄像机并不是通过对不同镜头取得的图像进行直接叠加从而产生立体效果，而是利用多镜头拍摄结果进行计算并获得深度图，然后使用深度图与主摄像头所获取的高清图像进行结合处理以获得良好的图像效果。这样的结合可以用于立体图像的产生，也可以产生其他的图像效果比如对于图像背景进行有选择的虚化等。

本发明的优点为没有现有多镜头相机对场景的局限性。本发明中产生的高质量深度图对于立体拍摄以外的很多领域，如扩张实景，基于距离的图像处理（如对拍摄的照片进行重新对焦），现实增强导航等有广泛的使用，采用本发明的智能手机等便携设备拥有高质量的电脑视觉功能，拥有很大的扩展性。

附图说明

图1为本发明较佳实施例的总体流程示意图；

图2为本发明较佳实施例的主镜头和辅助镜头的排布示意图；

图3为本发明较佳实施例的观看终端示意图。

具体实施方式

结合附图，对本发明较佳实施例做进一步详细说明。

如图1所示，本发明主要步骤流程为：

第一步，采用主摄像头与辅助摄像头进行同步对焦；

第二步，对主摄像头与辅助摄像头取图；

第三步，对所取的图像进行计算，获得深度图；

第五步，通过用户对立体效果进行调节；

第六步，输出立体图像。

本发明采用多镜头的主要原因为双镜头拍摄由于遮蔽（occlusion）的问题无法产生效果好的深度图。因此在本发明中使用了3+1镜头设计，3个镜头为低成本较低解析度的辅助镜头,,，加上一个高解析度的主镜头。

本发明采用了3镜头布局以解决目前双镜头布局所无法避免的遮蔽问题。遮蔽问题对于双镜头布局来说物理上一定存在，并且无法有效的解决。如果双镜头在拍摄时不是完全平行于核线则遮蔽问题会进一步恶化。3镜头布局可以有效避免遮蔽，从而产生高质量的深度图。采用3+1而不是直接采用中央位置的高清镜头是由于如果摄像头的规格品质及光学特征不一样的话，系统在进行深度图计算时会出现比较大的误差，因此在本发明里将获取深度图的摄像头与主摄像头完全独立开来。

将4个摄像头图2的镜头布局。,,在拍摄时完全平行同一水平轴线上，其中与处于同一拍摄视角，,位于左右两侧，且、的位置在机器上可能的空间里离和越远越好。,,这三个镜头必须具备完全相同的光学特征。现每个可产生一帧，的分辨率可以定义为，其中为在上每个位置的值。

根据这三个附属镜头产生的组合图，每个组合设计为：

,。

接着根据上述的两个组合图，用以下方式计算深度图。

首先在每个组合的两个相机先按以下算法找出最低的SumofAbsoluteDifference()绝对差值和：

；其中为比较窗口的横向及纵向像素大小，一般可以设置为2，3或4，和分别对应每个组合中的镜头，为该点在图像中的所处的位置。

然后，d为与核线平行的位移,建立基于目前像素点为中心的搜索窗口一般为5,7或9个像素大小的搜索窗口，算出SAD值；

。

对于每个组合对搜索窗口中的SAD选取最低值。这里用

，其中。

然后对所有的组合在(x,y)点位上产生的最小的SAD，进行比较产生：；其中。

根据这个的值，我们将记录相应在

上取得的位移值,其相应的d即为图像的实际位移。

在完成对每个像素进行位移计算及记录成一个后，就可以获得一个基于附属镜头产生的实际深度图；

。

然后针对主摄像头的分辨率，可以用相应的增强分辨率的形式产生对于主摄像头的最终放大深度图以对应主摄像机所获得的高清图，放大后采用像素弯曲（pixelwarping）的办法就可以产生立体图像。

但是在实际使用中，由于观看终端的屏幕尺寸及观看人视觉位置不同，其因为场景本身远近需要调整，可以采取以下公式：，其中为针对终端屏幕设计的新的位移，为一个比例因数，为原始的位移。

除了场景外，如果物体立体位置过分突出或不够突出，过分退后或不够退后都会引起观看问题，因此可以采用以下公式对深度图进行进一步调节：，其中的为一个位移调节因数，为最终修正过的位移。

上述实施例仅用于解释说明本发明的发明构思，而非对本发明权利保护的限定，凡利用此构思对本发明进行非实质性的改动，均应落入本发明的保护范围。

Claims

1.一种基于多镜头拍摄的立体摄像方法，其特征在于：

第一步，采用主摄像头与辅助摄像头进行同步对焦；

第二步，对主摄像头与辅助摄像头取图；

第三步，对辅助摄像头取的图像进行计算，获得深度图；

第五步，通过用户对立体效果进行调节；

第六步，输出立体图像；

所述的第一步中，主摄像头为高解析度的主镜头CM，辅助摄像头为3个低解析度的辅助镜头C0,C1,C2，且C0,C1,C2在拍摄时完全平行同一水平轴线上，其中C0与CM处于同一拍摄视角，C1,C2位于C0左右两侧。

2.如权利要求1所述的一种基于多镜头拍摄的立体摄像方法，其特征在于：所述的C0,C1,C2具备完全相同的光学特征，每个C_i,i∈(0,2)可产生一帧图像f_i,i∈(0,2)，f_i的分辨率定义为(W,H)；其中I(x,y),x∈(0,W-1),y∈(0,H-1)为在f_i上每个位置的值。

3.如权利要求1所述的一种基于多镜头拍摄的立体摄像方法，其特征在于：所述的第三步中，根据C0,C1,C2产生两个组合图，每个组合设计为：m₀＝(C0,C1),m₁＝(C0,C2)；

再用以下方式计算深度图：

一、首先根据每个组合的两个辅助镜头先按以下算法找出最低的绝对差值和：

S A D (x, y) = Σ_{x, y = 0}^{w_{c} - 1} | I_{t} (x, y) - I_{r} (x, y) |;

其中w_c为比较窗口的横向及纵向像素大小，设置为2，3或4，t和r分别对应每个m_i组合中的镜头，(x,y)为该点在图像中的所处的位置；

二、以d为与核线平行的位移,建立基于目前像素点为中心的w_s搜索窗口为5,7或9个像素大小的搜索窗口，算出SAD值，

S A D (x, y, d) = Σ_{x, y = 0}^{w_{c} - 1} | I_{t} (x, y) - I_{r} (x + d, y) |;

对于每个组合m_i对搜索窗口中的SAD选取最低值，

minSAD(x,y,d)＝min(SAD(x,y,d))，其中d∈(0,w_s-1)；

然后对所有的组合在(x,y)点位上产生的最小的SAD，进行比较产生：minSAD(x,y,m_i,d)＝min{minSAD(m_i,d)}，其中m_i∈(0,2)；

根据这个minSAD(x,y,m_i,d)的值，将记录相应在(x,y)上取得的位移值d(x,y),其相应的d即为图像的实际位移；

三、在完成对每个像素进行位移计算及记录成一个后，就可以获得一个辅助摄像头产生的实际深度图dmap，

d m a p = [\begin{matrix} d (0, 0) & ... & d (W - 1, 0) \\ ... & ... & ... \\ d (0, H - 1) & ... & d (W - 1, H - 1) \end{matrix}];

所述的第四步中，针对主摄像头的分辨率，用相应的增强分辨率的形式产生对于主摄像头的最终放大深度图Dmap以对应主摄像机所获得的高清图，放大后采用像素弯曲(pixelwarping)方法产生立体图像；

用以下公式获得主摄像头的高清图：J′＝J+Dmap；其中J′为产生的虚拟图,J为原高清图,对J的每一个像素进行相应的位移后即可产生虚拟图。

4.如权利要求3所述的一种基于多镜头拍摄的立体摄像方法，其特征在于：所述的第五步中，根据观看终端的屏幕尺寸及观看人视觉位置不同，采取以下公式调整：D′map(x,y)＝α·Dmap(x,y)；其中D′map(x,y)为针对终端屏幕设计的新的位移，α为一个比例因数，Dmap为原始的位移。

5.如权利要求4所述的一种基于多镜头拍摄的立体摄像方法，其特征在于：所述的第五步中，采用以下公式对深度图进行进一步调节：其中的β为一个位移调节因数，为最终修正过的位移。