CN103220544A - 一种主动离轴平行式立体成像方法 - Google Patents

Abstract

本发明公开了一种主动离轴平行式立体成像方法，属于三维立体成像技术领域。该方法包括以下步骤：步骤一：对三维显示系统的零视差面进行初始化；步骤二：新目标点选取及相应的变焦和自动对焦；步骤三：计算新目标点视差值，并根据视差值计算该目标点实际空间深度；步骤四：根据该目标点实际空间深度，计算为保证该目标点为零视差点而应该调整的偏移量；步骤五：根据计算所得的偏移量值对用于显示的左右视图位置进行调整。本方法不仅实现了正、负及零视差的共存，同时还能根据观看者的要求，对焦平面进行动态跟踪并及时调整零视差面使其与焦平面一致，以此达到三维效果的最优化设计。

Description

一种主动离轴平行式立体成像方法

技术领域

本发明属于三维立体成像技术领域，涉及一种主动离轴平行式立体成像方法。

背景技术

三维立体视觉技术因能提供给观看者立体感受而得到了迅速发展，通过两光轴按一定方式摆放的左右CCD/CMOS摄像头采集左右视差图像对，经后续处理最终送入3D显示器进行显示，在确保左右眼分别看到左右视图的情况下，通过大脑的融合便可感受到立体效果。双目视差是产生立体效果的基础，主要分为正视差、零视差及负视差，负视差使得人眼在观察屏幕时感受到目标凸出屏幕显示的效果，即在屏幕前方，零视差使得人眼观察时感受到目标刚好显示在屏幕上，正视差则使人眼观察屏幕感受到目标凹进屏幕显示，即在屏幕后方。目前大量研究已证实正视差(凹进屏幕显示)不仅能增强三维效果，而且人眼在不疲劳状态下能承受的正视差范围大于负视差范围。

三维成像系统根据双摄像头两光轴的摆放方式常分为汇聚式、离轴平行式、平行式三种。汇聚式即双摄像头光轴之间成一定角度摆放，该方法能同时产生正、负及零视差，因此三维再现时能同时显示在屏幕先后方，但其产生垂直视差及梯度失真不仅加大了视觉疲劳度而且大大降低了三维视觉效果。离轴平行式利用平移传感面的方式获取水平正、负及零视差，从而实现了三维再现景象在屏幕前后方的显示，并且拍摄的三维公共场景变大。然而离轴式成像是将左右图像传感器的中心点向相反方向分别偏离镜头光轴一定的距离，因此无法使用一般结构的摄像头，使得设计成本与难度增大。平行式三维成像的双摄像头光轴平行进行摆放，因成像机理的限制使其无法获取正视差，导致感受到的三维再现景象只能压缩在显示器屏幕前方区域，而无法在屏幕后方显示。然而平行式三维立体显示结构设计相对简单、无垂直视差及梯度失真等仍得到了广泛应用。因此在平行式三维立体显示基础上设计出既消除其缺点又不引入其他问题的方法显得非常有必要。

在实际应用中发现，操作者在观察时常常出现这样一种情况：对显示屏幕上某个感兴趣的目标进行对焦，对焦使得该目标处于最清晰状态，但下一时刻人眼极有可能不再关注该目标，而是直接转移到另外一个目标、或是进行变焦(包括光学或数码变焦)对图像进行放大(使目标看得更清楚)，视线再转移到另外一个目标，并对转移后的目标进行对焦，使其变得清晰。可以看出，这种情况下不管是否进行了变焦，视线都会发生转移。对焦后，焦平面根据操作者的需要也随之发生改变。因此在设计三维立体显示系统时，除了能设计出正负视差共存且将焦平面设定为零视差面，以此增强三维立体效果及舒适度外，还需要根据操作者的需求，无论变焦是否开启，在视线转移而引起的焦平面改变时，零视差面也需随之改变，从而达到三维装置能主动跟踪焦平面并及时调整零视差平面，以此实现与对焦平面的一致。而目前所设计的三维显示系统，均忽视了操作者的上述要求，零视差位置固定，无法做到对焦平面的主动跟踪。

发明内容

有鉴于此，本发明的目的在于提供一种主动离轴平行式立体成像方法，该方法以在绝大多数图像传感器中，读出像素阵列中的部分未送入显示的预留像素为基础，充分利用这些预留像素，动态控制读出像素阵列中用于显示的部分在水平方向的偏移量，不仅实现了正、负及零视差的共存，同时还能根据观看者的要求，在下一时刻视线转移后的目标区域完成对焦之后，对焦平面进行动态跟踪并及时调整零视差面使其与焦平面一致。

为达到上述目的，本发明提供如下技术方案：

一种主动离轴平行式立体成像方法，包括以下步骤：步骤一：对三维显示系统的零视差面进行初始化；步骤二：新目标点选取及相应的变焦和自动对焦；步骤三：计算新目标点视差值，并根据视差值计算该目标点实际空间深度；步骤四：根据该目标点实际空间深度，计算出为保证该目标点为零视差点而应调整的偏移量；步骤五：根据计算所得的偏移量值对用于显示的左右视图位置进行调整。

进一步，在步骤一中根据视差公式：△P=2Mδn-Mft/Z₀，其中：△P表示视差，δ表示单个像素宽度，t表示双摄像头平行放置时的间距，f为摄像头的焦距，M=W_s/W_c，W_s为屏幕显示宽度，W_c为读出用于显示的左右视图宽度，对三维显示系统进行初始化零视差面，得到零视差面：

其中：N₁为显示系统初始化时采用的偏移量n的取值。

进一步，步骤二中通过一定方式在屏幕上显示的左或右视图中指定新目标点，并完成自动对焦，使该目标点前后的一定区域内保持清晰的显示。

进一步，在步骤三中通过图像匹配算法匹配出该目标点在另一幅对应视图中的坐标位置，并由此计算该目标点的视差值△P1，并根据公式：

得到目标点的实际空间深度。

进一步，在步骤四中根据以下公式：计算出为保证目标点为零视差点而应相应调整的偏移量。

进一步，当操作者对左右视图进行变焦时，此时视差公式变为：P=2Mδnb-Mbf₁tZ₀，因此求得

其中b为数码变焦放大倍数，f₁为光学变焦后的焦距，△P2为新的目标点的视差值，确定新目标点的空间实际深度Z₀₂，根据公式：

$n=\frac{f_{1}t}{2\mathrm{\δ}{Z}_{02}}=\frac{2\mathrm{M\δb}{N}_1-\mathrm{\Δ}{P}_2}{2\mathrm{M\δb}},$ 计算相应的偏移量。

本发明的有益效果在于：本发明所述的立体成像方法不仅实现了正、负及零视差的共存，同时还能根据观看者的要求，在下一时刻视线转移后的目标区域完成对焦之后，对焦平面进行动态跟踪并及时调整零视差面使其与焦平面一致，以此达到三维效果的最优化设计。此外在变焦开启的模式下也能实现对焦平面进行动态跟踪，并及时调整零视差面。该发明适用于绝大多数普通结构的摄像头或相机，且保持原有分辨率，同时未造成图像信息的丢失。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本方法的流程示意图；

图2为水平视差实现示意图；

图3为左右传感器读出像素阵列示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

多数CCD/CMOS传感器在配置成视频拍摄要求的高帧频数据模式时，读出像素的分辨率都大于与之匹配的显示器所支持的分辨率，因此在读出像素阵列后需对其进行截取，如果进行中央截取将会使得读出阵列两边像素被预留而不用作显示，本发明正是利用这些被忽视的预留部分，设计出同时存在水平正、负视差的三维显示方法。

图2为水平视差实现示意图，图中虚线之间的投影是常规平行式系统投影方式，由于读出像素阵列两边预留部分的存在，因此改进后可为实线之间的投影方式。投影方式的改变使得送入显示的左右视图从改变前的虚线方框偏移到改进后的实线方框。如图2和图3所示，其中L表示传感器读出的像素阵列列数，l为与之匹配的显示器显示列数（L>l）。从图中可以看出，此方法充分利用传感器读出像素的多余预留部分，将读出像素阵列中送入显示的部分在水平方向进行相应偏移，因此送入显示器显示的左右视图的有效像素个数保持不变，未造成图像信息的丢失。

图2中双摄像头相距t平行放置，焦距为f，读出用于显示的左右视图宽度为W_c，传感器上单个像素宽度为δ，屏幕显示宽度为W_s，根据平行式成像和几何光学原理计算得空间任意一点(X₀,Y₀,Z₀)的视差△P=2Mδn-Mft/Z₀，其中(M=W_s/W_c)。

假设三维实时显示系统开启时的偏移量n=n₁，当三维图像在屏幕上显示时，观察者将在屏幕上观察到真实空间点A(X₀₁,Y₀₁,Z₀₁)为零视差点，此时

即空间深度为Z₀₁的目标平面显示时刚好在屏幕上；当2Mδn₁<Mft/Z₀₁时，△P<0为水平负视差，即空间深度Z₀<Z₀₁的被摄目标三维显示在屏幕前方；当2Mδn₁>Mft/Z₀₁时，△P>0为水平正视差，即空间深度Z₀>Z₀₁的空间目标三维显示在屏幕后方，从而本发明实现了正、负及零视差的产生。

通过以上视差公式可以看出，选取不同的偏移量n，零视差面也随之改变，因此只要选取的偏移量不超过传感器本身预留而剩下的最大偏移量时，零视差面可随意选取。操作者可以根据自身需求，在不同时间段选取不同的感兴趣的目标进行对焦，使得焦平面发生改变时，通过获取焦平面改变的信息，主动调整偏移量的取值便可达到动态跟踪并及时调整零视差面的目的。

图3为左右传感器读出像素阵列示意图，图中展示了偏移的三种方式，表明用于显示的左右视图除了②中相对中央区域进行水平方向的左右偏移外，还可以进行①③中在上下方向的偏移，只需保证左右视图上下偏移高度一致即可。

不管采用上述中三种偏移方式的哪一种，竖直方向上的偏移不影响本方法的相关推导，公式不会发生改变，偏移量n都选定为偏移后的左右视图中心点相对原始的视图中央点在水平方向的偏移量。

下面对本发明所述的主动离轴平行式立体成像方法的具体步骤进行详细说明。图1为本方法的流程示意图，本方法包括以下步骤：

步骤一：三维显示系统开启之后，系统进行初始化零视差面，假设系统初始化采用的偏移量n取N₁，根据视差公式△P=2Mδn-Mft/Z₀可算得零视差面：

其中：N₁为显示系统初始化时采用的偏移量n的取值。

步骤二：当观察者由于自身需要视线转移到屏幕其他目标点A时，此时通过一定方式在屏幕上显示的左或右视图中指定该目标点A，并完成自动对焦，使该点A前后的一定区域内保持清晰，在本实施例中，可以通过触控方式在屏幕上显示的左或右视图中指定该目标点。

步骤三：对A点在该视图的坐标位置进行记忆保存，通过图像匹配算法匹配出该点在另一幅对应视图中的坐标位置，由此计算A点的视差值△P₁，通过视差值，由视差公式反推出A点在空间的实际深度：

$Z_{01}=\frac{\mathrm{Mft}}{2\mathrm{M\&delta;}{N}_1-\mathrm{\&Delta;}{P}_1}.$

步骤四：为了保证A点为零视差点，根据计算所得的A点的实际空间深度Z₀₁，可计算得到应调整的偏移量：

$n=\frac{\mathrm{ft}}{2\mathrm{\&delta;}{Z}_{01}}=\frac{2\mathrm{M\&delta;}{N}_1-\mathrm{\&Delta;}{P}_1}{2\mathrm{M\&delta;}}.$

步骤五：通过计算所得的偏移量n，对传感器读出用于显示的左右视图位置进行及时调整，实现对目标转移使得焦平面改变的主动动态跟踪。

此外，当操作者对左右视图进行变焦时，此时视差公式变为：P=2Mδnb-Mbf₁tZ₀，因此求得

其中b为数码变焦放大倍数，f₁为光学变焦后的焦距，△P₂为新的目标点的视差值，确定新目标点的空间实际深度Z₀₂，根据公式：

$n=\frac{f_{1}t}{2\mathrm{\&delta;}{Z}_{02}}=\frac{2\mathrm{M\&delta;}{\mathrm{bN}}_1-\mathrm{\&Delta;}{P}_2}{2\mathrm{M\&delta;b}}.$ 计算相应的偏移量。

在设计三维显示系统时，为实现主动离轴式设计，在调整前初始化某一空间点为零视差点，并在拍摄左右视图中分辨识别出来，计算该点的水平视差，通过水平视差反推出需要偏移n值（确保偏移后该点为零视差），由n值确定用于显示的部分阵列在水平方向的偏移量，最后根据计算出n值来指导图像裁剪及变焦模块中的局部位置及焦距的选择。三维显示时，指定点就真正变成了零视差点，从而实现了主动式离轴的设计。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种主动离轴平行式立体成像方法，其特征在于，包括以下步骤：

步骤一：对三维显示系统的零视差面进行初始化；

步骤二：新目标点选取及相应的变焦和自动对焦；

步骤三：计算新目标点视差值，并根据视差值计算该目标点实际空间深度；

步骤四：根据该目标点实际空间深度，计算出为保证该目标点为零视差点而应调整的偏移量；

步骤五：根据计算所得的偏移量值对用于显示的左右视图位置进行调整。

2.根据权利要求1所述的主动离轴平行式立体成像方法，其特征在于：在步骤一中根据视差公式：△P=2Mδn-Mft/Z₀，其中：△P表示视差，δ表示单个像素宽度，t表示双摄像头平行放置时的间距，f为摄像头的焦距，M=W_s/W_c，W_s为屏幕显示宽度，W_c为读出用于显示的左右视图宽度，对三维显示系统进行初始化零视差面，得到零视差面：其中：N₁为显示系统初始化时采用的偏移量n的取值。

3.根据权利要求2所述的主动离轴平行式立体成像方法，其特征在于：步骤二中通过一定方式在屏幕上显示的左或右视图中指定新目标点，并完成自动对焦，使该目标点前后一定区域保持清晰。

4.根据权利要求3所述的主动离轴平行式立体成像方法，其特征在于：在步骤三中通过图像匹配算法匹配出该目标点在另一幅对应视图中的坐标位置，由此计算该目标点的视差值△P₁，再根据公式：

得到该目标点的实际空间深度。

5.根据权利要求4所述的主动离轴平行式立体成像方法，其特征在于：在步骤四中根据以下公式：

计算出为保证该目标点为零视差点而应相应调整的偏移量。

6.根据权利要求1至5中任一项所述的主动离轴平行式立体成像方法，其特征在于：当操作者对显示的左右视图进行变焦时，此时视差公式变为：P=2Mδnb-Mbf₁t/Z₀，因此求得新目标点的空间实际深度

其中b为数码变焦放大倍数，f₁为光学变焦后的焦距，△P₂为新目标点的视差值，再根据公式：计算出相应的偏移量。

Images