CN101808250A - 基于双路视觉的立体影像合成方法及系统 - Google Patents

Abstract

本发明公开了一种基于双路视觉的立体影像合成方法，包括：获取同步第一路和第二路视觉影像；对获取的所述第一路和第二路视觉影像执行影像公共视域截取；确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。利用该合成方法，本发明能够实现视觉影像的立体显示，利用裸眼能直接从立体显示器上观察立体影像。另外，本发明还提供了一种基于双路视觉的立体影像合成系统。

Description

基于双路视觉的立体影像合成方法及系统

技术领域

本发明涉及一种立体影像合成方法，尤其涉及一种基于双路视觉的立体影像合成方法。本发明还涉及一种立体影像显示系统。

背景技术

众所周知，现实世界中，人眼所观察到的世界是一个立体世界。然而，在计算机视频中，各种视频影像一般都是平面二维的，因此人通过屏幕利用裸眼所观察到的各种视频影像都是平面的，没有立体效果。如何使得各种视频影像以立体的形式显示出来，人从屏幕中所观察的影像仿佛是在真实世界体验一样，这一直是计算机视觉领域的学者们所致力研究的热点。

现有技术中，存在着一种立体影像显示系统，但是这种系统需要用户必须佩戴特殊眼镜才能观察到立体影像效果。这种立体影像的实现原理主要是利用时间分割的方法来实现的，具体而言，基于时间分割式的立体影像需要首先将左眼信号和右眼信号进行偏光处理再以极小的时差交互播放，然后欣赏者透过特殊的偏光眼镜将左眼和右眼信号分离。如此之后，人眼所观察到的立体影像通过偏光眼镜的处理分为左眼和右眼信号，如同现实中的人直接观察自然界所获取左眼和右眼信号一样，然后利用人大脑的视觉合成功能，人就观察到了立体影像。

除了时间分割法来获取立体影像之外，还有基于空间分割法获取的立体影像。利用这种方法可以不使用特殊眼镜，利用裸眼直接观察就能获得立体影像，但是这种方法对于显示器和输入显示器的信号有明确的要求。这种方法的原理是将影像分割为左眼和右眼信号，再将左眼和右眼信号一起借由立体显示器(或3D显示器)显示，人透过3D显示器看到的左右眼信号经过人大脑合成之后显示为立体影像。这种3D显示器在市场上已有销售，主要是利用柱状透镜数组(LenticularLens Array)或视差遮障立体法(Parallax stereogram)技术制造而成。而这种3D显示器主要应用于播放利用虚拟现实或三维动画软件中制作的视频，而不能直接播放实时或非实时采集的双路影像。例如，如果利用模拟人左右眼的双路摄像机或相机拍摄影像，然后将摄取的这些左、右眼影像输送至3D显示器，人透过3D显示器不能看到立体影像。这是因为，由于人双眼的瞳孔距离大约为65mm，而双路摄像机或相机的定位并不是这个距离，因此输入到3D显示器的影像并不符合人眼的视觉特性，致使人看到的影像并非立体影像。另外，由于摄像机镜头的原因，看到的影像会有扭曲。因此，如果想要使这种3D显示器用于显示利用摄像机或相机采集的影像，还有大量的工作要做，而这正是困扰着立体影像技术发展的重要瓶颈。

因此，如何将利用摄像机或相机拍摄的视频影像进行处理，然后将处理后的视频影像输送至3D显示器，从而显示出人肉眼直接观察到的立体影像，是本发明主要关注的问题所在。

发明内容

因此，本发明的目的是提供一种能够基于双路视觉进行立体影像合成的方法，利用该方法，用户可以通过裸眼透过三维显示器直接观察到立体影像。

为此，根据第一方面，本发明提供了一种基于双路视觉的立体影像合成方法，用于立体影像的合成，包括以下步骤：获取同步第一路和第二路视觉影像；对获取的所述第一路和第二路视觉影像执行影像公共视域截取；确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。

根据第二方面，本发明提供了一种基于双路视觉的立体影像合成系统，其中，包括：影像获取模块，用于提供同步第一路和第二路视觉影像；影像公共视域截取模块，用于截取第一路和第二路视觉影像的公共部分，即把非公共部分的图片裁减掉；合成偏移距离确定模块，用于确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；影像合成模块，用于将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。

根据第三方面，本发明提供了一种基于双路视觉的实时立体影像合成方法，其中，包括以下步骤：实时获取同步第一路和第二路视觉影像；对所获取的第一路和第二路视觉影像执行实时压缩；对压缩后的第一路和第二路视觉影像执行实时解码；对解码后的第一路和第二路视觉影像执行实时畸变校正；对获取的所述第一路和第二路视觉影像进行实时影像公共视域截取；确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。

优选地，所述确定合成偏移距离的步骤进一步包括将人观察立体影像时所能允许的视差范围作为合成偏移距离的调节因子，以确定delta的范围，主要包括以下步骤：

步骤1、计算场景中的点在第一路和第二路影像中的像点的坐标，

$\underset{d=d_{\min }}{\overset{d_{\max }}{\min }}\underset{i=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\Σ}}}\underset{j=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\Σ}}}|I_{\mathrm{right}}\[x+i\]\[y+j\]-I_{\mathrm{left}}\[x+i+d\]\[y+j\]||$

其中，d_min和d_max表示最大和最小视距差，m是模板尺寸，I_right和I_left是第一和第二影像，x，y表示像点在第一路和第二路视觉影像中的坐标；

步骤2、利用β的范围确定适于合成立体影像的delta范围，

且β≤1.5°的限定关系来调节

$\mathrm{delta}=\frac{w\·e}{2f\tan (\mathrm{\φ}/2),}$

其中，P是立体影像中第一路和第二路对应像点在合成影像上的间距，P大小由步骤1中所计算的像点的坐标决定，delta表示第一路和第二路图像的合成偏移距离，w表示第一路和第二路影像之间宽度；e表示获取第一路和第二路视觉影像的两个摄像装置之间的间距；f表示所述摄像装置距离投影面的距离，φ表示相机的光圈。

优选地，所述获取同步第一路和第二路视觉影像的步骤是利用平行光轴的相机或摄像装置直接摄取外界场景获得。

优选地，所述相机或摄像装置的平行光轴之间的距离为30mm-150mm。

根据第四方面，本发明提供了一种基于双路视觉的实时立体影像合成方法，用于实时合成立体影像，其中，包括以下步骤：实时获取同步第一路和第二路视觉影像；对所获取的第一路和第二路视觉影像执行实时压缩；对压缩后的第一路和第二路视觉影像执行实时解码；对解码后的第一路和第二路视觉影像执行实时畸变校正；对获取的所述第一路和第二路视觉影像进行实时影像公共视域截取；确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像；将调节后的第一路和第二路视觉影像传输给三维显示器。

优选地，所述影像获取模块为两个平行光轴布置的相机或摄像装置。

优选地，所述相机或摄像装置的平行光轴之间的距离为30mm-150mm。

优选地，所述影像获取模块通过IEEE1394连接线与所述影像处理器相连。

优选地，所述影像获取模块中进一步包括用于对采集的影像进行压缩的芯片。

与现有技术相比，根据本发明的这些方面具有下列优点：利用本发明的立体影像合成方法和合成系统能够对同步双路影像进行视差调节、影像合成，将经过处理后的影像输出至立体显示器，用户利用裸眼能直接观察到影像的立体效果。进一步，本发明考虑到了人观察立体影像的最大角，并根据该角度的范围来调节双路影像进行合成时影像的合成偏移距离，从而调节与屏幕之间的保持不同距离的观察者所观察到的影像的不同立体效果。进一步，本发明不仅提供了对双路视觉影像的非实时立体合成和显示，还提供了对双路视觉影像的实时立体合成和显示，因此不仅能提供非实时摄取的立体显示功能，还能实现实时摄取实时立体显示的功能。

本发明的这些特征、优点以及其他特征和优点将通过下面示例性实施例的方式进行说明。

附图说明

图1为根据本发明的基于双路视觉的立体影像合成方法的一个示例性实施例的流程图；

图2为执行影像公共视域截取步骤的一个示例性实施例；

图3为执行影像合成步骤的原理示意图；

图4为根据本发明的基于双路视觉的立体影像合成方法的另一个示例性实施例的流程图；

图5为根据本发明的基于双路视觉的立体影像合成方法的又一个示例性实施例的流程图；

图6为根据本发明的基于双路视觉的立体影像合成系统的一个示例性实施例的示意结构图；

图7为根据本发明的双路视觉影像实时合成方法的一个示例性实施例的流程图；

图8为根据本发明的双路视觉影像实时合成系统的一个示例性实施例的示意结构图。

具体实施方式

下面，参考附图，对本发明进行更全面的说明，附图中示出了本发明的示例性实施例。然而，本发明可以体现为多种不同形式，并不应理解为局限于这里叙述的示例性实施例。而是通过提供这些实施例，从而使本发明全面和完整，并将本发明的范围完全地传达给本领域的普通技术人员。

首先参考图1，图1为本发明基于双路视觉的立体影像合成方法的一个示例性实施例的流程图。如图中所示，基于双路视觉的立体影像合成方法包括：S101，获取同步第一路和第二路视觉影像；S102，对获取的所述第一路和第二路视觉影像执行影像公共视域截取；S103，确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；S104，将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。

如图中所示，在步骤S101中，首先获取同步第一路和第二路视觉影像。第一路和第二路视觉影像分别模拟了输入观察者左眼和右眼的信号，当两路信号是同步的，才有可能进行影像合成，实现立体效果。所谓同步是指，第一路和第二路视觉影像所描述的场景必须是在同一时间针对同一场景摄取的。在一个实施例中，第一路和第二路视觉影像可以是静态存储在存储装置中的现成的影像，例如可以是首先通过双路相机、摄影机或其他摄像装置摄取影像，然后将这些影像存储在存储装置中利用上面合成方法进行离线合成。在另一个实施例中，第一路和第二路视觉影像可以是通过虚拟显示或三维动画软件中利用双路摄像装置摄取的影像。

在步骤S102中，对获取的所述第一路和第二路视觉影像(由于双路视觉是模拟人的左右双眼，因此也可以称为左路和右路视觉影像)执行公共视域截取。公共视域是指，双路摄像装置所摄取的影像中所共有的区域。该步骤的作用是获取左路和右路视觉影像的公共部分，即把非公共部分的图片裁减掉。在具体实施中，可以通过观察来进行截取。通过这一步骤，为下一步将两个影像进行移动，从而为确定符合人眼视差特性的移动距离的计算提供了基础。只有符合人眼视差特性的两幅影像才有可能观察到立体影像效果。

对于场景中的任何一点，在双路视觉影像(例如，左眼影像或左影像和右眼影像或右影像)中对应着不同的点，因此，为了确定立体合成偏移距离，需要计算出场景中的点在左眼影像和右眼影像中的像点的坐标。像点坐标的计算是利用现有技术中的计算方法来实现的。

例如，像点的相关性可以利用下列等式计算得到：

$\underset{d=d_{\min }}{\overset{d_{\max }}{\min }}\underset{i=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\Σ}}}\underset{j=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\Σ}}}|I_{\mathrm{right}}\[x+i\]\[y+j\]-I_{\mathrm{left}}\[x+i+d\]\[y+j\]||---\left(1\right)$

其中，d_min和d_max表示最大和最小视距差(disparity)；m是模板尺寸(mask size)；I_right和I_left是左右影像；x，y分别表示像点在左右影像中的坐标。其中，最大的视距限定了能被检测到的最近的物体，而视距为0是表示无穷远处的物体。减小视距范围可以加快系统的匹配点计算速度，并降低误匹配的几率。

在进行影像合成时，需要分别对第一路和第二路视觉影像进行偏移，该偏移量的大小直接决定了合成立体影像的效果。

根据心理学的研究，人在观察立体影像时，所允许的视差范围是有限的，利用视差角表示，视差角利用下面等式来表示：

β＝2arctan(P/2f)                                  (2)

其中，P是立体影像中左右对应像点在合成影像上的间距；f是观察者眼镜到屏幕之间的距离，P＝D-delta，D为立体影像对的视差，即D＝X_L-X_R，X_L、X_R分别为场景中的点在左眼影像和右眼影像中的像点的坐标。一般，β≤1.5°，当β＞1.5°时，观察者不能观察到立体效果，看到的仅仅是两幅图。

由(2)式很容易得到

且β≤1.5°                                (3)

如图3中所示，示出了执行合成计算的一个实施例。更具体地，示出了合成偏移距离计算的原理图。

为了确保合成的立体影像的视差角不大于最大视差角，确定合成偏移距离delta为下列数值：

$\mathrm{delta}=\frac{w\·e}{2f\tan (\mathrm{\φ}/2)}---\left(4\right)$

其中，w表示立体影像对(即左右影像)的宽度；e表示左右相机的间距；f是观察者眼镜到屏幕之间的距离；φ表示相机的光圈。利用上面的公式，由此合成偏移距离delta就可以用视差角β来约束。由于β为一个角度范围，因此，可以确定适于合成立体图像的delta的范围，只要将左眼和右眼影像移动delta的距离，就适于能够合成立体影像的。由此，确定了满足人视觉要求的合成影像的移动偏移距离。

步骤S103，将第一路和第二路视觉影像分别调节合成偏移距离，并合成调节后的第一路和第二路视觉影像。

由此，即实现了立体影像的合成。由于对于每个镜头都有一定的视角，因此两个镜头平行光轴的布置有一定的范围限制，同时为了实现更好地立体效果。由于在上述合成方法中，优选地，所述相机或摄像装置的平行光轴之间的距离为30mm-150mm。例如可以为60mm，100mm，120mm，150mm等。

在需要连续处理多个影像帧时，由于每个影像帧占用大量的存储空间，例如当如果处理一个由大量影像帧组成的视频文件时，存储视频文件本身将耗费大量的存储器资源。为了，节约资源，通常要进行压缩和解码压缩处理。例如，从存储装置中获取同步双路影像时，这些双路影像可能是以视频压缩文件的形式存在，因此，需要首先对这些文件进行解码，在获取双路影像之后，再执行上述合成。如图4中所示出的基于双路视觉的立体影像合成方法的示例性实施例。

在本发明的优选实施例中，由于利用镜头(摄像机或相机)直接摄取的影像在边缘处都会有扭曲或变形，因此在合成过程中，优选地对影像执行畸变校正。如图5中所示出的基于双路视觉的立体影像合成方法的示例性实施例。

在本发明的另一个优选实施例中，该方法还包括将调节后的第一路和第二路视觉影像(双路视觉影像)存储在存储装置中，以准备输出至立体显示器进行显示；还可选地包括，将调节后的双路视觉影像提供至立体显示器。

本发明还提供了一种基于双路视觉的立体影像合成系统。参考图6所示，图中示出了基于双路视觉的立体影像合成系统的一个优选实施例。如图中所示，包括：影像获取模块，用于提供同步第一路和第二路视觉影像；影像公共视域截取模块，用于截取第一路和第二路视觉影像的公共部分，即把非公共部分的图片裁减掉；合成偏移距离确定模块，用于确定所述视觉影像和所述第二路视觉影像的合成偏移距离；影像合成模块，用于将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。该系统还进一步包括微处理器(MCU)，用于发出和接收控制指令。MCU例如通过总线的方式与影像获取模块、影像公共视域截取模块、合成偏移距离确定模块和影像合成模块相连。如图中所示出的示例性实施例中，MCU还与存储有同步双路视觉影像的存储装置相连，从存储装置中获取双路影像，进行合成处理。

参考图7，本发明还提供了一种基于双路视觉的实时立体影像合成方法，其中，包括以下步骤：S501，获取同步第一路和第二路视觉影像；S502，对所获取的第一路和第二路视觉影像执行实时压缩；S503，对压缩后的第一路和第二路视觉影像执行实时解码；S504，对解码后的第一路和第二路视觉影像执行实时畸变校正；S505，对获取的所述第一路和第二路视觉影像进行影像公共视域截取；S506，确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；S507，将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像；S508，将调节后的第一路和第二路视觉影像传输至三维显示器。

为了简单起见，省略与前面实施例中相同的叙述。本实施例能够实现对双路视觉信号的实时合成。例如，在利用摄像机摄取双路视觉影像的同时，对信号进行实时处理，并通过立体显示器显示。应该理解的是，在上面实施例中所说明的实施例可以单独或组合地方式合并到本实施例中。

优选地，获取同步第一路和第二路视觉影像的步骤是利用平行光轴的相机或摄像装置直接摄取外界场景获得。

优选地，摄像装置的平行光轴之间的距离为30mm-150mm。

参考图8，本发明还提供了一种基于双路视觉的实时立体影像合成系统，包括：影像获取模块3，影像处理器1和立体显示器6。影像获取模块3，可以为双路视觉影像采集装置。例如，可以为视频高分彩色采集器，相机参数为：分辨率1024*768像素，快门参数为0.01ms-66.63ms@15FPS，左右相机距离为120mm，焦距为3.8cm时视角为70°，焦距为6cm时视角为50°。影像处理器1例如可以为计算机处理器。影像处理器1与影像获取模块3之间利用连接线连接，影像处理器1上设置有与连接线相匹配的接口。在一个示例性实施例中，连接线例如可以用IEEE-1394连接线，在计算机处理器上的PCI插槽上可以设置视频采集卡4。影像处理器1可以进一步包括：公共视域截取模块，合成偏移距离确定模块和影像合成模块。公共视域截取模块，用于截取左路和右路视觉影像的公共部分，即把非公共部分的图片裁减掉。合成偏移距离确定模块，用于确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离。影像合成模块，用于将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。影像公共视域截取装置，合成偏移距离确定模块和影像合成模块可以以预编程为程序代码，该装置运行时利用计算机的操作系统将这些代码编译为计算机可执行的程序代码，并执行相应的数据处理。立体显示器6，为市场上可以购买到的立体显示器，例如通过与立体显示器配套的连接线5连接至计算机处理器1，用于将在计算机中处理后的合成视觉影像通过所述立体显示器显示。

在本发明的优选实施例中，合成偏移距离确定模块将人观察立体影像时所能允许的视差范围作为合成偏移距离的调节因子。优选地，所述影像获取模块为两个平行光轴布置的相机或摄像装置。优选地，所述相机或摄像装置的平行光轴之间的距离为30mm-150mm。优选地，所述影像获取模块通过IEEE1394连接线与所述影像处理器相连。优选地，影像获取模块中进一步包括用于对采集的影像进行压缩的芯片。

上面已经对本发明进行了说明。应该理解的是，上述说明仅仅是以示例的方式对本发明进行了说明，这些示例仅用于阐述本发明的原理而非对其进行限制。因此，在不背离本发明精神和范围的前提下，可以对其进行各种修改和变更。

Claims (9)

1.一种基于双路视觉的立体影像合成方法，用于立体影像的合成，包括以下步骤：

获取同步第一路和第二路视觉影像；

对获取的所述第一路和第二路视觉影像执行影像公共视域截取；

确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；

将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。

2.根据权利要求1所述的合成方法，其中，所述确定合成偏移距离的步骤进一步包括将人观察立体影像时所能允许的视差范围作为合成偏移距离的调节因子，以确定合成偏移距离的范围，主要包括以下步骤：

步骤1、计算场景中的点在第一路和第二路影像中的像点的坐标，

$\underset{d=d_{\min }}{\overset{d_{\max }}{\min }}\underset{i=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\Σ}}}\underset{j=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\Σ}}}|I_{\mathrm{right}}\[x+i\]\[y+j\]-I_{\mathrm{left}}\[x+i+d\]\[y+j\]||$

其中，d_min和d_max表示最大和最小视距差，m是模板尺寸，I_right和I_left是第一和第二影像，x，y表示像点在第一路和第二路视觉影像中的坐标；

步骤2、利用调节因子β的范围确定适于合成立体影像的delta范围，

且β≤1.5°的限定关系来调节

$\mathrm{delta}=\frac{w\·e}{2f\tan (\mathrm{\φ}/2)},$

其中，P是立体影像中第一路和第二路对应像点在合成影像上的间距，P大小由步骤1中公式所计算的像点的坐标决定，delta表示第一路和第二路图像的合成偏移距离，w表示第一路和第二路影像之间宽度；e表示获取第一路和第二路视觉影像的两个摄像装置之间的间距；f表示所述摄像装置距离投影面的距离，φ表示相机的光圈。

3.根据权利要求1所述的合成方法，其中，所述获取同步第一路和第二路视觉影像的步骤是利用平行光轴的相机或摄像装置摄取，或从存储有利用平行光轴的相机或摄像装置摄取的第一路和第二路视觉影像的存储装置中读取。

4.根据权利要求3所述的合成方法，其中，所述相机或摄像装置的平行光轴之间的距离为30mm-150mm。

5.根据权利要求1所述的合成方法，进一步包括将合成的第一路和第二路视觉影像提供至三维显示器。

6.根据权利要求1所述的合成方法，在所述获取第一路和第二路视觉影像之后，进一步包括对所获取的第一路和第二路视觉影像进行压缩编码，在对获取的所述第一路和第二路视觉影像执行影像公共视域截取之前进行解码。

7.根据权利要求1所述的合成方法，在所述获取第一路和第二路视觉影像之后，进一步包括对所获取的第一路和第二路视觉影像进行畸变校正。

8.一种基于双路视觉的立体影像合成系统，用于立体影像的合成，其中，包括：

影像获取模块，用于提供同步第一路和第二路视觉影像；

影像公共视域截取模块，用于截取第一路和第二路视觉影像的公共部分，即把非公共部分的图片裁减掉；

合成偏移距离确定模块，用于确定所述第一路视觉影像和所述第二路视觉影像的合成偏移距离；

影像合成模块，用于将所述第一路和第二路视觉影像分别调节所述合成偏移距离，并合成调节后的第一路和第二路视觉影像。

9.根据权利要求8所述的合成系统，其中，所述影像提取装置为平行光轴布置的相机、摄像装置或存储有同步双路视觉影像数据的存储装置。

Images