CN103702103A - 基于双目相机的光栅立体印刷图像合成方法 - Google Patents

Abstract

本发明提供一种基于双目相机的光栅立体印刷图像合成方法，用双目相机拍摄场景得到双目图像对，所述双目图像对包括左视图和右视图；获得双目图像深度图；构建图像序列，包括以双目图像对的左视图为图像序列中最左的序列视差图像，以双目图像对的右视图为图像序列中最右的序列视差图像，生成位于左视图和右视图之间的多幅序列视差图像；根据图像序列合成光栅立体图像；调整光栅立体图像分辨率，以打印机为输出设备，以柱镜光栅为载体，将光栅立体图像输出。本发明能够使立体印刷产品实现个性化、便捷化的即时输出。用该方法得到的光栅立体图像，用裸眼即可观察到较好的立体效果。

Description

基于双目相机的光栅立体印刷图像合成方法

技术领域

本发明属于印刷技术领域，特别的提供了一种基于双目相机的光栅立体印刷图像合成方法，输出的光栅立体图像，用裸眼就可看到较好的立体效果。

背景技术

现有光栅立体合成技术主要分为基于单幅图像立体合成和基于序列视差图像立体合成。基于单幅图像的立体合成技术主要适用于制作单幅原稿图像的立体印刷产品，但是，由于单幅图像不含有场景的三维信息，这要求操作人员必须凭借自身经验赋予场景中的景物相应的三维深度信息，如果深度信息赋予错误，将大大影响立体图像的质量，而且单幅图像立体化操作要依靠Photoshop、PsdTo3d等专业软件，这要求操作人员要熟悉这些软件，并且在复杂繁琐的操作过程中，操作人员不能出错，因此，单幅图像立体合成技术具有制作难度大，周期长，专业性强等缺点。基于序列视差图像的立体合成方法，在获取序列视差图像时可以使用多镜头立体相机拍摄或基于单镜头移动拍摄。但是，多镜头相机对制作工艺要求非常高，必须保证每个成像系统的各种参数之间的误差控制在一定范围内，这使得相机造价相当高，很难推广。而单镜头移动拍摄需要借助导轨，让单镜头相机在导轨上移动，对物体进行等间距拍摄而且只能拍摄静物。因此，单镜头相机采集序列视差图时对导轨有依赖性，对拍摄主体有要求，也不利于推广。

发明内容

为了克服单幅图像立体合成操作繁琐以及序列视差图像立体合成时所需设备造价高，或依赖导轨，只适用于拍摄静物等缺陷，本发明提供了基于双目相机的光栅立体印刷图像合成方法。

本发明提供的技术方案为一种基于双目相机的光栅立体印刷图像合成方法，包括以下步骤：

步骤1，用双目相机拍摄场景得到双目图像对，所述双目图像对包括左视图和右视图；

步骤2，获得双目图像深度图，包括左视差图和右视差图；

步骤3，构建图像序列，包括以双目图像对的左视图为图像序列中最左的序列视差图像，以双目图像对的右视图为图像序列中最右的序列视差图像，生成位于左视图和右视图之间的多幅序列视差图像，实现方式如下，

设图像序列对应的总镜头光心数为m+1，Cl为第一个镜头光心，对应左视图，Cr为最后一个镜头光心，对应右视图，b为镜头光心Cl、Cr的距离；左视图记为L，右视图记为R，左视差图记为D_L，右视差图记为D_R，设对应位于左视图L和右视图R之间的某幅序列视差图像T的镜头光心Ct位于镜头光心Cl、Cr之间，其中从Cl到Ct的总镜头光心数有n+1个，镜头光心Ct与镜头光心Cl的距离为(n/m)×b，x_l、x_r、x_t分别表示场景中的一点P在Cl、Ct、Cr相应成像平面的成像点的X轴坐标值，视差d＝x_l-x_r，当序列视差图像T距离左视图L较近时，利用左视图L和左视差图D_L以及公式

计算左视图L中每个点的横坐标在序列视差图像T中的位置，点的纵坐标不变，从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息，利用右视图R和右视差图D_R以及公式

进行补充，形成完整的序列视差图像T；当序列视差图像T距离右视图R较近时，利用右视图R和右视差图D_R以及公式

计算右视图R中每个点的横坐标在序列视差图像T中的位置，点的纵坐标不变，从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息，利用左视图L和左视差图D_L以及公式进行补充，形成完整的序列视差图像T；

步骤4，根据图像序列合成光栅立体图像；

步骤5，调整光栅立体图像分辨率，以打印机为输出设备，以柱镜光栅为载体，将光栅立体图像输出。

而且，步骤2的实现方式包括，利用Mean shift算法对双目图像对进行色彩分割；利用差值绝对值和函数作为测度函数，计算每个像素的匹配代价；通过基于色彩分割的匹配代价聚集，使用WTA算法以左视图为目标图、右视图为参考图计算每个像素的视差值得到一张初始视差图，以右视图为目标图、左视图为参考图计算每个像素的视差值得到另一张初始视差图；通过图像中值滤波对两张初始视差图进行优化，对比两张初始视差图的图像中值滤波结果，将不一致的视差值修正为两个视差值之间较小值，得到优化后的左右两张视差图。

而且，步骤4的实现方式包括，

设图像序列中的序列视差图像共有N张，按拍摄角度从左至右依次排列，首先对各序列视差图像分别进行纵向条纹抽样分割，设定分割宽度为一个像素；设第k张序列视差图像的第i行第j列的像素为gⁱ _k(j)合成的光栅立体图像的第i行j列的像素为fⁱ(j)，则有

$f^i\left(j\right)=g_k^i\left(j\right)$

k用如下公式来确定，

k＝j+1-[j/N]×N

其中1≤k≤N，0≤i≤width-1，0≤j≤height-1，且k、i、j为整数，width是以像素为单位的图像宽度，height是以像素为单位的图像高度。

而且，步骤5调整光栅立体图像分辨率根据下式实现，

DPI＝R×N

其中，DPI为光栅立体图像调整后的分辨率，R为输出的柱镜光栅的光栅线数。

本发明在用双目相机拍摄得到双目图像对的情况下，只需将双目图像对输入到由以上技术支持而得到的成像软件中，经过简单的处理，就可以依次得到双目图像对的深度图、序列视差图、以及最终要打印的光栅立体合成图，整个过程方便、快捷，且最终输出的光栅立体图的立体效果较好，能够使立体印刷产品实现个性化、便捷化的即时输出，对光栅立体图像的推广也具有重要意义。

附图说明

图1是本发明实施例的基于双目相机的光栅立体印刷图像合成方法的流程图。

图2是本发明实施例中用到的双目立体视觉简化模型图。

图3是本发明实施例的基于双目立体图像对的立体匹配流程图。

图4是本发明实施例中生成序列视差图的成像模型图。

图5是本发明实施例中基于柱镜光栅的光栅立体图像编码方式原理图。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

具体实施时，本领域技术人员可参考计算机软件技术实现本发明技术方案的自动运行流程。参见图1，本发明实施例首先通过双目相机获得图像对，然后运用双目视觉理论进行立体匹配，得到序列视差图像，最后通过一种编码方式合成光栅立体图像。实施例的具体流程说明如下：

一、用双目相机拍摄场景得到双目图像对：首先基于双目相机采集拍摄场景的两个观察角度的二维平面图像数据，得到双目图像对。

实施例采集双目图像对，需要借助双目相机，获得同一场景的不同视角的一对二维平面图像，分别记为左视图和右视图。这样在双目图对中寻找匹配点时，匹配范围从二维的搜索降到一维极线上搜索，为后期立体匹配提供了极大便利。

二、获得双目图像深度图：借助双目立体视觉理论，使用一种鲁棒性强的基于区域分割的图像匹配技术，得到精度较高的视差图，获得场景中每个图元的相对空间三维信息。

实施例在获得双目图像的深度图时，首先利用Mean shift算法对双目图像对进行色彩分割，再利用SAD（差值绝对值和函数）作为测度函数，计算每个像素的匹配代价，最后通过基于色彩分割的匹配代价聚集，使用WTA算法计算每个像素的视差，获得视差图并优化。

图2是双目立体视觉简化模型，双目相机拍摄所得到的双目图像对是平行的，在双目图像对中寻找匹配点时，只需在对应点的极线上寻找。图2中，Cl、Cr分别表示左相机镜头和右相机镜头的光心，分别对应左视图和右视图，f为双目相机的焦距，b为两镜头光心的距离，P点为场景中的一点，z为点P的景深，即距双目相机成像平面的深度，x_l、x_r分别表示点P在两个成像平面的成像点E和点F的X轴坐标值，由相似三角形性质可得：

$\frac{b}{z}=\frac{(b+x_r)-x_l}{z-f}$

设视差d＝x_l-x_r，可得：

$z=\frac{b\·f}{x_l-x_r}=\frac{b\·f}{d}$

其中d即为P点在双目图像对中的成像视差。由以上公式可知，深度z与视差d成反比，与双目相机的焦距和两镜头光心距离成正比，这是整个立体视觉系统及立体匹配的理论基础。

图3是本发明基于双目立体图像对的立体匹配流程图，共分为五个步骤。

第一步，图像色彩分割：根据视差平滑性约束可知，图像在同一物体上的视差变化较平滑，而在物体边缘一般发生视差突变，而大部分普通拍摄场景中，不同的物体一般具有不同颜色特性，颜色不连续的区域一般为图像边缘，即视差突变区域。以此假设为前提，本发明实施例利用Mean shift算法对输入彩色图像进行图像分割，能在一次分割后形成大量小的模态区域，然后实施基于色彩分割的区域立体匹配。

第二步，鲁棒的匹配代价计算：本发明实施例利用SAD（差值绝对值和函数）作为测度函数计算每个像素的匹配代价。SAD函数公式如下：

C_AD(x,y,d)＝Σ_(x,y)∈S|I_L(x,y)-I_R(x+d,y)|

其中S表示匹配代价计算的窗口区域，图中坐标点为(x,y)的像素记为像素点(x,y)，I_L(x,y)表示左视图中坐标点为(x,y)的像素的灰度值，I_R(x+d,y)表示右视图中在视差d下与左视图像素点(x,y)对应的像素的灰度值，即右视图中像素点(x+d,y)的灰度值，C_AD(x,y,d)表示像素点(x,y)在视差d下的匹配代价。对于彩色图像，I_L(x,y)-I_R(x+d,y)一般表示两点在RGB彩色空间的曼哈顿距离，公式如下：

I_L(x,y)-I_R(x+d,y)＝|R_l-R_r|+|G_l-G_r|+|B_l-B_r|

其中R_l、G_l、B_l分别表示左图像中像素点(x,y)在R通道、G通道、B通道的像素值，同理，R_r、G_r、B_r分别表示右图像中像素点(x+d,y)在R通道、G通道、B通道的像素值。

在基于色彩区域的立体匹配过程中，一般假设匹配窗口中心像素为最优匹配时，窗口中其余像素也是最优匹配，不是最优匹配的点被定义为奇异点。由于在匹配代价聚集时，奇异点拥有很高的匹配代价，从而扰乱平均代价，为了有效的抑制奇异点的影响，本发明实施例使用如下公式来抑制奇异点：

Y＝X²/(A+X²)

其中A为常数，X为视差d下的初始匹配代价，Y为经过奇异点抑制后用于代价聚集的匹配代价，X越大，Y越大，且Y的范围控制在0到1之间。

第三步，基于分割匹配代价聚集：本发明实施例采用较大的匹配窗口，为匹配提供尽量多的信息，降低弱纹理处的误匹配。匹配代价的聚集结果C_SAD(x,y,d)计算公式如下：

C_SAD(x,y,d)＝Σ_(x,y)∈SC_AD(x,y,d)

其中，S表示固定尺寸的匹配窗口，C_AD(x,y,d)表示像素点(x,y)在视差d下的匹配代价。同时在同一匹配窗口中，经色彩分割后与匹配窗口中心像素不在同一区域的像素点被视为离群点，为了不全部忽略离群点的匹配代价，此时赋予离群点的匹配代价以较小的权值λ，以减少Mean shift过分割所带来的影响，同时也可为非深度变化区域的分割边界提供足够的匹配信息。计算公式如下：

C_S(x,y)＝λ·C′_SAD(x,y)+C_SAD(x,y)

其中(x,y)表示中心像素的坐标，S表示固定尺寸的匹配窗口，λ表示权值，C'_SAD(x,y)表示匹配窗口中与中心像素不在同一区域的所有像素匹配代价之和，即所有离群点的匹配代价之和，C_SAD(x,y)表示匹配窗口中与中心像素在同一区域的所有像素的匹配代价之和，C_S(x,y)表示在匹配窗口中，中心像素总的匹配代价之和。

第四步，视差计算，实施例选择WTA算法，在预设的视差范围约束内选择匹配代价最小的点作为中心像素对应的匹配点，此时匹配点对应的视差即为所求的视差值。分别以左视图为目标图，右视图为参考图，计算视差后得到一张初始视差图；同样原理，以右视图为目标图，左视图为参考图，计算视差得到另一张初始视差图。

第五步，视差优化，首先通过图像中值滤波对第四步所得两张初始视差图进行优化，然后通过联合左右视图的视差图，假设误匹配仅发生在其中一幅视差图的计算中，于是对比左右初始视差图的图像中值滤波优化计计算结果，将左右不一致的视差值修正为两个视差值之间较小值，该方法可以在一定程度上减少遮挡区域的误匹配问题，最终得到优化后的左右两张视差图。

三、利用一种基于双目图像对生成序列视差图像的方法，得到多幅连续角度等间隔的序列视差图像，构成一个图像序列。

设图像序列中所有序列视差图像等间隔排列，构建图像序列时，主要根据双目立体视觉模型中双目图像对以及视差图的投影关系，生成位于双目图像对中间位置的等间隔的序列视差图像。

图4是序列视差图像的成像模型图，其中参数Cl、Cr、x_l、x_r、z与双目立体简化模型中相应参数一致（见图2），Cl为第一个镜头光心即左镜头光心，Cr为最后一个镜头光心即右镜头光心，设模型中总镜头光心数为m+1，即Cr为第m+1个镜头光心，其中镜头光心Ct位于左右镜头光心Cl、Cr之间的某一位置，则其与镜头光心Cl的距离为(n/m)×b，其中n表示Ct之前的总镜头光心数，即从Cl到Ct的总镜头光心数有n+1个，x_t表示点P在Ct相应成像平面的成像点的X轴坐标值，由投影原理可知镜头Cl、Cr满足以下公式：

$\frac{z}{f}=\frac{(n/m)\×b}{x_l-x_t}$

对于同一点P，其距每个镜头的垂直距离相同，即深度z不变，同时镜头的参数基本一致，即焦距f相同，于是可得公式：

$\frac{(n/m)\×b}{x_l-x_t}=\frac{b}{x_l-x_r}$

设d＝x_l-x_r,化简整理可得公式：

$x_t=x_l-\frac{n}{m}d$

按照同样的方法，可以得到C_t、C_r之间的关系公式如下：

$x_t=x_r+\frac{(m-n)}{m}d$

根据以上公式，设双目相机拍摄的左右视图分别为图像序列中最左的序列视差图像和最右的序列视差图像，位于两者之间的序列视差图像可由左右视图及左右两幅视差图演算出来。同时在计算过程中，为了尽量多的利用双目图像对的信息，同时降低立体匹配中误匹配对生成结果质量的影响，在计算一幅中间序列视差图像时，首先根据距离它最近的视图及其视差图生成大致的图像结果，然后再使用另一幅视图对结果进行优化补充。假设根据步骤一、步骤二有左视图L和右视图R，以及对应的两张视差图D_L和D_R，实现方式如下：

当序列视差图像T距离左视图L较近时，利用左视图L和左视差图D_L以及公式

计算左视图L中每个点的横坐标在序列视差图像T中的位置，点的纵坐标不变，从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息，利用右视图R和右视差图D_R以及公式

进行补充，形成完整的序列视差图像T；

当序列视差图像T距离右视图R较近时，利用右视图R和右视差图D_R以及公式

计算右视图R中每个点的横坐标在序列视差图像T中的位置，点的纵坐标不变，从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息，利用左视图L和左视差图D_L以及公式

进行补充，形成完整的序列视差图像T。

例如，需要用于光栅立体合成的序列视差图像共8张：S₁-S₈。首先，将左右视图分别作为序列视差图像的第1张和第8张，即令S₁=L，S₈=R。在计算S₂，S₃，S₄图像时，相对于右视图即S₈来说，S₁距离S₂，S₃，S₄图像较近，则利用S₁和D_L以及公式

计算S₁图像中每个点的横坐标在S₂，S₃，S₄图像中的位置，点的纵坐标不变，从而分别获得初始的图像S₂，S₃，S₄，对于S₂，S₃，S₄图像中没有赋值的点信息，利用S₈和D_R以及公式补充，形成完整的序列视差图像S₂，S₃，S₄。对计算S₅，S₆，S₇图像，采取同样的策略，即先利用S₈和D_R以及公式

分别计算初始的图像S₅，S₆，S₇，再利用S₁和D_L以及公式

分别对初始的图像S₅，S₆，S₇进行补充，形成完整的序列视差图像S₅，S₆，S₇。

利用上述方法，生成的序列视差图像的大部分信息被还原出来，对于仍然存在的一些丢失的图像信息，采用目前插值效果较好的双三次插值算法进行进一步补充和优化。

四、利用基于柱镜光栅的序列视差图像编码方式，完成光栅立体图像的合成。

该光栅立体编码方式为：首先将图像序列中所有的序列视差图像按列分割，图像分割的每列宽度等于光栅间距除以序列视差图的总张数，以此保证柱镜光栅中每个柱镜单元内存储每个序列视差图中的相应一列，即每个序列视差图像都会抽取相应列来编码组合成光栅立体图，最后得到的光栅立体图与源图尺寸大小相同，编码后数据量小，便于处理。

图5是基于柱镜光栅的光栅立体图像编码方式原理图，根据光栅立体编码方式，将每幅序列视差图按列分割，由于共有3幅序列图，所以每列的宽度是由光栅间距除以3计算得到，最终将图中所有的序列视差图像A、B、C分别分割为9列。在组合得到的立体合成图中，第1列为图像A的第1列，第2列为图像B的第2列，第3列为图像C的第3列，第4列为图像A的第4列，第5列为图像B的第5列，第6列为图像C的第6列，第7列为图像A的第7列，第8列为图像B的第8列，第9列为图像C的第9列，其中第1、2、3列构成一个编码图像组，第4、5、6列构成一个编码图像组，第7、8、9列构成一个编码图像组，每个编码组宽度等于光栅间距。

具体实施时，光栅立体编码如下：

假设生成的序列视差图像一共有N张，并且已按拍摄角度从左至右排列。首先对各序列视差图像分别进行纵向条纹抽样分割，设定分割宽度为一个像素（因为计算机中图像以像素为单位存储）；设第k张序列视差图像的第i行第j列的像素为gⁱ _k(j)，其中1≤k≤N，0≤i≤width-1，0≤j≤height-1，且k、i、j为整数，width是以像素为单位的图像宽度，height是以像素为单位的图像高度，合成后的立体图像的第i行j列的像素为fⁱ(j)，则根据原理图5中像素列对应关系，可得出公式：

$f^i\left(j\right)=g_k^i\left(j\right)$

其中k用如下公式来确定（其中[]为取整符号）：

k＝j+1-[j/N]×N

按照该算法对序列视差图像完成光栅立体编码后，将得到一幅尺寸和源图尺寸一样的图像。

五、调整光栅立体图像分辨率，用打印机将立体图像直接输出到柱镜光栅上。

实施例具体操作为：首先为了保证单一柱镜单元内包含不同序列视差图的单列信息，在输出前需要对图像的分辨率进行调整，这与柱镜光栅的光栅线数以及序列视差图像数量有关，要求分辨率要等于光栅线数与序列视差图像数量的乘积，即假设用于输出的柱镜光栅的光栅线数为R，序列视差图像共有N幅，则光栅立体图像调整后的分辨率DPI计算公式为：

DPI＝R×N

最后以打印机为输出设备，以柱镜光栅为载体，将光栅立体图像输出。输出的光栅立体图像用裸眼即可观察到较好的立体效果。

本发明的上述实例仅仅为说明本发明的方法实现，任何熟悉该技术的人在本发明所揭露的技术范围内，都可轻易想到其变化和替换，因此本发明保护范围都应涵盖在由权利要求书所限定的保护范围之内。

Claims (4)

1.一种基于双目相机的光栅立体印刷图像合成方法，其特征在于，包括以下步骤：

步骤1，用双目相机拍摄场景得到双目图像对，所述双目图像对包括左视图和右视图；

步骤2，获得双目图像深度图，包括左视差图和右视差图；

步骤3，构建图像序列，包括以双目图像对的左视图为图像序列中最左的序列视差图像，以双目图像对的右视图为图像序列中最右的序列视差图像，生成位于左视图和右视图之间的多幅序列视差图像，实现方式如下，

设图像序列对应的总镜头光心数为m+1，Cl为第一个镜头光心，对应左视图，Cr为最后一个镜头光心，对应右视图，b为镜头光心Cl、Cr的距离；左视图记为L，右视图记为R，左视差图记为D_L，右视差图记为D_R，设对应位于左视图L和右视图R之间的某幅序列视差图像T的镜头光心Ct位于镜头光心Cl、Cr之间，其中从Cl到Ct的总镜头光心数有n+1个，镜头光心Ct与镜头光心Cl的距离为(n/m)×b，x_l、x_r、x_t分别表示场景中的一点在Cl、Ct、Cr相应成像平面的成像点的X轴坐标值，视差d＝x_l-x_r，当序列视差图像T距离左视图L较近时，利用左视图L和左视差图D_L以及公式

计算左视图L中每个点的横坐标在序列视差图像T中的位置，点的纵坐标不变，从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息，利用右视图R和右视差图D_R以及公式

进行补充，形成完整的序列视差图像T；当序列视差图像T距离右视图R较近时，利用右视图R和右视差图D_R以及公式

计算右视图R中每个点的横坐标在序列视差图像T中的位置，点的纵坐标不变，从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息，利用左视图L和左视差图DL以及公式

进行补充，形成完整的序列视差图像T；

步骤4，根据图像序列合成光栅立体图像；

步骤5，调整光栅立体图像分辨率，以打印机为输出设备，以柱镜光栅为载体，将光栅立体图像输出。

2.根据权利要求1所述基于双目相机的光栅立体印刷图像合成方法，其特征在于：步骤2的实现方式包括，利用Mean shift算法对双目图像对进行色彩分割；利用差值绝对值和函数作为测度函数，计算每个像素的匹配代价；通过基于色彩分割的匹配代价聚集，使用WTA算法以左视图为目标图、右视图为参考图计算每个像素的视差值得到一张初始视差图，以右视图为目标图、左视图为参考图计算每个像素的视差值得到另一张初始视差图；通过图像中值滤波对两张初始视差图进行优化，对比两张初始视差图的图像中值滤波结果，将不一致的视差值修正为两个视差值之间较小值，得到优化后的左右两张视差图。

3.根据权利要求1或2所述基于双目相机的光栅立体印刷图像合成方法，其特征在于：步骤4的实现方式包括，

设图像序列中的序列视差图像共有N张，按拍摄角度从左至右依次排列，首先对各序列视差图像分别进行纵向条纹抽样分割，设定分割宽度为一个像素；设第k张序列视差图像的第i行第j列的像素为gⁱ _k(j)合成的光栅立体图像的第i行j列的像素为fⁱ(j)，则有

$f^i\left(j\right)=g_k^i\left(j\right)$

k用如下公式来确定，

k＝j+1-[j/N]×N

其中1≤k≤N，0≤i≤width-1，0≤j≤height-1，且k、i、j为整数，width是以像素为单位的图像宽度，height是以像素为单位的图像高度。

4.根据权利要求3所述基于双目相机的光栅立体印刷图像合成方法，其特征在于：步骤5调整光栅立体图像分辨率根据下式实现，

DPI＝R×N

其中，DPI为光栅立体图像调整后的分辨率，R为输出的柱镜光栅的光栅线数。

Images