CN103763543A - 合成全息图的采集方法 - Google Patents

Abstract

一种合成全息图的采集方法，包括：搭建四相机的图像采集平台；进行相机的标定与校正，使采集到的图像处于水平状态，同时得到各个相机的参数矩阵；利用四相机采集平台，正对所需物体或场景，采集物体或场景的图像；利用立体匹配算法计算采集到的四幅图像的视差图；根据两两视差图及每个相机的参数矩阵，对相邻两两相机之间进行虚拟视点图像的生成；将采集得到的四幅参考视点图像与虚拟生成的多幅虚拟视点图像合成为一幅合成全息图；对合成全息图进行再现与显示。本发明系统结构简单，便于搭建固定的采集系统；标定较为准确，省去深度相机相对减少了成本；在不影响记录与再现质量的情况下，降低了采集复杂性，减少了系统成本，增加了计算速度。

Description

合成全息图的采集方法

技术领域

本发明提供一种新的合成全息图的采集方法，具体涉及一种立体视觉技术中的立体匹配、虚拟视点生成等相关方法。

背景技术

2001年，Li,Abookasisand Rosen等人发明出利用多视角投影图像合成全息图的技术，称之为合成全息技术Multiple Viewpoint Projection Holography(MVP)。相对于传统全息图，合成全息的记录无需激光，记录条件宽松，并且由相机直接记录彩色物体，为实时记录与再现真实的三维彩色物体提供了可能。

该技术现存在的主要问题，同时也是国外学者研究的主要问题，是关于如何减少合成全息制作过程中的信息采集系统的复杂性。本发明正是针对于解决此问题，对比文献1由日本科学家提出了一种从合成原理算法上解决采集复杂度的问题，称之为基于三维傅里叶频谱的合成全息采集方法，本发明针对这种合成全息技术，对其进行改进以适应立体视觉相关方法，立体视觉方法主要涉及相机标定，立体匹配算法与虚拟视点生成算法，对比文献2是其中主要决定图像质量的立体匹配算法。整体系统接近于对比文献3所述，。

主要对比文献：

1.Y.Sando,M.Itoh,and T.Yatagai,“Full-color computer-generated holograms using3-D Fourierspectra,”Opt.Express,12,6246-6251(2004).

2.H.Hirschmeller,“Accurate and Efficient Stereo Processing by Semi-Global Matching andMutualInformation”,Proc.IEEE CS Conf.Computer Vision and Pattern Recognition,vol.2,807-814(2005).

3.B.Katz,N.T.Shaked,and J.Rosen,“Synthesizing computer generated holograms with reducednumber of perspective projections,”Opt.Express15,13250–13255(2007).

发明内容

术语：合成全息技术Multiple Viewpoint Projection Holography(MVP)，立体匹配算法(StereoMatching Algorithms)。

本发明的目的是提供一种新的混合优化方法，用以克服并解决合成全息技术在采集二维投影图过程中的复杂度问题。

具体技术方案如下：

一种合成全息图的采集方法，包括如下步骤：

1）搭建四相机的图像采集平台；

2）进行相机的标定与校正，使采集到的图像处于水平状态，同时得到各个相机的参数矩阵；

3）利用四相机采集平台，正对所需物体或场景，采集物体或场景的图像；

4）利用立体匹配算法计算采集到的四幅图像的视差图；

5）根据两两视差图及每个相机的参数矩阵，对相邻两两相机之间进行虚拟视点图像的生成；

6）将采集得到的四幅图像(参考视点图像)与虚拟生成的多幅图像(虚拟视点图像)合成为一幅合成全息图；

7）对合成全息图进行再现与显示；

步骤1）的做法是：建立四相机采集平台，四部相机呈正方形摆放，分别放置在正方形的四个顶点上，水平面对同一方向。尽量保证呈现的正方形边长相等，相机的镜头方向相同，如图1所示。

步骤4）的做法是：采集到的四幅图像在空间位置上位于正方形的四个顶点，将空间位置上相邻的两幅图像视作一个图像对，即每幅图像使用了两次，总共是四组图像对，利用立体匹配算法计算这四组图像对的视差图。由于视差图是计算两幅图像之间对应的视差关系，所以垂直方向上的视差图的计算只需将图像进行翻转90°，将其视作水平方向上的图像进行视差图的计算。

步骤6）与步骤1）所对应，其合成全息技术的计算参数需要由二维图像的位置所确定，所以在计算过程中的参数设定，由步骤1）中的相机摆放位置所决定。

通过本发明所提供的方案，有效地将虚拟视点生成引入合成全息技术中，具有如下有益效果：（1）采用普通相机记录真实存在物体，相比数字全息，记录条件宽松，并可直接真彩色记录；（2）采用四个相机代替多相机阵列或透镜阵列，其水平视点与竖直方向视点均由虚拟视点生成，成本低，系统结构简单，便于搭建固定的采集系统；（3）采用立体视觉计算视差的方式代替深度相机，标定较为准确，省去深度相机相对减少了成本；（4）利用基于3D傅里叶频谱的合成全息技术，将其采集点位与方法进行改进，以此将虚拟视点生成有效地引入合成全息技术中，彻底实现在不影响记录与再现质量的情况下，降低采集复杂性，减少系统成本，增加计算速度等。

附图说明

图1合成全息采集方法示意图

图2记录物体三维信息的光学系统

图3单幅投影图在u-v平面上的提取区域.

图4本方法提取点位与区域

图5原始三维物体

图6部分二维投影图

图7合成全息图

图8不同再现距离下的再现图像

具体实施方式

本发明的具体实施方式如下：

1）搭建四相机的图像采集平台：

建立四相机图像采集平台，将四相机呈正方形进行摆放，四个相机分别是正方形的四个顶点，且四个相机的镜头方向应一致，尽量使采集到的四幅图像呈水平状态。采集平台如图1所示，其中实线的相机共四部，代表四个相机的摆放位置，可以看出呈正方形摆放。虚线的相机代表需要生成的虚拟视点的图像位置，后续步骤会详细说明。由于采集平台完全利用普通相机，所以相比利用激光记录全息图的数字全息系统，本方法记录条件宽松，并可直接真彩色记录。

2）进行相机的标定与校正，使采集到的图像处于水平状态，同时得到各个相机的参数矩阵；

相机的标定，即在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数，这个求解过程就是相机的标定。而图像的校正是为了将左右两幅立体图像对的极线对齐，并将极点拉至无穷远，从而减少其他因素所带来的图像倾斜，为后续的立体匹配搜索过程减少计算量。具体方法请参见参考文献[1]。

所以相机的标定与校正的过程，是为了得到相机参数与优质的信息源。

3）利用四相机采集平台，正对所需物体或场景，采集物体或场景的图像；

选取物体或场景进行图像采集，采集平台与物体距离（即记录距离）大于物体或场景景深即可，距离选择灵活。

4）利用立体匹配算法计算采集到的四幅图像的视差图；

在生活中，经常会遇到通过采集到的二维图像来计算三维物体之间关系的需求，立体匹配算法就是此类需求的一个具体实施过程。当两个相机对于同一物体进行拍摄时，两个相机会得到同一物体不同角度的两幅图像。经过图像校正之后，在理论上可以得到在空间中处于同一图像平面的两幅图像，它们只是在水平方向上错开。而立体匹配算法(Stereo Matching)的作用就是找到这幅图像对中相互对应的像素点。当建立了两幅图像各像素点之间的对应关系后，就可以通过空间上的几何关系重建三维场景。

经过上述步骤，采集到了的四幅图像。空间位置上相邻的两个图像组成一个图像对，即每幅图像使用了两次，总共是四组图像对，利用立体匹配算法计算这四组图像对的视差图。

具体方法参见参考文献[2]，是立体匹配算法中的一种，可用来生成图像对的视差图。由于视差图是计算两幅图像之间对应的视差关系，所以垂直方向上的视差图的计算，同理也可以计算得到。垂直方向间的图像对的视差图的计算方法具体如下：垂直方向间图像对的视差图的计算只需将图像进行逆时针翻转90°，之后将其视作水平方向上的图像对进行视差图的计算，就可以得到垂直方向间的图像对的视差图。

5）根据四组图像对的视差图及每个相机的参数矩阵，对相邻两两相机之间进行虚拟视点图像的生成：

虚拟视点生成的主要原理，是依据输入的有限个视点图像，合成所需要的新的视点图像。当同时具有参考视点与深度信息后，典型的算法是基于深度图像绘制虚拟视点。其主要思想是根据视差图表示的深度信息，将参考视点反投影到三维空间坐标中，这样再根据三维空间坐标，计算出每幅虚拟视点图像。这样可以计算出任意中间视点图像。同时，通过简化的方法，可以将这种二次投影简化一维上的像素平移，大大减少计算量。步骤5）具体的方法参见参考文献[3]。

这样，将四组图像对的中间图像一律用虚拟视点生成，两两图像对之间生成32幅虚拟视点图像，四组图像对共生成128幅虚拟视点图像。生成的图像数量可以由虚拟视点算法控制，生成的图像越多，后续步骤的合成全息图质量会越好。

通过以上方法，采用了四个相机代替多相机阵列或透镜阵列，同时由于采用的是立体匹配算法计算视差图的方法，就避免采用了成本较高的深度相机。由此其水平方向与竖直方向的大量视点均由虚拟视点算法生成，达到降低成本低，简化系统结构，易于搭建固定采集系统的目的；

6）将采集得到的四幅图像(参考视点图像)与虚拟生成的大量图像(虚拟视点图像)合成为一幅全息图：

合成全息技术是利用计算机或相机获得三维物体的多个视角的二维投影像，对这些二维图像进行处理，然后进行编码，可得到三维物体的全息图。最后可利用光学再现或计算机再现。

普遍来说，3D物体的空间函数分布的表达式是极其复杂的。若假定三维物体的空间分布保持不变，令其表达式为O(x,y,z)。则物体上的所有点，经过透镜在其后焦面上的光场分布g(x₀,y₀)为：

$g(x_0,y_0)=\∫\∫\∫O(x,y,z)\exp \{-\frac{i2\mathrm{\π}}{\mathrm{\λ}}[\frac{x_{0}x+y_{0}y}{f}-\frac{{x_0}^2+{y_0}^2}{{2f}^2}\left]\right\}\mathrm{dxdydz}---\left(1\right)$

其中，λ和f分别是入射光的波长与透镜的焦距。整个原理就是依据g(x₀,y₀)与O(x,y,z)的三维傅里叶频谱的关系所建立。此表达式若是由u=x₀/λf和v=y₀/λf替换，则由下式表示为：

$\begin{array}{c}g(u,v)=\∫\∫\∫O(x,y,z)\exp \{-i2\mathrm{\π}[\mathrm{ux}+\mathrm{vy}-\frac{\mathrm{\λ}}{2}(u^2+v^2)z\left]\right\}\mathrm{dxdydz}\\ =\{\∫\∫\∫O(x,y,z)\exp [-i2\mathrm{\π}(\mathrm{ux}+\mathrm{vy}+\mathrm{wz})\left]\mathrm{dxdydz}\right\}{|}_{w=-\mathrm{\λ}(u^2+v^2)/2}\\ =F\left[O(x,y,z)\right]{|}_{w=-\mathrm{\λ}(u^2+v^2)/2}\end{array}---\left(2\right)$

其中，g(u,v)为物体在透镜后焦面的光场分布，F表示三维傅里叶变换算符。式中w代表在三维傅里叶空间中的一个旋转抛物面。因此，我们可以将图2中想要得到的结果完全由计算在三维傅里叶空间中的旋转抛物面代替。

式（1）使间接获得物体在透镜后焦面的光场分布g(u,v)成为可能，为了实现此目的，一些计算机断层的成像原理被引入进来。根据计算机断层扫描原理，可以利用记录三维物体不同侧面的一系列二维投影图像，来获得后焦面处的光场分布。

因此结合计算机断层扫描原理，由式（2）可知：光场分布g(u,v)可由提取出旋转抛物面与这些二维傅里叶变换投影图相交的部分得到，其既具有三维傅里叶频谱特性，又满足g(u,v)。相交部分可由下列等式表达：

wcosθ+usinθ=0

$w=-\frac{\mathrm{\λ}}{2}(u^2+v^2)$

其中，θ为为二维投影图像与z轴的夹角，其表示可参见图1，经过联立后则可得到提取区域的关系式：

${(u-\frac{\tan \mathrm{\θ}}{\mathrm{\λ}})}^2+v^2={\left(\frac{\tan \mathrm{\θ}}{\mathrm{\λ}}\right)}^2,w=-u\tan \mathrm{\θ}$

此关系式表明了，所要提取的相交部分是以tanθ/λ为半径的圆，而圆心的位置取决于投影图的位置与方向，图3表示某一幅投影图的位置与所要提取的圆。将所有相交部分提取出来，就可以获得最终需要的光场分布。图4简要说明相交区域，所有圆圈覆盖的部分为要提取出的区域，实心点代表真实相机(参考视点图像)，空心点代表虚拟生成的图像(虚拟视点图像)，实线正方形的顶点对应着实际相机摆放的位置。而实际的采集平台如图1所示。由此，将之前步骤所得到的参考图像，与虚拟生成的图像，运用上述方法，就可以得到原始光场的分布，然后再由全息图的编码方式合成出一幅全息图，此全息图就被称为合成全息图。

利用了上述合成全息技术的方法，目的是将其采集点位与方法进行改进，以此将虚拟视点生成有效地引入到合成全息技术中，彻底实现在不影响记录与再现质量的情况下，降低采集复杂性，减少系统成本，增加计算速度等。

7）对合成全息图进行再现与显示：

经过以上所有步骤得到了合成全息图。再现的目的是为了验证前文所述的方法的正确性。而显示则是全息技术的最终目标。其再现与显示有诸多方法可以实现，对其原理不再赘述。

实施实例

改进的基于三维傅里叶频谱的合成全息实例如图5-8所示。图5为三维原始物体，图6为利用改进的采集方法，对三维物体进行二维投影图，其中为部分采集图像。图7为合成的全息图。图8为再现结果，其再现距离分别为z=190cm，z=200cm，z=210cm。

合成全息技术的成功实例表明，将其中间视点全部利用虚拟视点算法生成，就可实现对合成全息采集系统的优化。将需采集的二维投影图从上百幅或几十幅减少到四幅，通过计算机生成中间视点，达到简化系统，降低成本的目的，同时为实时记录与再现真实的三维彩色物体提供可能。

参考文献

[1]Z.Zhang.A flexible new technique for camera calibration.IEEE Transactions on PatternAnalysis and Machine Intelligence,22(11):1330-1334,2000.

[2]H.Hirschmeller,“Accurate and Efficient Stereo Processing by Semi-Global Matching andMutualInformation”,Proc.IEEE CS Conf.Computer Vision and Pattern Recognition,vol.2,807-814,2005.

[3]C.Fehn.Depth-image-based rendering(DIBR),compression,and transmission for a newapproach on3D-TV.Vol.5291,pages93-104.SPIE,2004.

Claims (3)

1.一种合成全息图的采集方法，其特征是，包括如下步骤：

1）搭建四相机的图像采集平台；

2）进行相机的标定与校正，使采集到的图像处于水平状态，同时得到各个相机的参数矩阵；

3）利用四相机采集平台，正对所需物体或场景，采集物体或场景的图像；

4）利用立体匹配算法计算采集到的四幅图像的视差图；

5）根据两两视差图及每个相机的参数矩阵，对相邻两两相机之间进行虚拟视点图像的生成；

6）将采集得到的四幅参考视点图像与虚拟生成的多幅虚拟视点图像合成为一幅合成全息图；

7）对合成全息图进行再现与显示；

其中，步骤1）的做法是：建立四相机采集平台，四部相机呈正方形摆放，分别放置在正方形的四个顶点上，水平面对同一方向。

2.如权利要求1所述的合成全息图的采集方法，其特征是，所述步骤4）的做法是：采集到的四幅图像在空间位置上位于正方形的四个顶点，将空间位置上相邻的两幅图像视作一个图像对，即每幅图像使用了两次，总共是四组图像对，利用立体匹配算法计算这四组图像对的视差图；由于视差图是计算两幅图像之间对应的视差关系，所以垂直方向上的视差图的计算只需将图像进行翻转90°，将其视作水平方向上的图像进行视差图的计算。

3.如权利要求1所述的合成全息图的采集方法，其特征是，步骤6）与步骤1）所对应，其合成全息技术的计算参数需要由二维图像的位置所确定，所以在计算过程中的参数设定，由步骤1）中的相机摆放位置所决定。

Images