CN102568031A

CN102568031A - 三维图像并行数字构建方法

Info

Publication number: CN102568031A
Application number: CN2011102847269A
Authority: CN
Inventors: 严建峰; 张谨; 龚声蓉; 浦东林; 魏国军; 陈林森
Original assignee: Suzhou University; SVG Optronics Co Ltd
Current assignee: Suzhou University; SVG Optronics Co Ltd
Priority date: 2011-09-23
Filing date: 2011-09-23
Publication date: 2012-07-11

Abstract

本发明公开了一种三维图像并行数字构建方法，获取三维物体的多个分视角数字图像，其特征在于：采用计算机集群进行并行处理；包括，对图像的规整性处理、分色处理，并按设定的大小分割为子图，主计算节点将各子图按照其视场顺序排列；以同一视场位置的子图为一组处理对象，任务节点并行处理，对图像进行傅立叶逆变换、中心变换处理和迭代傅里叶变换，得到该组子图的夫琅禾费衍射光场分布，并将结果返回至主计算节点；主计算节点汇总后得到全息图H1；利用干涉光和空间光调制器再现三维图像。本发明成功地利用多进程机制进行位相信息的提取，大大减少了算法的运行时间，提高三维成像的效率，为三维图像的工业化印刷提供了可能性。

Description

三维图像并行数字构建方法

技术领域

本发明涉及一种三维图像的构建方法，尤其涉及一种采用并行处理技术进行三维图像数字构建的方法，可用于三维图像显示、立体印刷、微纳米制造等多个技术领域。

背景技术

三维成像按照其制造技术可以分为两类。一类是通过视觉工具实现三维影像的技术，如偏振镜、滤色片体视立体技术。这类技术需要借助工具和覆盖物，所以其应用的局限性很大。另一类是适合肉眼观看的三维成像技术，包括以显示器为媒介的三维视频技术和以静态材料为媒介的三维成像技术，但这类技术的很多关键技术尚未解决。

柱透镜光栅图像基于几何光学原理，用采样的方式印刷图像，覆盖柱透镜光栅折射光线，提供多观察视角从而形成立体感，适合肉眼直接观看。但是由于印刷的信息量有限，这类图像立体感一般。此外，柱透镜光栅的原材料价格较高导致柱透镜光栅价格昂贵。因此，经过三十余年的发展，其市场应用还是非常有限，一直未能进入主流研究领域。

全息技术利用干涉和衍射原理记录并再现物体的三维图像，利用全息照相技术可制作出大视角的立体图像。全息照相对光线进行不同于传统反射的衍射颜色和角度调制，呈现出可直接观察的彩色立体图像。其第一步是拍摄过程，利用干涉原理记录物体光波信息，使被摄物体在激光辐照下形成漫反射式的物光束；另一部分激光作为参考光束射到全息底片上，和物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后，便成为一张全息图，或称全息照片；其第二步是利用衍射原理再现物体光波信息，即成像过程：全息图犹如一个复杂的光栅，在相干激光照射下，一张线性记录的正弦型全息图的衍射光波一般可给出两个像，即原始像（又称初始像）和共轭像。

再现的图像立体感强，具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息，故原则上它的每一部分都能再现原物的整个图像，通过多次曝光还可以在同一张底片上记录多个不同的图像，而且能互不干扰地分别显示出来。全息照相在全息干板上记录的不是被拍摄物的直观图像，而是复杂的干涉条纹，所以在观察的时候需要采取一定的再现手段，将再现光束从特定的方向照向全息照片，观察者从一定方向看去即可实现立体视觉。但是，激光全息技术的模板制作复杂，存在幅面小、成本高、制作周期长等问题，导致其应用和发展也受到诸多条件的限制，在很大程度上限制了其市场应用。

人们之所以看到空间的三维景象，是由于从物体反射的光经传播后，其光波前（wavefront）到达了人眼。在光的波前上，光线强度基本相同，因此，信息的携带是通过“位相（phase）”完成的。物理含义上 “位相”是用光探测器探测不到的，也就是，用数码相机这样的CCD拍摄的图像是没有“位相”信息的，也就是没有立体感。在数学上，“位相”是一个在[0, p]区间内周而复始的变量。在光学信息上，“位相”是“光程差”，可通过介质对光线的“延时”作用产生这种“光程差”，进而产生“位相差”。光线经过一片玻璃和同样厚度的空气，所需要的传输时间是不同的，从而产生了光程差或者位相差。如果技术上能控制玻璃（介质）上“不同区域”的厚度，那么就可能通过介质对光线的不同延时作用来表达出三维物体在空间传播的光波前的位相信息。通过微结构“保存”这种位相信息，进而实现“三维立体成像”，这就是微纳结构实现三维成像的物理内涵。

由于光波长很短（可见区光400nm -700nm），因此，介质上的微结构深度和线度必须小于光波长l，这样，微纳结构才具有改变光线分布的能力。举例来说，一幅三维全息图像的空间频率范围在1000线对/mm–3000线对/mm，对应着150nm–500nm的微纳位相结构分布，并且位相结构深度在l/4 至 l 之间变化。因此，表达三维成像的微纳结构的尺度为：横向结构（150nm–1um），纵向深度（100nm–200nm）。如果一幅三维图像尺寸为100mm×100mm，则该图像的微结构信息量有40Gb。由此可见，“三维成像”问题可以归结到光传播后的波前的表达与计算、以及相应“微纳结构”制造技术的解决方案。“微纳结构”的制造很大程度上依赖于数字化图像的位相信息的提取，主要通过将三维图像传播后的光波前的位相结构计算出来，并进行数字化台阶处理，为后续的微纳结构制造提供位相分布的数据。

位相结构分布图是通过对数字化分视角图像进行迭代傅里叶变换得到的，将得到的位相结构通过空间光调制器（SLM-LCOS），再经过光学傅里叶变换系统获得这些位相分布信息再现，并引进参考光束进行干涉，完成微纳结构的光刻记录，形成三维成像的微纳结构分布，其原理如图1所示。经过上述处理后，立体图像位相的微纳结构就被完整地记录下来，当人眼观察这些微纳结构时，从微纳结构材料反射过来的便是整个立体图像的完整信息，即人眼看到的是一幅三维图像。

但是，上述处理过程中，计算量非常大，因而难以实现工业化应用。特别是对于大尺寸的三维图像的构建，目前实现困难。三维成像与显示具有巨大的市场需求，如果用于三维成像的微纳制造关键技术形成突破，就能够实现在大幅面立体图像的显示、立体印刷等多行业的广泛应用，促进我国相关行业的技术进步和国际竞争力，具有重大的商业价值；对该技术进行进一步研究，可为军事虚拟化视觉技术的发展奠定基础，对提高我国的国防安全具有一定意义。

发明内容

本发明的发明目的是提供一种三维图像的构建方法，通过数字化并行处理，提高数字图像的构建速度，使其达到工业化生产的要求。

为达到上述发明目的，本发明采用的技术方案是：一种三维图像并行数字构建方法，首先从不同角度获取三维物体的多个分视角数字图像，采用包括主计算节点和多个任务节点计算机集群，进行下列处理：

(1)将分视角数字图像存储在所述主计算节点中，设定子图的大小为m×m，m表示像素点的个数，m是不大于128的整数值；

(2)主计算节点将任务发送至任务节点，各任务节点并行地对分视角数字图像进行数字填充预处理，使分视角数字图像满足规整性要求；

(3)如果所述分视角数字图像为真彩色图像，则各任务节点并行地对真彩色图像进行分色处理，将分色后的每色图像分别转换成灰度图，否则直接进行下一步骤；

(4)任务节点将经上述处理后的分视角数字图像按步骤(1)设定的子图大小分割为一系列大小相同的子图，并返回主计算机节点，主计算节点将各子图按照其视场顺序排列；

(5)主计算机节点发布任务给任务节点，各任务节点并行处理，所述任务为，以同一视场位置的子图为一组处理对象，对图像进行傅立叶逆变换、中心变换处理和迭代傅里叶变换，进行位相初始化，调整其位相信息，从而得到该组子图的夫琅禾费衍射光场分布，并将结果返回至主计算节点；

(6)主计算节点汇总各个任务节点的计算结果，将每一组子图的位相信息按视场顺序排列，进行编码，得到全息图H1；

最后，根据所得到的全息图H1，引入干涉光，利用空间光调制器（SLM）再现三维图像，实现三维图像的并行数字构建。

上文中，一般通过高质量专业数码相机对三维物体从不同的角度拍摄多幅图像，获取三维物体的多个分视角数字图像。至少要采集两幅分视角图像才能产生多观察视角从而合成三维图像。拍摄的图像越多，后期处理的相位信息越精确，但相应的处理时间也越长。

上述技术方案中，所述步骤(2)中，图像的规整性要求是指图像的长宽尺寸以像素值计算为子图对应尺寸的整数倍，所述数字填充预处理是，对图像不足一整块的区域填充灰度值为0的像素，使图像符合规整性要求。对原图像进行填充处理是为了便于每幅子图在处理上的统一性和方便性。根据生产流程需要将每幅数字图像分割为一系列大小相同的子图，但是分视角图像的尺寸可能并不是后续分割块大小的整数倍，因此需要对原图像不足一整块的区域填充灰度值为0的像素。采用单个计算节点按照填充要求处理单幅图像的填充，多节点并行执行的算法同时处理多幅图像的填充，实现在单幅图像的处理时间内完成多幅图像的处理。

所述步骤(3)中，分色处理是，将真彩色图像每个像素中的(R, G, B)三原色分别提取出来，构成（R, R, R）、（G, G, G）、（B, B, B）三元组，产生三幅灰度图存放对应位置的值。分色处理的目的是通过将真彩色图像转化为灰度图，降低图像处理的复杂度。

所述步骤(4)中，为便于处理，分割成子图后，分别将每幅子图单元置于128×128黑底图像的左上角，以整个128×128图像作为返回主计算节点的子图。

上述技术方案中，所述步骤（5）中，对预处理好的子图进行傅立叶逆变换、中心变换和迭代傅里叶变换等操作后，得到128×128的位相结构图形；步骤(6)中，取其中的m×128作为一个单元，按视场顺序，将这些单元从左到右排列，组成一个长狭缝单元组，得到该子图组分视角图像的位相结构，用上述过程对所有子图组进行同样的处理，得到整个三维图像的多视角位相信息的合成。

优选的技术方案，所述m为32。

此时，对预处理好的子图进行傅立叶逆变换、中心变换和迭代傅里叶变换等操作，得到128×128的位相结构图形，并取其中的32×128作为一个单元。按视场顺序，对多幅图像的相同位置的子图构成的子图组分别进行上述变换处理，得到一系列32×128的狭缝单元，并将这些单元从左到右排列，组成一个1280×128的长狭缝单元组，得到该子图组分视角图像的位相结构。用上述过程对所有子图组进行同样的处理，可以得到整个三维图像的多视角位相信息的合成。

获得全息图H1后，需要利用光学原理，引入干涉光，通过透镜及其他光学设备重现三维图像。最终实现并行数字处理与微纳米制造相结合，使三维图像的制造符合工业化生产的要求。该重现步骤为现有技术，可以采用本领域技术人员所公知的方法具体实现。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

本发明将三维图像的微纳米制造与并行数字处理技术相结合，成功地利用多进程机制进行位相信息的提取，大大减少了算法的运行时间，提高三维成像的效率，为三维图像的工业化印刷提供了可能性。

附图说明

图1是背景技术中三维图像微纳结构制作的光学方案；

图2是实施例一中基于并行处理的三维成像微纳制造流程示意图；

图3是实施例一中位相分布迭代算法的步骤示意图；

图4是实施例一中三维制造中图像的某分块及进行夫琅禾费衍射变换效果图；

图5是夫琅禾费衍射光路图；

图6是并行傅里叶算法；

图7是Linux集群系统的并行处理机制。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例一：参见附图2所示，一种三维图像并行数字构建方法，首先从不同角度获取三维物体的多个分视角数字图像，采用包括主计算节点和多个任务节点计算机集群，进行下列处理：

具体地，图像的采集与预处理，如图3所示，包括以下步骤：

①获得三维物体的分视角数字图像。分视角图像指人眼从不同的角度和方向去观察三维物体时的截面图像，用数码相机拍摄或者利用计算机软件合成。

②对每一幅图像进行分色，如图3所示。输入三维物体的n幅分视角图像，每一幅图像按照R、G、B三色进行分色（如果是灰度图，则不必分色），标记为R1,G1,B1，……，Rn、Gn、Bn。

③对于一幅图片，分割成多个m×m的子图并对图片进行调整和填充，将子图置于128×128黑底图形的左上角，再进行傅立叶逆变换、中心变换和迭代傅里叶变换等操作，得到128×128的位相结构图形，并取其中的m×128作为一个单元，即为结果图。一般地，m取32。

步骤(5)中位相分布获取过程，包括以下步骤：

①夫琅禾费衍射

衍射系统一般由光源、衍射屏和接收屏组成。衍射屏距离光源和接收屏都是无穷远的衍射，或者说，照射到衍射屏上的入射光和离开衍射屏的衍射光都是平行光的衍射，称为夫琅禾费衍射。对每个子图形进行远场傅里叶变换，获得夫琅禾费光场分布。将不同视角图形对应的子图形的夫琅禾费分布按视角顺序排列，利用光学系统实现干涉记录，图4为图像的夫琅禾费衍射变换效果图，图5为夫琅禾费光路示意图。

②傅里叶变换

任意衍射屏在单位振幅的单色平面波垂直照射下，其夫琅禾费衍射光场复振幅即是衍射屏透射系数的傅里叶变换，而衍射图样实际上就是衍射屏的空间频谱强度分布，将衍射屏作为输入图像，经过二维傅里叶变换运算，得到衍射屏的频谱分布，即衍射图样。通过该机制对图像进行迭代傅里叶变换，可以得到位相分布。

傅里叶变换将图像信号实现时域与频域的转换，采用公式如下：

Figure 2011102847269100002DEST_PATH_IMAGE001

（1）

（2）

其中公式(1)是正变换，公式(2)是逆变换。通过公式(1)的变换，可以得到图片位相信息和振幅信息，但是由于后续的SLM只能调制位相信息，因此必须进行多次迭代傅里叶变换，不断去除振幅和保留位相，如图6所示。

本实施例中，分视角图像的并行数字处理过程，包括以下步骤：

（1）主节点上进行图像处理任务的并行分发。在运行了MPI环境的Linux集群系统的主节点上将要处理的n幅分视角图像的存储路径、分块信息和迭代信息等通过MPI并行接口发送到每个参与计算的子节点。只发送图像存储路径的目的是为了避免大量图像数据的传送，同时有利于图像文件的独立保存，减少数据相关性，节省计算时间。

（2）任务节点读取任务和预处理。集群系统中的各个任务节点收到主节点发来的相关信息后，读取各分视角图像。由于图像不一定是后续分割子块大小的整数倍，所以需要对图像进行调整和填充，在图像边缘填充灰度值为零的像素。然后，各个任务节点根据自己的ID来定位每幅图像中具体要处理的像素，以达到“分块”的目的。

在实际应用中，分块只是为了能够得到图像矩阵中某一块范围内的像素灰度值，所以不需要对图像进行实际的分割，只需要在内存中获取该分块包含的具体像素值即可。参与并行处理的节点数目与子图组数目并不一定能够整除，因此需要将子图组合理分配到每个节点上，以有效利用各个节点的资源，使得每个节点的处理负载平衡，达到最快的运算效率。

假设有3幅分视角图像P1，P2，P3，每幅图像为128×128像素大小，要将图像分割为32×32像素大小的子块，这样，每幅图像能够分割成16个子块，分别编号为Pi1-Pi16 （i=1，2，3），共有16×3=48个子块。如果在集群系统中采取8个节点进行并行处理，则平均每个节点分配到6个子块的任务。在具体实践中采用了如下方法进行并行处理：将这3幅分视角图像按视场顺序排列，第m（m=1～8）个节点处理每幅图像编号为2m-1和2m两幅子图Pi(2m-1)和Pi(2m) （i=1，2，3）。

（3）对于每幅子图，进行初始化位相角操作，通过傅立叶逆变换得到每幅子图的时域信息，并对其进行中心调整变换，然后根据输入的步长信息进行角度调整。

（4）调整好的结果进行迭代傅里叶变换，迭代次数是预先从主节点传递过来的。变换结果就是单幅视图的夫琅禾费衍射光场分布。我们按视场顺序将一组子图的变换结果按照从左到右的顺序存储到1280×128的图片上，就得到其夫琅禾费衍射光场分布。

（5）任务节点将运行结果返回主节点，由主节点汇总，得到图像的位相信息。

（6）利用空间光调制器对这些位相信息进行三维重现，得到最终的三维图像。

在具体实践中，采用了基于Linux集群的并行处理方法，具体流程如图7所示。

通过并行处理，本实施例大大减少了处理时间，从而有利于对较大幅面的三维图像的数字构建，使工业化应用成为可能。

Claims

1. 一种三维图像并行数字构建方法，首先从不同角度获取三维物体的多个分视角数字图像，其特征在于：采用包括主计算节点和多个任务节点计算机集群，进行下列处理：

最后，根据所得到的全息图H1，引入干涉光，利用空间光调制器再现三维图像，实现三维图像的并行数字构建。

2. 根据权利要求1所述的三维图像并行数字构建方法，其特征在于：所述步骤(2)中，图像的规整性要求是指图像的长宽尺寸以像素值计算为子图对应尺寸的整数倍，所述数字填充预处理是，对图像不足一整块的区域填充灰度值为0的像素，使图像符合规整性要求。

3. 根据权利要求1所述的三维图像并行数字构建方法，其特征在于：所述步骤(3)中，分色处理是，将真彩色图像每个像素中的(R, G, B)三原色分别提取出来，构成（R, R, R）、（G, G, G）、（B, B, B）三元组，产生三幅灰度图存放对应位置的值。

4. 根据权利要求1所述的三维图像并行数字构建方法，其特征在于：所述步骤(4)中，分割成子图后，分别将每幅子图单元置于128×128黑底图像的左上角，以整个128×128图像作为返回主计算节点的子图。

5. 根据权利要求4所述的三维图像并行数字构建方法，其特征在于：所述步骤（5）中，对预处理好的子图进行傅立叶逆变换、中心变换和迭代傅里叶变换等操作后，得到128×128的位相结构图形；步骤(6)中，取其中的m×128作为一个单元，按视场顺序，将这些单元从左到右排列，组成一个长狭缝单元组，得到该子图组分视角图像的位相结构，用上述过程对所有子图组进行同样的处理，得到整个三维图像的多视角位相信息的合成。

6. 根据权利要求1或5所述的三维图像并行数字构建方法，其特征在于：所述m为32。