CN110986828B - 一种新型真实场景三维彩色数据的采集显示方法 - Google Patents

Abstract

本发明提供一种新型真实场景三维彩色数据的采集显示方法，利用高速离焦投影仪将条纹投影到被测物体表面，并对高速离焦投影仪投影图案进行离焦，其离焦投影图案为二值图案，高速彩色摄像机用于接收高速离焦投影仪的同步信号同时采集经过物体表面形貌调制后的变形条纹图像，并将采集到的数据传输给用于数据采集处理的电脑。电脑将摄像机拍摄到的图像进行处理，通过求解拍摄图像中条纹的相位，并对整个测量系统进行标定，得到摄像机上像素点与投影仪上像素点的对应关系，再通过解码算法，从而获得物体的颜色纹理和三维数据，并将这些颜色纹理和三维数据通过网络传输给显示仪器中的电脑。

Description

一种新型真实场景三维彩色数据的采集显示方法

技术领域

本发明涉及图像处理领域，特别是涉及一种新型真实场景三维彩色数据的采集显示方法。

背景技术

目前，基于正弦条纹图投影的三维轮廓测量是获取物体三维表面的重要方法之一。它因为算法简单精度较高得到较快发展，并具有非扫描性和全场性能。但在空间孤立物体的测量过程中，相位展开时，条纹顺序是模糊的，从而导致空间孤立物体表面之间的深度差异不可分辨。所以空间孤立物体三维数据采集仍然存在困难。用激光三维扫描仪获得物体三维形貌和彩色表面纹理，然后采用计算机制作真彩色彩虹全息图，得到了较好的显示效果。但是由于激光三维扫描仪速度较慢，无法采集动态场景。

发明内容

本发明的实施例是这样实现的：

一种新型真实场景三维彩色数据的采集显示方法，其特征在于，包括如下步骤：

由高速离焦投影仪向被测物体投影条纹；

彩色摄像机对变形条纹进行捕捉，并对条纹进行编码；

经由计算获取编码数据，经空间光调制器调制后，由计算机解码获取进行三维重建，获得物体的全息图。

在本发明的一些实施例里，所述高速离焦投影仪与电脑相连，用电脑控制投影仪的光带宽差模延迟,从而向物体投射相应的二值条纹，摄像机配合投影仪进行快速拍照。

在本发明的一些实施例里，所述物体投影条纹的获取方法为：

利用高速离焦投影仪将条纹投影到被测物体表面，并对高速离焦投影仪投影图案进行离焦，其离焦投影图案为二值图案，利用高速彩色摄像机接收高速离焦投影仪的同步信号同时采集经过物体表面形貌调制后的变形条纹图像。

在本发明的一些实施例里，所述的变形条纹的编码方法为，用三个灰度级，0表示黑色，1表示灰色，2表示白色，对每个条带进行编码，对于填充了两个灰度级的条带在垂直方向上周期性地填充，条码按照伪随机序列排列。

在本发明的一些实施例里，所述的伪随机序列的属性包括：

具有给定长度的子序列在整个序列中只出现一次；

每个子序列中都没有重复的符号。

在本发明的一些实施例里，所述的编码过程采用2×2的像素单元，每个像素点用黑或白其中的一种颜色表示，可将该像素单元表示为黑、白和介于黑白之间的三种颜色，若4个像素点都是白色或黑色，则该单元显示为白色或黑色，若两白和两黑交叉排列，则该单元显示为介于黑白中间的灰度级。

在本发明的一些实施例里，所述解码方法为，通过求解拍摄图像中条纹的相位，并对整个测量系统进行标定，得到摄像机上像素点与投影仪上像素点的对应关系，再通过解码算法，从而获得物体的颜色纹理和三维数据。

在本发明的一些实施例里，所述的三维重建过程包括：

采用移向FTP计算解码图像数据的包裹相位；

检测相位差大于π的曲线；

以捕获的编码模式对对应曲线的强度进行归一化和量化；

恢复跳变曲线的符号，通过条纹子序列匹配到条纹的顺序，重建物体的三维坐标。

在本发明的一些实施例里，对于捕获得到的三维纹理，采用双极强度法计CGH，将纹理分解为红、绿、蓝三原色图像，根据再现时用的红、绿、蓝三色激光器的波长分别计算三张CGH。

在本发明的一些实施例里，所述的全息图像的投射利用红、绿、蓝三色激光器分别产生红绿蓝三色激光并进行扩束、准直后照射到空间光调制器上，经调制后的光经合色冷静合色后投射到三维空间显示。

本发明实施例至少具有如下优点或有益效果：

离焦二值投影技术有效避免了传统投影技术所存在的非线性和低速限制问题，提高了获取三维数据的速度和测量空间孤立物体的能力,具有较高的发展潜力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一种新型真实场景三维彩色数据的采集显示方法的流程示意图。

图2为条纹投影三维测量原理

图3为CGH制作模型。

图4为编码模式图样。

图5是条纹强度、包络相位、条纹阶数与绝对相位的关系图。

图6是彩色动态全息三维显示系。

其中，图6里的激光束1为蓝光、激光束2为红光、激光束3为绿光。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种新型真实场景三维彩色数据的采集显示方法，如图1所示，利用高速离焦投影仪将条纹投影到被测物体表面，并对高速离焦投影仪投影图案进行离焦，其离焦投影图案为二值图案，高速彩色摄像机用于接收高速离焦投影仪的同步信号同时采集经过物体表面形貌调制后的变形条纹图像，并将采集到的数据传输给用于数据采集处理的电脑。电脑将摄像机拍摄到的图像进行处理，通过求解拍摄图像中条纹的相位，并对整个测量系统进行标定，得到摄像机上像素点与投影仪上像素点的对应关系，再通过解码算法，从而获得物体的颜色纹理和三维数据，并将这些颜色纹理和三维数据通过网络传输给显示仪器中的电脑，

其中电脑用于接收获得的物体的颜色纹理和三维数据并根据这些三维成像数据设计和制作计算菲涅耳全息图(Computer-Generated Hologram,CGH)，其中红、绿、蓝三色激光器分别产生红、绿、蓝三色激光并对其进行扩束、准直后照射到空间光调制器(LiquidCrystal Modulator L，LCM)上。经调制后的光经合色棱镜合色后投射到三维空间。LCM是一种像素离散化的光调制器件，它由用于显示的计算机控制，具体的原理如下，

罗奇光栅的强度可以表示为：

其中是光栅的周期，*号表示卷积运算，式的傅里叶级数展开为：

其中f0＝1/P为罗奇光栅的基频,离焦光学系统充当低通滤波器，高次谐波分量可以滤除，相比之下，而罗奇光栅的振幅比它大，这意味着条纹的对比度比聚焦正弦条纹的对比度要高。因此有可能实现更高的测量精度和更高的光利用率，这对高速三维测量非常重要，高次谐波分量的存在会引起相位测量误差。一种方法是使投影仪增大离焦程度，以滤除所有的高次谐波分量。基频分量的对比度随着离焦程度的增大而减小。再次，提出一种消除式(2)中的三次谐波分量(n＝3)的方法。与传统的离焦方法相比，提高了条纹的测量深度和对比度。将含有三次谐波分量的条纹图投影到物体上时，捕获图像的强度为：

I_a(x，y)为背景照明,a(x，y)和b(x，y)是相对于单独第一和第三谐波分量的振幅,高度分布h(x，y)的调制相位为和/>π相移算法并不适合这个条件,因为第三次谐波分量的影响不能被消除。当罗奇光栅向左/向右移动三分之一周期时，离焦条纹图的强度为：

由式(3)减去式(4)得：

由式(5)可知，消除了三次谐波分量和背景光照。然后，获得的相位分布的算法类似FTP相移法。对式(5)依次进行傅里叶变换、滤波和逆傅里叶变换，得到：

从而可得条纹图的截断相位为：

其中arg[·]表示获取复数自变量的操作。

编码模式的编码策略:

为了得到空间孤立物体的绝对相位分布，提出了一种识别正弦条纹级数的编码模式。图4显示了一个示例，图案由许多垂直的条带组成。条带的宽度等于正弦条纹的周期。

用三个灰度级(0表示黑色，1表示灰色，2表示白色)对每个条带进行编码。对于填充了两个灰度级的条带，它们在垂直方向上周期性地填充。例如，垂直方向上条带的灰度为“020202…”。因此总共有六种条带，它们是三种具有一个灰度级和三种具有两个灰度级的条带，这些条带按照伪随机序列排列，形成编码后的图案如图4所示。伪随机序列具有以下属性，(1)具有给定长度(窗口大小)的子序列在整个序列中只出现一次。(2)每个子序列中都没有重复的符号。例如，任何长度为4个字符的子序列在字符序列“ABDECFADBEFDBECDABFECB DEFBDCEABCDAECFBDE”中只出现一次，并且没有重复这些子序列中的字符。根据排列理论，从K个元素中选择M个元素所产生的置换L的个数可以表示为：

所以伪随机序列的的长度是L+M-1。

条纹顺序k由子序列在整个序列中的位置来确定。图5说明了条纹强度I、包裹相位条纹顺序k和绝对相位/>的关系。图k′为符号在子序列中的全局位置。例如，上面伪随机序列中子序列“DECF”的位置为2。“D”的全局位置是2，“E”的全局位置是3，“F”的全局位置是5。在图5中还发现，相位被截断在条缝里。所以,跳跃点(相位从π跳跃到-π的点)左边的条纹顺序为k′。跳跃点右侧的面积等于k′+1。这种编码方法的优点是即使狭缝有边缘漂移，条纹的排列顺序也不会产生误差。在离焦光学系统中，特别是在动态目标测量中，边缘漂移是一种自然现象。当确定边缘点K,条纹的绝对相位φ(x,y)可以表示为:

其中是截断相位。

在编码模式中有三个灰度级。由于的方法只使用了两个灰度级，所以应该将其转换为二值图像。采用一个2x2的像素单元中，每个像素点用黑或白其中的一种颜色表示，可将该像素单元表示为黑、白和介于黑白之间的三种颜色，若4个像素点都是白色或黑色，则该单元显示为白色或黑色，若两白和两黑交叉排列，则该单元显示为介于黑白中间的灰度级，在离焦后，该灰度级可认为是黑色，从而将将多层图像转换为二值图像。在离焦光学系统中，大部分高频噪声都被滤除。即使用两个灰度级来表示，也能得到高质量的多层图像。

解码算法如下。

在捕获的图像中，物体反射率可表示为环境光照和投影仪光照之和。在恢复符号之前，应该对其进行预处理以消除这种影响。捕获编码模式的强度可以表示为:

I₃(x，y)＝I_a(x，y)+I_p(x，y) (10)

其中，I_p(x，y)与编码模式的强度有关。由式(3)(6)(7)(10)可得归一化强度，并消除了环境光照和物体反射率

与编码图案的强度和三次谐波分量有关。然后用0、1、2三个灰度级对其进行量化，由于编码模式的容差较大，三次谐波分量不会影响量化结果。也可以得到物体的二维纹理。由式(3)和式(6)可得

然后，对式(12)执行带阻滤波器。滤除三次谐波分量，得到物体的纹理。

改进后的离焦投影仪它可以投射高达每秒360帧的图像，分辨率为1024 ×768像素。投影仪还可以根据新图像投影的时刻提供脉冲信号。选用功率为10瓦的白光LED作为光源。采用与投影仪同步的高速彩色摄像机(RM6740GE型)拍摄变形图像。采用的伪随机序列是“ABDECFACDCEFBEADFEBCAEDAFDBFCBADEFCABEDCFBA”,它的窗口大小是三个符号。

三维重建过程如下。

采用改进的移相FTP计算包裹相位。

检测相位差大于π的曲线。

以捕获的编码模式对对应曲线的强度进行归一化和量化。

恢复跳变曲线的符号，通过子序列匹配得到条纹的顺序。

重建物体的三维坐标。

将获得的三维纹理用于制作CGH，将物体看成是一序列发光点的集合，则每一点所发的光在CGH上的分布为:

式中为物点到全息面上点 (x,y)的距离，λ为波长，/>是振幅，θ_i为初相位，通常取随机值，以平行光作为参考光时，采用双极强度法计算CGH,则其灰度分布可表示为：

式中A为直流偏置，使强度非负，ψ(x，y)为参考光相位，M为场景中的总物点数，要实现彩色显示，只要将纹理分解为红、绿、蓝三原色图像，根据再现时用的红、绿、蓝三色激光器的波长分别计算三张CGH就可以了。

图6为彩色动态全息显示系统示意图。红(图6中的激光2)、绿(图 6中的激光3)、蓝(图6中的激光1)三色激光器分别产生红、绿、蓝三色激光并对其进行扩束、准直后照射到空间光调制器(Liquid Crystal Modulator L，LCM)上。经调制后的光经合色棱镜合色后投射到三维空间。 LCM由计算机控制。LCM是一种像素离散化的光调制器件，它由计算机控制。在CGH显示中LCM本身的结构参量对全息图的计算与再现有着重要的影响。LCM的像素间隔决定了全息图的参物夹角与物体的大小。由采样定理可知，LCM的像素间隔du决定了计算全息图时的最大参物夹角为:

在已经满足再现像分离的条件时，式(15)对制作CGH时所选取物体的大小作了限制。同时LCM本身具有光栅结构特性，全息图再现像被调制到光栅的各个衍射级次上,其像素间隔(相当于光栅周期)直接影响着再现时所能有效使用的再现区域大小。如图6，LCM的像素间隔为du，则再现像在x方向可能具有的线度范围为：

因此在CGH计算时应根据式(15)和(16)综合考虑物体的大小与参物夹角。LCM的尺寸决定了全息图再现像的分辨率.设LCM尺寸为，则全息图再现像的分辨率为:

由于使用激光再现，实际中分辨率还受激光散斑的影响，再现像分辨率低于式(17)计算结果。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种新型真实场景三维彩色数据的采集显示方法，其特征在于，包括如下步骤：

由高速离焦投影仪向被测物体投影条纹；具体包括：用高速离焦投影仪将条纹投影到被测物体表面，并对高速离焦投影仪投影图案进行离焦，其离焦投影图案为二值图案；

彩色摄像机对变形条纹进行捕捉，并对条纹进行编码；具体包括：彩色摄像机接收高速离焦投影仪的同步信号同时采集经过物体表面形貌调制后的变形条纹图像得到条纹，并对条纹进行编码；

经由计算获取编码数据，经空间光调制器调制后，由计算机解码获取进行三维重建，获得物体的全息图；具体包括：将彩色摄像机拍摄到的图像进行处理，通过求解拍摄图像中条纹的相位，并对整个测量系统进行标定，得到彩色摄像机上像素点与高速离焦投影仪上像素点的对应关系，再通过解码算法，从而获得物体的颜色纹理和三维成像数据，并将这些颜色纹理和三维成像数据通过网络传输给显示仪器中的电脑，该电脑用于接收获得的物体的颜色纹理和三维成像数据并根据这些三维成像数据设计和制作计算菲涅耳全息图，所述制作计算菲涅耳全息图的方法包括：将高速离焦投影仪中红、绿、蓝三色激光器分别产生红、绿、蓝三色激光并对其进行扩束、准直后照射到空间光调制器上，经调制后的光经合色棱镜合色后投射到三维空间；

所述光调制器件由用于显示的计算机控制，其调制方法包括：

将罗奇光栅的强度可以表示为：

其中P是光栅的周期，*号表示卷积运算，式(1)的傅里叶级数展开为：

其中为f0＝1/p为罗奇光栅的基频,离焦光学系统充当低通滤波器，滤除高次谐波分量；

消除式(2)中的三次谐波分量(n＝3)的方法，将含有三次谐波分量的条纹图投影到物体上时，捕获图像的强度为：

其中，Ia(x，y)为背景照明,a(x，y)和b(x，y)是相对于单独第一和第三谐波分量的振幅,高度分布h(x，y)的调制相位为和/>离焦条纹图的强度为：

由式(3)减去式(4)得：

由式(5)可知，消除了三次谐波分量和背景光照，然后，获得的相位分布的算法类似FTP相移法，对式(5)依次进行傅里叶变换、滤波和逆傅里叶变换，得到：

从而可得条纹图的截断相位为：

其中arg[·]表示获取复数自变量的操作；

所述高速离焦投影仪与电脑相连，用电脑控制投影仪的光带宽差模延迟,从而向物体投射相应的二值条纹，摄像机配合投影仪进行快速拍照。

2.根据权利要求1所述的新型真实场景三维彩色数据的采集显示方法，其特征在于，所述的变形条纹的编码方法为，用三个灰度级，0表示黑色，1表示灰色，2表示白色，对每个条带进行编码，对于填充了两个灰度级的条带在垂直方向上周期性地填充，条码按照伪随机序列排列。

3.根据权利要求2所述的新型真实场景三维彩色数据的采集显示方法，其特征在于，所述的伪随机序列的属性包括：

具有给定长度的子序列在整个序列中只出现一次；

每个子序列中都没有重复的符号。

4.根据权利要求1所述的新型真实场景三维彩色数据的采集显示方法，其特征在于，所述的编码过程采用2×2的像素单元，每个像素点用黑或白其中的一种颜色表示，可将该像素单元表示为黑、白和介于黑白之间的三种颜色，若4个像素点都是白色或黑色，则该单元显示为白色或黑色，若两白和两黑交叉排列，则该单元显示为介于黑白中间的灰度级。

5.根据权利要求1所述的新型真实场景三维彩色数据的采集显示方法，其特征在于，解码方法为，通过求解拍摄图像中条纹的相位，并对整个测量系统进行标定，得到摄像机上像素点与投影仪上像素点的对应关系，再通过解码算法，从而获得物体的颜色纹理和三维成像数据。

6.根据权利要求1所述的新型真实场景三维彩色数据的采集显示方法，其特征在于，所述的三维重建过程包括：

采用移向FTP计算解码图像数据的包裹相位；

检测相位差大于π的曲线；

以捕获的编码模式对对应曲线的强度进行归一化和量化；

恢复跳变曲线的符号，通过条纹子序列匹配到条纹的顺序，重建物体的三维坐标。

7.根据权利要求6所述的新型真实场景三维彩色数据的采集显示方法，其特征在于，对于捕获得到的三维纹理，采用双极强度法计CGH，将纹理分解为红、绿、蓝三原色图像，根据再现时用的红、绿、蓝三色激光器的波长分别计算三张CGH。

8.根据权利要求1所述的新型真实场景三维彩色数据的采集显示方法，其特征在于，所述的全息图像的投射利用红、绿、蓝三色激光器分别产生红绿蓝三色激光并进行扩束、准直后照射到空间光调制器上，经调制后的光经合色冷静合色后投射到三维空间显示。