CN104981842B - 用于表面几何成像的方法、介质和计算机装置 - Google Patents

Abstract

使用成像系统生成成像区域中物体的表面几何信息的方法，该成像系统包括相机和结构光源，该结构光源包括多个光线的源。该方法包括获得包括多个像素的第一图像数据以及获得包括多个像素的第二图像数据，该第一图像数据包括对物体和在物体上入射的第一结构光进行表示的图像数据，该第一结构光包括周期性图案，该图案包括多个图案要素并且具有从所述结构光源投影的第一空间频率；第二图像数据包括对物体进行表示并提供将第二图像数据的多个图像像素中的每个图像像素与所述结构光源的光线相关联的信息的图像数据。基于第二图像数据对第一图像数据进行处理以确定第一图像数据的多个图像像素中的每个图像像素与从所述结构光源投影的第一结构光的所述图案的图案要素之间的关系，并且基于所确定的关系和指示所述相机和所述结构光源的相对空间位置的位置数据来生成物体的表面几何信息。

Description

用于表面几何成像的方法、介质和计算机装置

技术领域

根据本发明，提供了生成物体的表面几何信息的方法。

背景技术

在多种不同的应用中需要对物体表面几何的了解。例如，对表面几何的了解可以用于例如使用三维打印机来创建物体的副本。此外，诸如生物发光断层摄影术(BLT)和扩散光学断层摄影术(DOT)之类的光学成像疗法使用可见光来确定活组织的特性，其允许分别对结构和功能特征(如组织成分和血氧)的成像，并且这样的光学成像疗法需要对临床对象的表面几何的了解，以便对光与临床对象之间的交互进行建模。

可以使用辅助医学成像疗法(例如计算断层摄影术(CT)或磁共振成像(MRI))来确定临床对象的表面几何，然而这样的辅助医学成像疗法需要昂贵的设备，并且由于成本的原因，使用这种疗法通常是受到限制的。

已经提出了各种其它表面几何捕捉方法。例如，扫描光检测和测距(LIDAR)系统测量光从被测量物体传播到检测器所花费的时间并且将所花费的时间转换为距离。然而，这样的系统需要移动部件以使光源能够扫描物体，并且由于难以正确测量光在短距离上飞行的时间，当测量位于相对短距离上的物体时，通常具有较差的精度。

诸如摄影术之类的其它技术需要从不同视点捕捉的多个图像，使得可以基于图像和对捕捉每个图像所使用的视点的了解来执行三角测量。这样的方法受限于对成像设备的移动的要求或者对多个成像设备的使用。

条纹投影轮廓测定法使用标准设备(具体是相机和结构光源，结构光可以被投影到物体上)来生成物体的表面几何。当结构光源从不同的位置成像时，结构光在物体的表面呈现变形。可以对结构光的变形进行分析以提取空间坐标。这样，条纹投影轮廓测定法提供了可以在没有专用设备的情况下廉价执行的成像技术。

这种方法通常使用傅立叶滤波和基于相量(phasor)的技术从通过使用物体上入射的结构光而获得的图像数据中提取相位信息。由于投影在物体上的结构光的周期性性质，这样的技术不能够唯一地提取相位信息，并且相位信息必须是“解卷绕(unwrapped)”的，以去除其中错误分配相位值的相位卷绕(phase wrapping)事件。

经常可以通过识别在相邻的像素中像素值由接近π变为接近-π或者相反的情况来确定相位卷绕事件。一旦识别出这样的相位卷绕事件，可以选择基准像素，针对该基准像素，假设没有出现相位卷绕并且可以将偏移添加到像素值以校正由相位卷绕导致的丢失的2π的倍数。该校正使用解卷绕的像素值以迭代方式对相邻像素值的相位进行解卷绕。然而，由于难以将相位卷绕事件与合理的相位巨大变化相区分，这样的方法是有问题的，由于仪器测量噪声的存在，这变得更加复杂。此外，物体的特性可以导致不能与相位卷绕事件相区分的相邻值之间的相位变化。由于解卷绕处理的迭代性质，出现的任何误差可能在图像中传播，导致输出数据中的进一步误差。

此外，因为与使用条纹投影轮廓测定法所生成的处理数据相关联的问题，成像设备布置通常受到限制。这样的成像设备布置限制提供了与可以获得的图像数据相关的各种限制。

因此，需要确定用于使用标准设备(例如，在条纹投影轮廓测定法中使用的标准设备)来生成表面几何数据的增强成像方法。

发明内容

根据本发明第一方面，提供了使用成像系统来生成成像区域中物体的表面几何信息的方法，该成像系统包括相机和包括多个光线源在内结构光源。该方法包括：获得包括多个像素的第一图像数据，该第一图像数据包括对物体和物体上入射的第一结构光进行表示的图像数据，该第一结构光包括周期性图案，该周期性图案包括多个图案要素并且具有从所述结构光源投影的第一空间频率；获得包括多个像素的第二图像数据，第二图像数据包括对物体进行表示并提供将第二图像数据的多个像素中的每个像素与所述结构光源的光线相关联的信息的图像数据；基于第二图像数据对第一图像数据进行处理以确定第一图像数据的多个像素中的每个像素与从所述结构光源投影的第一结构光的图案要素之间的关系；以及基于所确定的关系和位置数据来生成所述物体的表面几何信息，该位置数据指示所述相机和所述结构光源的相对空间位置。

如上所述获得的表示物体和在物体上入射的第一结构光的第一图像数据包含当确定物体形状时有用的信息，然而该信息中的一些包含不定性。通过基于第二图像数据来处理第一图像数据(该第二图像数据提供将图像像素与由结构光源生成的在物体上入射的光线相关联的信息)，可以用提供准确信息的方式来化解信息中的不定性。本发明人已经意识到：与现有技术中的成像系统不同，通过以这种方式对基于成像系统组件的相对空间位置进行指示的位置数据来处理第一图像数据而生成的数据进行处理，允许在不要求组件位置限制的情况下生成物体的表面几何信息。该方法允许在完全灵活的系统组件布置中使用容易以相对低成本获得的普通产品(commodity product)来生成高质量三维表面信息。

成像系统还包括位于成像区域中的至少一个反射表面，其中每个图像数据还包括表示从所述至少一个反射表面反射的物体的图像数据。该反射表面可以大体上是平面反射表面。

与现有技术方法不同，本发明允许系统组件的任意布置。例如，生成表面几何的一些现有技术方法需要组件以交叉轴配置来布置，在该交叉轴配置中，相机和投影仪光瞳(pupil)位于与平台相平行的平面中，在该平台上放置将要成像的物体。在这样的现有技术方法中，对反射表面的包括是有问题的，因为反射的图像数据和虚拟相机位置并不满足交叉轴配置，并且使得为了能够处理图像数据所需要的假设无效。

具体地，本发明人已经意识到：由于通过以下两种方式的结合而允许的系统组件布置灵活性的提高，反射表面可以位于成像区域中以使得所述物体的视野增加或最大化，其中，在第一种方式中，生成第一图像数据的图像像素与结构光图案的图案要素之间的关系，并且在第二种方式中，对该关系进行处理以生成表面几何信息。在此之前，现有技术没有提供允许对从成像区域中的反射表面反射的图像数据进行有效建模的必要的系统灵活性。

生成所述物体的表面几何信息可以包括将对从所述至少一个反射表面反射的物体进行表示的图像数据与对直接成像的物体进行表示的图像数据加以组合。该组合可以包括：生成指示虚拟相机位置的位置数据，该虚拟相机位置与所述至少一个反射表面中的每一个相关联；以及基于指示虚拟相机位置的位置数据与指示所述相机和所述结构光源的相对空间位置的位置数据将图像数据加以组合。该方法还可以包括生成位置数据。

基于所确定的关系以及指示相机与结构光源的相对空间位置的位置数据来生成物体的表面几何信息一般是基于通用系统几何模型。在通用几何方法中，基于几何模型来生成表面几何信息，在该几何模型中，对系统组件的相对位置进行建模，并且模型与解卷绕的相位在生成表面几何信息时使用。具体地，通用几何模型可以将投影图案建模为空间中从与投影仪相关联的光瞳投影的连续场，并且可以将相机建模为光瞳，且从相机光瞳射出的光线导致成像的像素。

包括多个图案要素的第一图案可以是正弦曲线图案。第一图像数据可以包括对物体和在多个偏移或相位处入射到物体上的第一结构光进行表示的图像数据。例如，可以通过将物体的多个图像组合来生成第一图像数据，在该多个图像中，第一结构光在相应偏移处入射到物体上。

可以基于第三图像数据来生成第二图像数据，该第三图像数据包括表示物体和在物体上入射的第二结构光的图像数据。

第二结构光可以包括图案，该图案包括第二多个图案要素并且具有从所述结构光源投影的第二空间频率，并且第一空间频率可以大于第二空间频率。也就是说，包括表示物体并且提供将每个图像像素与结构光源的像素相关联的信息的图像数据在内的第二图像可以通过以类似于第一图像数据的方式使用在物体上入射的结构光对物体进行成像来获得，然而，该成像是在较低空间频率上的成像，使得在第三图像数据中的图案重复的数量低于在第一图像中的图案重复数量。

例如，可以选择第二空间周期使得图案在成像区域中小于或等于一个周期。因此，第二图像数据可以提供以下图像数据：其中，结构光源的光线与图像数据像素之间的关系的不定性很少存在或不存在。尽管这样的图像数据提供低质量图像数据，但是本发明人已经意识到：这样的图像数据可以用于化解图像数据中的不定性，该不定性是使用具有提供更高质量图像数据的更高周期的周期性图案来生成的。

可以通过将在多个偏移中的每个偏移(例如相位偏移)处获得的图像数据加以组合来得到第一和/或第二图像数据。

该图案可以是例如周期性图案(例如正弦曲线图案)，并且该不定性可以由图像数据中的相位卷绕导致，该相位卷绕导致图像数据中的像素的相位被模2π卷绕，使得该像素的相位位于区间(-π，+π)中。第一图案和第二图案可以是具有不同频率的相同图案，或者备选地可以是不同图案。

第二图像数据可以是第三图像数据的周期数据，该周期数据是基于第三图像数据和其它图像数据来生成的，该其它图像数据包括表示物体和在多个偏移处入射到物体上的其它结构光，其它结构光包括具有从所述结构光源投影的其它空间周期的图案，并且第二空间周期可以大于其它空间周期。

第二图像数据可以是通过基于其它图像数据来化解图像数据中的不定性而生成的图像数据，该其它图像数据是使用具有低于第二空间频率的其它空间频率的图案来获得的。也就是说，用于处理第一图像数据的第二图像数据本身可以是通过以对应的方式处理其它图像数据来生成的。

其它图像数据也可以用对应的方式生成，使得该方法提供对图像数据的迭代处理，其中，使用处在最低空间频率的图案来获得的图像数据(例如空间频率小于或等于1)用于化解基于次低的空间频率所获得的图像数据中的不定性，然后基于次低的空间频率所获得的图像数据用于化解基于再次低的空间频率所获得的图像数据中的不定性，直到对基于预定的最高空间频率所获得的图像数据进行处理以化解该图像数据中的不定性。

基于第二图像数据来处理第一图像数据以确定第一图像数据的每个图像像素与从所述结构光源投影的第一结构光之间的关系可以基于第一空间频率和与第二图像数据相关联的空间频率。

例如，图像数据的每个图像像素与从所述结构光源投影的结构光之间的关系可以基于从结构光源投影的正弦曲线图案的相位，并且针对正弦曲线图案的第一空间周期f_n＝y和第二空间周期f_n+1＝z，基于关系ψ(x，f_n+1)＝(z/y)ψ(x，f_n)，第二图像数据中的值ψ(x，f_n+1)可以基于第一图像数据ψ(x，f_n)中的值来确定。

如上所述，该图案或每个图案可以包括至少一个正弦曲线图案。频率可以是正弦曲线图案的空间频率，并且偏移可以是正弦曲线图案的相位。

第一图像数据可以包括如上所述的相位卷绕的图像数据。具体地，第一图像数据的像素值可以包括模2π的在物体上入射的正弦曲线图案的相位值，使得正弦曲线图案的相位的实际值是未知的。相位卷绕的图像数据可以通过组合多个图像数据来生成，每个图像数据包括表示物体和在多个偏移中的一个相应偏移处入射到物体上的第一结构光的图像数据。

第二图像数据可以包括相位解卷绕的图像数据，并且基于第二图像数据来处理第一图像数据可以包括基于相位解卷绕图像数据对第一图像数据的相位进行解卷绕。一般地，相位解卷绕图像数据是对第一图像数据的相位结构进行编码的图像数据，即，足以用于对第一图像数据的相位进行解卷绕的并且一般提供第一图像的像素与从光源投影到图像区域上的图案的像素之间的对应关系的信息。

可以基于物体和在物体上入射的结构光所获得的图像数据来生成相位解卷绕的图像数据，在物体上入射的光是具有空间频率的正弦曲线图案，该空间频率使得该正弦曲线图案在成像区域中重复小于或等于一次。备选地，可以基于图像数据来迭代生成相位解卷绕的图像数据，该图像数据是基于在物体上入射的结构光获得的，该结构光是由具有越来越高的空间频率的正弦曲线图案的投影导致的。

备选地，用于生成第二图像数据的图案可以是提供对图像要素的二进制编码的图案。例如，图案可以是基于包括黑色和白色条纹(即其中不投影光的条纹和其中投影亮光的条纹)在内的二值图案。第二图像数据可以是例如通过将多个二值图案投影到成像区域中生成的，当组合基于多个二值图案生成的图像数据时，成像区域提供对成像区域的二进制编码，该二进制编码允许条纹(例如成像区域的垂直条纹)与结构光源的多个光线唯一地相关联。二进制编码可以例如基于逆Gray编码，其中相邻条纹具有除了一个以外其他所有编码值不同的二进制编码。

可以通过在第一多个偏移处将第一结构光投影到物体上来生成第一图像数据，该第一多个偏移大于与第二图像数据相关联的多个偏移。具体地，用于生成物体表面几何信息的图像数据可以基于比方法中使用的其它图像数据更大数目的图案偏移来生成，以提供最终图像数据的更高频率。

因此，本发明第一方面可以提供使用成像系统来生成成像区域中物体的表面几何信息的方法，该成像系统包括相机和结构光源，该结构光源包括多个光线源，该方法包括：获得第一图像数据，该第一图像数据包括对物体和在物体上多个偏移处入射的第一结构光进行表示的图像数据，该第一结构光包括正弦曲线图案，该正弦曲线图案具有从所述结构光源投影的第一空间频率；获得包括多个像素的第二图像数据，第二图像数据包括对物体进行表示的并提供将第二图像数据的多个图像像素中的每个像素与所述结构光源的光线相关联的信息的图像数据；基于第二图像数据对第一图像数据进行处理以对第一图像数据中的卷绕的相位进行解卷绕；以及基于相位解卷绕的图像数据和指示所述相机和所述结构光源的相对空间位置的位置数据来生成所述物体的表面几何信息。

所述结构光源可以包括多个结构光源，所述多个结构光源中的每一个结构光源被布置为将结构光投影到所述物体的与所述多个结构光源中的其它光源将结构光所投影到的不同的至少一部分上。

结构光中的第一结构光可以包括具有第一颜色的光，并且所述结构光中的第二结构光可以包括具有第二颜色的光。通过这种方式，通过基于颜色对捕捉到的图像数据进行滤波，可以同时捕捉多个图像数据。例如，第一和第二图像数据可以同时获得。

所述结构光源可以从包含以下各项在内的组中选择：激光器、与条纹光栅组合的激光器、和投影仪。

结构光的多个图案要素可以对应于图像的多个成像区域中相应的一个，该图像通过从结构光源投影光来生成的。例如，图案要素可以对应于投影仪的像素，或者可以对应于成像区域，当对结构光成像时，该成像区域表现为图像中的像素。

本发明的其它方面提供了用于在成像区域中生成物体的表面几何信息的系统，包括：结构光源，被布置为将包括周期性图案的第一结构光投影到所述物体上，该周期性图案包括具有第一空间频率的多个图案要素；以及相机，被布置为获得第一图像数据，该第一图像数据表示所述物体和在所述多个偏移处入射到所述物体上的所述第一结构光，并且获得表示所述物体和在所述物体上入射的所述第二结构光的第二图像数据；以及处理器，被布置为接收第二图像数据，该第二图像数据包括表示物体并且提供将每个图像像素与结构光源的光线相关联的信息的图像数据，基于第二图像数据来处理第一图像数据以确定第一图像数据的每个图像像素与从结构光源投影的第一结构光的图案要素之间的关系，并且基于所确定的关系和指示所述相机与所述结构光源的相对空间位置的位置数据来生成所述物体的表面几何信息。

该系统允许将容易以相对低成本所获得的普通产品用来生成高质量三维表面信息。

相机可以包括处理器，或者处理器可以提供为被布置为接收相机获得的图像数据的单独计算设备的一部分。

成像系统还可以包括位于成像区域中的至少一个反射表面，其中所述图像数据中的每一个还包括表示从至少一个反射表面反射的所述物体的图像数据。

该至少一个反射表面可以位于成像区域中，以使所述物体的视野最大化。

生成所述物体的表面几何信息可以包括将表示从所述至少一个反射表面反射的物体的图像数据与表示直接成像的物体的图像数据加以组合。该组合包括：生成指示与所述至少一个反射表面中的每一个相关联的虚拟相机位置的位置数据；以及基于指示虚拟相机位置的位置数据以及基于指示所述相机和所述结构光源的相对空间位置的位置数据来组合图像数据。

处理器可以被布置为使用所述成像系统来生成指示虚拟相机位置的所述位置数据。

结构光源可以包括多个结构光源，多个结构光源中的每一个被布置为将结构光投影到物体的与所述多个结构光源中的其它光源将结构光所投影到的不同的至少一部分上。

结构光源可以被布置为投影包括具有第一颜色的光在内的第一结构光和包括具有第二颜色的光在内的第二结构光。

结构光源可以从包含以下各项在内的组中选择：激光器、与条纹光栅组合的激光器、和投影仪。投影仪可以是例如激光投影仪。

附图说明

现在将参照附图通过示例对本发明的实施例进行描述，在附图中：

图1是根据本发明的用于对物体成像的成像系统的示意说明图；

图1A是图1的成像系统的计算机的示意说明图；

图2是示出了使用图1的成像系统来生成物体的表面几何信息的处理的流程图；

图3A是位于根据本发明的包括两个镜子在内的成像系统中的物体的示例；

图3B是具有投影在其上的正弦曲线图案的图3A的物体的示例；

图4A至图4C是处于三个不同频率上的卷绕相位数据的表示；

图5是在相位解卷绕处理之后的图4B的图像数据的表示。

图6是图1的系统一部分的示意说明图；

图7A到7C是适于对相位数据进行编码以允许对相位卷绕数据进行解卷绕的示例二值图案(binary pattern)；

图8是使用图2的处理所生成的图5表示的物体的表面几何的点云表示；以及

图9是图5中表示的物体的表面几何的网格表示。

具体实施方式

参照图1，示出了根据本发明的用于对物体1进行成像的成像系统。该成像系统包括相机2和一个或多个结构光源3、4，该结构光源3、4可以是例如投影仪以及与条纹光栅组合的激光器。相机2和结构光源3、4在三维空间中的相对位置要么是已知的，要么是可以确定的，例如使用几何方法来进行位置确定，该位置确定通常基于已知物体(例如刚性网格)的从不同方向的成像以及针对可能的物体配置和相机参数对最优化问题求解。适合的校准方法的示例在以下文献中描述：Geng，J.Structured-light 3D surface imaging：atutorial，Advances in Optics and Photonics，Vol.3，Issue 2，p.148。

结构光源3、4被布置为将结构光投影到物体1上，并且相机2被布置为捕捉物体1的图像数据连同在物体1上入射的投影结构光的图像数据。例如，结构光源3、4均可以将正弦曲线图案投影到物体1上，其中每个投影仪投影的正弦曲线图案具有如下文中详细描述的不同的频率或相位。还提供了一个或多个镜子5、6。通过向相机2反射光，一个或多个镜子5、6提供了额外的相机视野。该成像系统还包括计算机7，该计算机7被布置为如下文中详细描述的处理由相机2捕捉到的图像数据。

图1A进一步详细示出了图1的计算机7。可以看出：计算机包括CPU7a，CPU 7a被配置为读取并执行存储在易失性存储器7b中的指令，该易失性存储器7b采用随机存取存储器的形式。易失性存储器7b存储供CPU7a执行的指令以及供这些指令使用的数据。例如，在使用中，相机2生成的图像数据可被存储在易失性存储器7b中。

计算机7还包括具有硬盘驱动7c形式的非易失性存储设备。相机2生成的图像数据可被存储在硬盘驱动7c上。计算机7还包括I/O接口7d，该I/O接口7d与连同计算机7一起使用的外围设备相连。更具体地，配置了显示器7e以便显示来自计算机7的输出。显示器7e可以例如显示图像数据的表示。此外，例如如图4A到图4C所示，显示器7e可以显示通过对图像数据的处理而生成的图像。输入设备也连接到I/O接口7d。这样的输入设备包括允许用户与计算机7交互的键盘7f和鼠标7g。备选地或附加地，显示器7e可以是可用作输入设备以及显示设备的触摸屏。网络接口7h允许计算机7连接到适当的计算机网络，以便从其它计算设备接收数据并向其它计算设备发送数据。通过总线7i将CPU7a、易失性存储器7b、硬盘驱动7c、I/O接口7d和网络接口7h连接在一起。

参照图2示出了生成物体的表面几何信息的处理。在步骤S1处，获得低频图像数据。低频图像数据包括表示物体和在物体上入射的结构光的图像数据，该结构光是从结构光源3、4中的至少一个结构光源以空间频率f₁≤1/d并且在N≥3个相位偏移处向物体上投影正弦曲线图案p_n1导致的，其中d是所关注的平面中与其中投影正弦曲线图案的将要成像的区域相对应的投影场的大小，是零偏移，并且一般地

通过选择投影频率f_R＝1/P可以确保空间频率f₁≤1/d，其中P是在正弦曲线图案的相位增加方向上对于投影仪可用的像素的数量。正弦曲线图案的相位增加方向被定义为以下方向：在该方向上，与在投影仪前方放置的并且与投影仪轴正交的屏幕上投影并看到的图案相关联的相位值增加，以及在该方向上，在与相位增加的方向正交的方向上的相位值恒定。具体地，如下所述，基于相位值的余弦来生成正弦曲线图案，使得图案在图案的第一轴的方向上重复，同时在图案的第二正交轴的方向上保持恒定。在像素处的相位因此是沿着第一轴的坐标的线性函数，并且正弦曲线图案的相位增加的方向是第一轴的方向。

在步骤S2处，获得其它频率图像数据。其它频率图像数据包括对物体和在物体上入射的结构光进行表示的图像数据，该结构光由具有频率f_m＞f_m-1和N_m≥3个相位偏移的正弦曲线图案p_nm的投影导致，其中(f_m/f_m-1)*e＜π，e是系统的测量误差。

例如，每个低频图像数据和其它频率图像数据可以包括由相机2捕捉的N_m个图像，在每个图像被捕捉期间，具有相应频率和相位n的正弦曲线图案被投影到物体上。图3A中示出了位于本发明成像系统中的物体示例，并且图3B中示出了具有投影在其上的相对高频的正弦曲线图案的同一物体。备选地，可以生成表示物体的单个图像，其中，例如通过使用频谱可辨析相机和投影仪将结构光在多于一个频率上同时投影到物体上，使得可以从单个图像中提取出以不同频率同时投影到物体上的结构光。

处在频率f上的每个正弦空间图案p_n具有如以下(1)示出的形式：

其中：

o是与投影仪的轴正交的平面上的点，其上投影图案的空间频率和方向v是已知的；并且

y是包含o的平面中的点。

成像图案g_n具有形式(2)：

其中：

ψ(x，f)＝2πf(y-o)·(v) (3)

在步骤S3处，针对每个频率f_m生成卷绕相位数据ψ(x，f)(模2π)。卷绕相位数据是基于对物体和在物体上入射的结构光进行表示的图像数据来生成的，该结构光是由根据以下(4)在每个相位n处对正弦曲线图案p_nm的投影导致的：

卷绕相位数据ψ(x，f)(模2π)一般包括由正弦曲线投影图案的周期性性质导致的2π相位不连续。具体地，在假设正弦曲线投影图案的周期性性质的情况下，一般不可能直接确定投影重复正弦曲线图案的点与成像区域中的点之间的关系，因为具有相位q的投影图案像素产生与在假设结构光的周期性性质的情况下具有相位q+m*2*π的像素严格相同的图像强度。然而，因为空间频率f₁的最大相位差是2π，卷绕相位数据ψ(x，f)并不包含任何相位不连续，使得在频率f₁上的图像数据在成像区域中提供每个点的相位。具体地，假设正弦波的小于或等于一次的重复被投影到成像的区域中，在低频图像数据中的每个像素具有相位值-π≤q≤+π。

图4A、图4B和图4C中针对不同的频率示出了表示卷绕相位数据的示例相位图。具体地，图4A示出了使用正弦曲线投影图案来生成的卷绕相位图，该正弦曲线投影图案具有1024个像素的波长，并且在成像区域中提供每个投影图案的0.78个波。图4B示出了使用正弦曲线投影图案来生成的卷绕相位图，该正弦曲线投影图案具有11.3个像素的波长，并且在成像区域中提供每个投影图案的70.7个波，以及图4C示出了使用正弦曲线投影图案来生成的卷绕相位图，该正弦曲线投影的图案具有45.3个像素的波长，并且在成像区域中提供每个投影图案的18个波。

在图4A、图4B和图4C中的每一幅图中，像素值位于范围(+π，-π)中，而不管投影图案的相位范围如何。这是因为位于范围(+π，-π)之外的相位值被相位卷绕，其导致相位变成如上所述的周期性的。具体地，当通过相位卷绕，在π和-π之间的投影图案的相位值保持不变的同时，在相位卷绕图像中相位值π+d(对于d＞2π)变为-π+d，并且在相位卷绕图像中相位值-π-d变为π-d。

在卷绕相位图中，相位卷绕的效果可被视为像素值的离散变化，因为原始投影图案中的相位扩展到像素范围(π，-π)之外，并且表现为在区域中相邻的黑色和白色像素，其在成像的物体中事实上是连续的。这可以从例如图4B中看出，该图4B示出了图像中的条纹，其中相邻的像素是表示像素值为-π的黑色以及表示像素值为π的白色。这样的卷绕事件还能够对于孤立像素出现，其表现为黑色区域中的孤立白色像素或白色区域中的孤立黑色像素。

如上所述，假设选择频率f₁使得f₁≤1/d，在频率f₁上生成的相位图并不包括任何相位卷绕事件。然而，不期望在频率f₁上重构表面几何，因为相对于相位值，相位误差在低频率上相对较大。具体地，不管图案频率如何，相位被测量为针对所有卷绕相位图具有大致相同的绝对误差e。然而，由于针对每个图案重复，相位按因数2π增加，解卷绕相位图的相位范围随着投影图案的频率的增加而增加。因此随着图案频率增加，误差e作为相位范围的一部分减小，使得与相位误差e相关联的高度误差也减小。

在假设如上所述的增加的相位范围的情况下，在频率f₁上的卷绕相位数据可以用作在先信息以对包括更小误差的更高频率的卷绕相位数据进行解卷绕。也就是说，在频率f₁上的卷绕相位数据可以用于从更高频率的卷绕相位数据中移除相位卷绕事件。具体地，在空间点x处的相位与空间频率线性相关，使得对于频率f₁＝l/d和f₂＝2/d，当缺少测量噪声时2ψ(x，f₁)＝ψ(x，f₂)，并且对于f_n＝y/d和f_n+1＝z/d一般地，(z/y)ψ(x，f_n)＝ψ(x，f_n+1)。在测量存在的情况下，噪声ψ(x，f₂)可以根据(5)来估计：

其中是ψ(x，f₂)的近似值。

然后，通过将任何相位值q＞+π卷绕成q＝q-2*π并将相位值q＜-π卷绕成q＝q+2*π使得针对所有相位值q，-π≤q≤π，可以在上模拟卷绕过程以生成(模2π)。可以将测量的卷绕相位图ψ(x，f₂)(模2π)与模拟数据相比较，以校正中的测量噪声。

因此，在步骤S4处，基于针对频率f₁的卷绕相位数据对针对频率f₂的卷绕相位数据进行解卷绕。在步骤S5和S6处，基于在前的相位数据以对应方式对剩余的解卷绕相位数据(如果存在的话)进行迭代解卷绕。该过程根据需要重复，直到相位位于区间(-π，π)中。具体地，对于频率f_m，(该频率f_m是尚未被解卷绕的频率最低的卷绕相位数据)，基于针对频率f_m-1的解卷绕相位数据对针对频率f_m的卷绕相位数据进行解卷绕。

通过对物体的图像数据进行处理(其中处在不同频率上的正弦图案按增加频率入射到物体上)，能够以空间无关方式产生包含相对小的误差的解卷绕的高频相位图。也就是说，本发明的解卷绕高频相位的生成避免了使用卷绕相位数据的空间分布来确定现有技术方法的相位卷绕的位置，并且因此避免了在通过现有技术方法对空间区域的相位卷绕事件的确定中的误差传递。

图5中示出了与图4B的卷绕相位数据相对应的解卷绕相位数据的表示。可以看出的是：图5的解卷绕相位数据并不包括对在解卷绕相位数据中化解多个相位不连续进行指示的图4B的卷绕相位数据的条纹。

在步骤S7处，使用通用几何模型来处理最高频率解卷绕相位数据，以生成针对该频率的物体的表面几何信息和指示相机与结构光源的相对位置的位置数据。

可以使用任何通用几何方法来生成表面几何信息。在通用几何方法中，表面几何信息是基于几何模型生成的，在该几何模型中，对系统组件的相对位置进行建模，并且在生成表面几何信息时使用该模型和解卷绕相位。具体地，通用几何模型将投影图案建模为空间中从与投影仪相关联的光瞳投影的连续场，并将相机建模为光瞳，且从相机光瞳发射的光线导致成像像素。

例如，针对具有相机光瞳的相机c和具有光瞳的投影仪p，在如图6中示出的两个维度中，如果投影仪将具有已知空间频率f的正弦曲线图案投影在以点o为中心的平面中，且v为最大增加相位方向，则投影图案可以如(1)所述(其中)。点y可以表达为(6)：

其中l是从光瞳p投影的光线，并且可以表达为下方的(7)。

与y相关联的相位ψ可以表达为：

使用等式(6)、(7)和(8)以及对点x位于由c和r定义的线上的了解，x可以表达为(9)：

其中α如(10)：

基于对点p、点c的位置以及与点相关联的相位ψ的了解，因此可以根据(9)和(10)来确定x的坐标。

空间坐标可以表示为点云或网格格式，以允许物体的可视化。图8中示出了示例点云，并且图9中是出了使用Meshlab生成的示例网格格式。

以上已经描述了由正弦图案的投影导致在物体上入射的结构光。该正弦图案可以是一维或二维的，并且可以包括一个或多个正弦波图案。此外，虽然在上文中示出的正弦曲线图案的相位是线性的，但是可以由非线性函数来定义正弦曲线图案的相位。该非线性相位可以减少混叠伪像，在混叠伪像中，结构光以相对锐角投影到成像区域上。

在备选实施例中，基于具有频率f_m的高频正弦曲线图案的、以上文描述的方式、通过使用在多个相位偏移处入射到物体上的正弦曲线图案对物体进行成像所生成的卷绕相位数据可以使用相位的编码来进行解卷绕，该编码的相位是基于将二值图案投影到物体上的物体图像来获得的，该二值图像足以提供将成像区域的每个图像像素与结构光源的图案的图案要素相关联的信息。图7A～图7C示出了二值图案的示例。

通过将多个二值图案(即其中投影图案的图像要素要么是黑色要么是白色的图像)投影到物体上并且在每个图案入射到物体上的同时对物体进行成像，二值图像可以用于对图像的相位进行编码。然后可以向所获得的图像中的对应像素值赋予值1或0，例如通过首先在将连续光投影到区域中以及当没有光投影到该区域中的同时对物体进行成像，以确定对应于1和0的像素值，并且将二进制值加以组合以提供二进制编码，在该二进制编码中每个像素具有相关联的二进制值，该二进制值提供像素与相位值m之间的关联，该相位值m与高频正弦曲线图案的多个波中的波相关联。

这样的二进制编码提供了对高频正弦曲线图案的相位信息的高效编码。例如，针对具有使得投影图案中出现256个波的频率的高频正弦曲线图案，可以使用8比特的编码，其中二进制编码中的每个图像像素具有相关联的8比特的值，该8比特的值是基于投影到将要成像的物体上的8个二值图案来生成的。投影到将要成像的物体上的二值图案是通过以下方式选择的：与每个图像像素相关联的二进制编码的8比特值提供了高频正弦曲线图案的每个波与成像区域的像素之间的关联。具体地，可以构建二值图像和其导致的二进制编码，以提供正弦曲线图案的每个波的值。

在一些实施例中，相机和投影仪散焦对于确定像素的二进制值来说是成问题的，因为成像的像素可以是模糊的，使得确定像素具有在成像区域的对应部分上入射的二值图案的黑色还是白色的区域是不能轻易确定的。可以通过使用激光投影系统作为在物体上入射的图案的源来减轻散焦，然而这样的激光投影系统通常是昂贵的。

附加地或备选地，通过使用逆向Gray编码(其中，对相位进行编码，使得相邻相位是由除一个编码值之外的所有其他编码值不同的值来编码的)，并且生成两个编码(这两个编码彼此偏移高频图案中的正弦波的一半长度)，可以减轻散焦。例如在8比特编码中，针对由二进制值00001001编码的相位m，相位m+1可以由二进制值11110111来编码。具体地，针对m的二进制编码在除了一个比特(最右边的比特)以外所有其他比特上与针对相位m+1的编码不同。通过当每个二值图案在零偏移处以及附加地在高频图案中正弦曲线的一半长度的偏移处入射到物体上的同时对物体成像，提供可以允许对散焦导致的误差进行校正的信息。具体地，使用高频图案中的正弦波长度一半的偏移导致落在一个图案中的图案条纹的边缘的像素落在偏移图案中的同一个图案条纹的中心，并且假设信息由偏移编码之间不同的值来提供，逆向Gray编码提供了可以用于基于偏移二值图案对已知落入两个相邻波之一中的值进行求解的最大量的测量。

如图1所示，可以在成像系统中设置镜子5、6以在图像数据捕捉期间向相机提供额外的视野。在生成表面几何信息时使用的虚拟相机的虚拟位置是真实相机关于镜子平面的镜像，并且该虚拟位置可以基于镜子的已知位置和真实相机的已知位置来确定。然后以与图像数据没有被反射(即直接由相机成像)的相同方式对根据镜子5、6中反射的光所生成的相位数据进行处理，就好像该相位数据是由虚拟相机捕捉到的，并且该相位数据可以与未被反射的图像数据组合。具体地，通过在与镜子相关联的平面中的真实相机的镜像相对应的点对虚拟相机位置进行建模，在上述通用几何模型中对虚拟相机位置建模。基于真实相机位置和虚拟相机位置生成的每个图像数据具有共同的坐标系，使得通过将根据来自反射的和直接成像的视角的两个图像数据所生成的三维坐标值组合为单一数据集，可以将图像数据加以直观方式加以组合。

本发明允许通过移除现有技术系统对使用交叉轴设备几何的要求来使用镜子。具体地，本发明的对相位数据的处理允许使用任意设备几何，这允许了设备布置中更多的灵活性，而此外还允许使用镜子，其中镜子被定位为在不需要虚拟相机位置(该虚拟相机位置是由对镜子的使用所要求的)满足交叉轴设备几何的情况下，有效地增加相机视野。此外，对镜子的使用提高了在具有不连续性的捕捉图像数据中对区域进行成像的可能性，并且现有技术的相位解卷绕技术一般不太能处理具有这样的不连续性的图像数据。

尽管上文已经描述了本发明的具体实施例，可以设想到的是：在不脱离本发明的精神和范围的情况下，可以对描述的实施例进行各种修改。也就是说，在所有的方面，所述实施例被视为是示例性的和非限制性的。具体地，在已经针对具体处理进行具体形式的描述的情况下，可以设想到的是：可以用被布置为提供合适输出数据的任何合适形式来执行这样的处理。

Claims (11)

1.一种使用成像系统来生成成像区域中物体的表面几何信息的方法，所述成像系统包括相机和结构光源，所述结构光源包括多个光线的源，所述方法包括：

获得包括多个像素的第一图像数据，所述第一图像数据包括对所述物体和在物体上入射的第一结构光进行表示的相位卷绕图像数据，所述第一结构光包括周期性图案，所述周期性图案包括多个正弦曲线图案要素并具有从所述结构光源投影的第一空间频率；

获得包括多个像素的第二图像数据，所述第二图像数据包括对所述物体进行表示的相位解卷绕图像数据，其中所述第二图像数据是使用第三图像数据和其它图像数据基于相位解卷绕来生成的，其中所述第三图像数据包括对所述物体和在所述物体上入射的第二结构光进行表示的图像数据，所述第二结构光包括周期性图案，所述周期性图案包括第二多个正弦曲线图案要素并具有从所述结构光源投影的第二空间频率，其中所述其它图像数据包括对所述物体和在所述物体上入射的其它结构光进行表示的图像数据，所述其它结构光包括周期性图案，所述周期性图案包括其它多个正弦曲线图案要素并具有从所述结构光源投影的其它空间频率；

基于所述第二图像数据对所述第一图像数据进行处理，以确定所述第一图像数据的多个图像像素中的每个图像像素与从所述结构光源投影的第一结构光的所述图案的图案要素之间的关系，其中所述处理包括基于所述相位解卷绕图像数据对所述第一图像数据的相位进行解卷绕；以及

基于所确定的关系与指示所述相机和所述结构光源的相对空间位置的位置数据来生成所述物体的表面几何信息；

其中所述第一结构光、所述第二结构光和所述其它结构光在三个或更多个相位偏移处入射到所述物体上，并且所述其它空间频率小于l/d，其中d是所关注的平面中与其中投影正弦曲线图案的将要成像的区域相对应的投影场的大小；以及

其中所述第一空间频率大于所述第二空间频率，并且所述第二空间频率大于所述其它空间频率。

2.根据权利要求1所述的方法，其中，所述成像系统还选择性包括位于所述成像区域中的至少一个反射表面，以使得所述物体的视野最大化，其中，每个所述图像数据还包括对从所述至少一个反射表面反射的物体进行表示的图像数据。

3.根据权利要求2所述的方法，其中，生成所述物体的表面几何信息包括：将对从所述至少一个反射表面反射的物体进行表示的图像数据与对直接成像的物体进行表示的图像数据进行组合。

4.根据权利要求3所述的方法，其中，所述组合包括：

生成对虚拟相机位置进行指示的位置数据，所述虚拟相机位置与所述至少一个反射表面中的每一个反射表面相关联；以及

基于对虚拟相机位置进行指示的位置数据与对所述相机和所述结构光源的相对空间位置进行指示的位置数据，来组合所述图像数据，以及选择性地还包括：使用所述成像系统来生成对虚拟相机位置进行指示的所述位置数据。

5.根据权利要求1所述的方法，其中，基于所确定的关系与指示所述相机和所述结构光源的相对空间位置的位置数据来生成所述物体的表面几何信息包括：

基于几何模型来处理所确定的关系，在所述几何模型中，对所述相机和所述结构光源的相对空间位置进行建模。

6.根据权利要求1至5中任一项所述的方法，其中，所述第二空间频率或所述其它空间频率选择性地具有小于或等于所述成像区域中一个图案重复的空间频率。

7.根据权利要求1至5中任一项所述的方法，其中，在所述物体上入射的所述第二结构光包括至少一个二值图案，并且选择性地，所述第二图像数据包括二进制编码，所述二进制编码将所述第二图像数据的多个图像像素中的每一个图像像素与所述结构光源的光线相关联。

8.根据权利要求1至5中任一项所述的方法，其中，所述第一图像数据和/或所述第二图像数据是基于所述物体的多个图像以及在所述物体上入射的结构光来生成的，所述图案在所述多个图像中的每一个图像中具有相应的偏移，并且选择性地，与所述第一图像数据相关联的多个偏移大于与所述第二图像数据相关联的多个偏移。

9.根据权利要求1至5中任一项所述的方法，其中，所述结构光源包括多个结构光源，所述多个结构光源中的每一个结构光源被布置为将结构光投影到物体的与所述多个结构光源中的其它结构光源将结构光所投影到的不同的至少一部分上；和/或

其中，所述结构光中的第一结构光包括具有第一颜色的光，并且所述结构光中的第二结构光包括具有第二颜色的光；和/或

其中，所述结构光源是从包括以下各项在内的组中选择的：激光器、与条纹光栅组合的光源、以及投影仪。

10.一种计算机可读介质，所述计算机可读介质承载计算机程序，所述计算机程序包括被配置为使得计算机执行根据权利要求1至5任一项所述的方法的计算机可读指令。

11.一种计算机装置，用于使用成像系统来生成成像区域中物体的表面几何信息，所述成像系统包括相机和结构光源，所述计算机装置包括：

存储处理器可读指令的存储器；以及

被布置为读取并执行存储在所述存储器中的指令的处理器；

其中，所述处理器可读指令包括被布置为控制计算机执行根据权利要求1至5中任一项所述的方法的指令。