CN111721236A - 一种三维测量系统、方法及计算机设备 - Google Patents

Abstract

本发明公开了一种三维测量系统，包括：投影模组，用于向目标物体投射图像，所述图像包括至少三帧相移条纹图像和一帧散斑图像；采集模组，用于采集相移条纹图像和散斑图像；控制与处理器，用于根据所述相移条纹图像计算各像素点的相对相位，并对散斑图像与预先存储的参考图像进行匹配以获取像素点的第一深度值，根据第一深度值对像素点的相对相位进行解相确定像素点的绝对相位，基于所述绝对相位以确定像素点的第二深度值。本发明通过投射至少三帧相移条纹图像和一帧散斑图像，根据散斑图像获取第一深度值，并利用第一深度值对相移条纹图像的相对相位进行解相以获取更加精确的绝对相位，根据绝对相位计算得到精确的深度值，从而提高测量精度。

Description

一种三维测量系统、方法及计算机设备

技术领域

本发明涉及三维测量技术领域，尤其涉及一种三维测量系统、方法及计算机设备。

背景技术

三维重建技术在3D打印、机器视觉、数字考古、医疗发展等领域有着广泛的应用。目前流行的方法包括激光扫描方法、立体视觉方法、飞行时间法和结构光方法等。

基于散斑匹配的结构光方法通常是通过采集目标场景的散斑图与预先存储的参考图进行匹配以获取视差图，根据视差图和测量系统的标定参数计算场景的深度或三维结构。该方法的优点是只需要拍摄单帧图像即可进行三维测量，缺点是测量精度有限。

在现有的三维测量方法中，相移法在测量精度方面具有优势，基于相移的系统通常需要一台投影仪和一台摄像机或两台摄像机。相移法通常需要向目标场景投射三帧以上的相移条纹图，由于只用单频的相移图只能获得相对相位，因此，为了获得绝对相位，还需要投射多帧频率不同的相移图，如此导致测量效率低。

采用双摄像头系统的方案，仅使用嵌入了斑点的三种图案即可实现三维测量。然而，这种系统需要额外的相机，增加了硬件成本；此外，双摄像头系统由于三个设备都必须看到该区域才能测量该区域，因此还会导致产生更多与阴影有关的问题。

针对上述现有技术存在的问题，有必要进行开发研究，以提供一种方案，使用结构紧凑的三维测量系统对目标场景进行三维测量，并且能实现快速、精确的测量。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的在于提供一种三维测量系统、方法及计算机设备，以解决上述背景技术问题中的至少一种。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一种三维测量系统，包括：

投影模组，用于向目标物体投射图像，所述图像包括至少三帧相移条纹图像和一帧散斑图像；

采集模组，用于采集所述相移条纹图像和所述散斑图像；

控制与处理器，用于根据所述至少三帧相移条纹图像计算各像素点的相对相位，并对所述散斑图像与预先存储的参考图像进行匹配以获取所述像素点的第一深度值，根据所述第一深度值对所述像素点的相对相位进行解相以确定所述像素点的绝对相位，基于所述绝对相位计算得到所述像素点的第二深度值。

在一些实施例中，控制与处理器根据所述像素点的第一深度值计算得到所述像素点的投影图像坐标，根据所述投影图像坐标，利用下式计算得到像素点的绝对相位：

其中，X_p为像素点的投影图像坐标，N为条纹图像的条纹数量，w为投影图像的水平分辨率，φ表示绝对相位。

在一些实施例中，所述投影模组向目标物体投射三帧相移条纹图像和一帧散斑图像；其中，所述三帧相移条纹表示为：

其中，I'表示平均亮度，I”为调制信号的幅度，φ表示绝对相位。

在一些实施例中，所述投影模组通过一个模组向目标物体投射所述散斑图案和所述条纹图案。

在一些实施例中，所述投影模组分别利用两个模组向目标物体投射图案，其中一个模组投射所述散斑图案，另一个模组投射所述条纹图案。

本发明实施例的另一技术方案为：

一种三维测量方法，包括如下步骤：

控制投影模组向目标物体投射图像，其中所述图像包括至少三帧相移条纹图像和一帧散斑图像；

控制采集模组采集所述相移条纹图像和所述散斑图像；

利用所述相移条纹图像计算各像素点的相对相位，并利用所述散斑图像与预先存储的参考图像进行匹配以获取所述像素点的第一深度值；

根据像素点的所述第一深度值对该像素点的相对相位进行解相以确定所述像素点的绝对相位，并基于所述绝对相位计算得到所述像素点的第二深度值。

在一些实施例中，通过控制与处理器根据所述像素点的第一深度值计算得到所述像素点的投影图像坐标，根据所述投影图像坐标，利用下式计算得到像素点的绝对相位：

其中，X_p为像素点的投影图像坐标，N为条纹数量，w是投影图像的水平分辨率，φ表示绝对相位。

在一些实施例中，所述投影模组向目标物体投射三帧相移条纹图像和一帧散斑图像；其中，所述三帧相移条纹表示为：

其中，I'表示平均亮度，I”为调制信号的幅度，φ表示绝对相位。

在一些实施例中，所述投影模组利用一个模组向目标物体投射散斑图案和条纹图案；或，所述投影模组利用两个模组分别向目标物体投射图案，其中一个模组投射散斑图案，另一个模组投射条纹图案。

本发明实施例的又一技术方案为：

一种计算机设备，包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述任一实施例方案所述的三维测量方法。

本发明技术方案的有益效果是：

相较于现有技术，本发明通过投射至少三帧相移条纹图像和一帧散斑图像，根据散斑图像与预先存储的参考图像匹配以获取第一深度值，并利用第一深度值对三帧相移条纹图像的相对相位进行解相以获取更加精确的绝对相位，根据绝对相位计算得到精确的深度值，从而提高测量精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例三维测量系统的示意图。

图2是图1实施例三维测量系统中根据像素点的绝对相位计算深度值的原理图示。

图3是根据本发明另一个实施例三维测量方法的流程图示。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

参照图1所示，图1为本发明一实施例提供的一种三维测量系统10的结构示意图。所述三维测量系统10包括有投影模组11、采集模组12以及分别与投影模组11和采集模组12连接的控制与处理器13。其中，投影模组11用于向目标物体20投射图像，该图像包括至少三帧相移条纹图像和一帧散斑图像；采集模组12用于采集所述相移条纹图像和散斑图像；控制与处理器用于根据前述至少三帧相移条纹图像计算各像素点的相对相位，并利用所采集到散斑图像与预先存储的参考图像进行匹配以获取所述像素点的第一深度值，根据第一深度值对该像素点的相对相位进行解相以确定该像素点的绝对相位，基于所述绝对相位以计算得到所述像素点的第二深度值。

在一个实施例中，投影模组11向目标物体20投射图像，该图像包括三帧条纹图像和一帧散斑图像。在本发明实施例中，采用相移法获取相对相位，将相移条纹图案投影在目标表面上，并在每个像素处计算相对相位；具体地，以采用三步相移法为例进行说明，三步相移法最小数量相移条纹图像是三个，因此，投影模组投射的图像包括至少三帧条纹图像(即三个相移条纹图像)，可以理解的是，更多的相移条纹图像可以提高重建相位的准确性。

以三帧相移条纹图像为例，三帧相移条纹图像可用下式表示：

其中，I'表示平均亮度，I”为调制信号的幅度，φ表示绝对相位。

控制与处理器13根据上述公式计算像素点的相对相位，以获取绝对相位的表达式：

φ(x,y)＝φ'(x,y)+2kπ (3)

其中，相对相位的取值范围为[-π，π]，k表示条纹的周期数，φ'表示相对相位，φ表示绝对相位。

假设知道一个像素点的投影图像坐标X_p，则根据下式可计算该像素点的绝对相位：

由于公式(3)中k是条纹的周期数，通过三帧条纹图像无法确定周期数k，因此要确定绝对相位，必须要确定k值，在本实施例中，通过额外投影一帧散斑图像，利用该散斑图像与预先存储的参考图像进行匹配以获取像素点的第一深度值，根据该像素点的第一深度值对相对相位进行解相以确定k值。具体地，首先利用第一深度值计算得到该像素点的投影图像坐标X_p，并根据公式(4)计算出该像素点的绝对相位φ，根据公式(3)即能确定k值，进一步地，基于第k级条纹的绝对相位计算出该像素点更加精确的第二深度值Z₂。

在一个实施例中，通过控制与处理器13利用散斑图像与预先存储的参考图像进行匹配，根据当前视角图像的视差图获取视差图中某个像素点(记为p点)的视差值，从而计算出该像素点的第一深度值Z₁，根据第一深度值Z₁可以计算像素点的投影图像坐标X_p，再根据公式(4)可以计算出像素点p点的绝对相位。由于散斑图像匹配的精度有限，第一深度值Z₁不够精确，因此为了得到更高的精度，利用像素点p点的第一深度值Z₁对相对相位φ'进行解相，从而获取更加精确的绝对相位；具体地，根据公式(3)即可求取k值，从而根据第k级条纹的绝对相位计算出像素点p点更加精确的第二深度值Z₂。

下面以像素点p点为例，对利用p点的第一深度值Z₁对相对相位φ'进行解相以获取更加精确的绝对相位φ进行具体说明。在投影模组11和采集模组12的参数为已知的情况下，将采集模组12采集到的散斑图像与预先存储的参考图像匹配，从而获得p点的三维坐标(X,Y,Z)，将p点的三维坐标(X,Y,Z)向图像平面投影，其中投影到相机图像平面的坐标记为x_c＝(x_c,y_c)^T，投影到投影图像坐标为x_p＝(x_p,y_p)^T，由此可以列出下列式子：

其中，X表示P(X,Y,Z)的齐次坐标，S_C与S_P表示尺度因子，K_C和K_P表示内参矩阵，R_P|T_P，R_C|T_C表示外参矩阵，P_C,P_P分别表示相机和投影的投影矩阵。

令：

根据公式(6)，p点的三维坐标(X,Y,Z)可以用下式表示：

其中，x_c、y_c表示p点在相机图像中的坐标，x_p、yp表示p点在投影图像中的坐标。

通过p点的三维坐标(X,Y,Z)根据公式(7)可以计算出X_p，并基于X_p利用公式(4)可以计算出p点的绝对相位φ，以及，利用公式(3)可以计算k值。由于条纹是基于准确的相位值计算出p点的深度，且相移法相对于块匹配方法精度高，所以采用条纹图案计算出p点的深度值精度比较高，因此根据第k级条纹p点的绝对相位可以计算出p点更加精确的第二深度值Z₂。

在一个实施例中，控制与处理器13根据第k级条纹p点的绝对相位利用公式(4)计算出像素点P的投影图像坐标X_p，再利用公式(7)可以计算出p点的第二深度值Z₂。

在一个实施例中，控制与处理器13根据第k级条纹p点的绝对相位φ，利用三角测量的方法计算像素点p点的第二深度值。请参照图2所示，投影模组11向目标物体20投射条纹图像，采集模组12采集经目标物体20反射回来的条纹图像，通过三角测量的方法计算p点的深度值：

其中，L为投影模组距离参考平面的距离，b为投影模组与采集模组的距离，

表示B点的绝对相位，

表示A点的绝对相位。

根据公式(8)可以得到PQ的长度，根据下式计算以获取p点的深度值：

Z＝L-PQ (9)

在一个实施例中，投影模组11通过一个模组向目标物体投射散斑图案和条纹图案。比如采用DMD(数字微镜)，DMD由数百万个可以翻转的微反射镜组成，DMD的每个微反射镜单元就是一个投影像素，且每个投影像素单独编码，因此可以投影出任意的编码图案，包括散斑和条纹图案。可以理解的是，也可以采用垂直腔面发射激光器(VCSEL)和透镜以及微机电系统(Micro-Electro Mechanical System，MEMS)组合或其它组合形式以一个模组向目标物体投射散斑图案和条纹图案。

在一个实施例中，投影模组11分别利用两个模组向目标物体投射图案，其中一个模组投射散斑图案，另一个模组投射条纹图案。比如利用VCSEL和DOE(DiffractiveOptical Elements，DOE)组合向目标物体投射散斑图案，而利用VCSEL和MEMS组合向目标物体投射条纹图案；或，利用DMD向目标物体投射条纹图案。可以理解的是，对于投射斑点图案和投射条纹图案的方法有很多种，在此对其组合方式不做限制。

参照图3所示，作为本发明另一实施例，还提供一种三维测量方法，所述测量方法基于上述各实施例中的三维测量系统来实现。图3示为根据本发明一实施例中一种三维测量方法的流程图，测量方法包括如下步骤：

S301、控制投影模组向目标物体投射图像，其中所述投射图像包括至少三帧相移条纹图像和一帧散斑图像；

在一个实施例中，投影模组为单个模组，比如DMD(数字微镜)，其包括有多个微反射镜，每个微反射镜单元为一个投影像素，且每个投影像素单独编码，因此可以投影出任意的编码图案，例如：散斑图案和条纹图案。当然，所述单个模组也可以为VCSEL和透镜以及MEMS的组合。

在一个实施例中，投影模组为两个模组，两个模组分别向目标物体投射条纹图案和散斑图案，比如利用VCSEL和DOE组合一个模组投射散斑图案，而用DMD投射条纹图案。

S302、控制采集模组采集所述相移条纹图像和所述散斑图像；

具体地，以三帧相移条纹图像为例进行说明，三帧相移条纹图像可表示为：

其中，I′表示平均亮度，I′为调制信号的幅度，φ表示绝对相位。

S303、基于所述相移条纹图像计算各像素点的相对相位，并基于所述散斑图像与预先存储的参考图像进行匹配以获取所述像素点的第一深度值；

具体地，根据步骤S302中相移条纹图像的表达公式，相对相位可表示为：

其中，相对相位的取值范围为[-π，π]。

可以理解的是，基于所述散斑图像与预先存储的参考图像进行匹配以获取所述像素点的第一深度值可以采用现有技术进行，故在此不再赘述。

S304、根据像素点的第一深度值对该像素点的相对相位进行解相以确定该像素点的绝对相位，并基于所述绝对相位计算得到所述像素点的第二深度值，该第二深度值即为精确的深度值；

具体地，根据下式进行解相以获取所述像素点的投影图像坐标X_p：

其中，X、Y、Z为散斑图像与预先存储的参考图像匹配而获得的像素p点的三维坐标，x_c、y_c为p点在相机图像中的像素坐标。

根据投影图像坐标X_p’利用下式计算得到像素点的绝对相位：

其中，N为条纹数量，w是投影图像的水平分辨率，φ表示绝对相位。

根据p点的绝对相位φ，利用三角测量的方法以获取p点的第二深度值，第二深度值即为精确的深度值。

本申请实施还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述实施例所述的三维测量方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的三维测量方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维测量系统，其特征在于，包括：

投影模组，用于向目标物体投射图像，所述图像包括至少三帧相移条纹图像和一帧散斑图像；

采集模组，用于采集所述相移条纹图像和所述散斑图像；

控制与处理器，用于根据所述至少三帧相移条纹图像计算各像素点的相对相位，并对所述散斑图像与预先存储的参考图像进行匹配以获取所述像素点的第一深度值，根据所述第一深度值对所述像素点的相对相位进行解相以确定所述像素点的绝对相位，基于所述绝对相位计算得到所述像素点的第二深度值。

2.如权利要求1所述的三维测量系统，其特征在于：控制与处理器根据所述像素点的第一深度值计算得到像素点的投影图像坐标，根据所述投影图像坐标，利用下式计算得到所述像素点的绝对相位：

其中，X_p为像素点的投影图像坐标，N为条纹图像的条纹数量，w为投影图像的水平分辨率，φ表示绝对相位。

3.如权利要求1所述的三维测量系统，其特征在于：所述投影模组向目标物体投射三帧相移条纹图像和一帧散斑图像；其中，所述三帧相移条纹表示为：

其中，I'表示平均亮度，I”为调制信号的幅度，φ表示绝对相位。

4.如权利要求1所述的三维测量系统，其特征在于：所述投影模组通过一个模组向目标物体投射所述散斑图案和所述条纹图案。

5.如权利要求1所述的三维测量系统，其特征在于：所述投影模组分别利用两个模组向目标物体投射图案，其中一个模组投射所述散斑图案，另一个模组投射所述条纹图案。

6.一种三维测量方法，其特征在于，包括如下步骤：

控制投影模组向目标物体投射图像，其中所述图像包括至少三帧相移条纹图像和一帧散斑图像；

控制采集模组采集所述相移条纹图像和所述散斑图像；

利用所述相移条纹图像计算各像素点的相对相位，并利用所述散斑图像与预先存储的参考图像进行匹配以获取所述像素点的第一深度值；

根据所述第一深度值对所述像素点的相对相位进行解相以确定所述像素点的绝对相位，并基于所述绝对相位计算得到所述像素点的第二深度值。

7.如权利要求6所述的三维测量方法，其特征在于：通过控制与处理器根据所述像素点的第一深度值计算得到所述像素点的投影图像坐标，根据所述投影图像坐标，利用下式计算得到像素点的绝对相位：

其中，X_p为像素点的投影图像坐标，N为条纹数量，w是投影图像的水平分辨率，φ表示绝对相位。

8.如权利要求6所述的三维测量方法，其特征在于：所述投影模组向目标物体投射三帧相移条纹图像和一帧散斑图像；其中，所述三帧相移条纹表示为：

其中，I'表示平均亮度，I”为调制信号的幅度，φ表示绝对相位。

9.如权利要求6所述的三维测量方法，其特征在于：所述投影模组利用一个模组向目标物体投射散斑图案和条纹图案；或，所述投影模组利用两个模组分别向目标物体投射图案，其中一个模组投射散斑图案，另一个模组投射条纹图案。

10.一种计算机设备，其特征在于，包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现权利要求6-9任一项所述的三维测量方法。

Images