CN115345995A - 三维重建方法及装置、系统 - Google Patents

Abstract

本申请公开了一种三维重建方法及装置、系统。其中，该方法包括：获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；至少依据预先确定的第一目标像素点在第一图像中的像素坐标和匹配像素点在第二图像中的像素坐标确定第一目标像素点的三维坐标，以完成三维重建。本申请解决了由于图像不清晰造成的依据码元特征点对码元进行匹配准确率低的技术问题。

Description

三维重建方法及装置、系统

技术领域

本申请涉及三维重建领域，具体而言，涉及一种三维重建方法及装置、系统。

背景技术

结构光三维重建技术是一种向被测物体表面投射光学编码图案，并通过采集到的变形图案恢复物体表面三维数据的三维重构技术。其具有高效率、抗干扰等特性，被广泛应用于各类三维重建场景。结构光三维重建技术中核心问题是同名像素点的匹配。不同的匹配策略，依赖于不同的编码方法。根据投射图案的编码方式不同，结构光技术可分为时间编码和空间编码。时间编码需要向测量场景中时序投射多帧图案，通常要求被测物体与投射器相对静止，因此无法实现高帧率扫描，适用场景受到一定的限制，多用于静态扫描场景。空间编码通常只需要向被测场景中投射一幅图案即可完成三维重建，目前，相关技术中，通过圆形码元的编码方式，利用邻域码元的相对位移关系来解码，另一种方式是通过图像块间的匹配来获取三维数据，前一种方式，码元的编码容量较小，只能重建稀疏的码元点，单帧数据少，扫描效率低；后一种方式，利用图像块进行匹配，精度较低。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种三维重建方法及装置、系统，以至少解决由于图像不清晰造成的依据码元特征点对码元进行匹配准确率低的技术问题。

根据本申请实施例的一个方面，提供了一种三维重建方法，包括：获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；至少依据预先确定的第一目标像素点在第一图像中的像素坐标和匹配像素点在第二图像中的像素坐标确定第一目标像素点的三维坐标，以完成三维重建。

可选地，确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点，包括：确定第一目标像素点的像素坐标和第一目标像素点的灰度值；在第一图像中确定预设面积的第一区域，并将第一区域的中心点作为第一目标像素点；从第二图像中确定预设面积的第二区域，其中，第二区域的中心在第二图像中的纵坐标与第一区域的中心在第一图像中的纵坐标相同；从第二区域中确定与第一目标像素点匹配的匹配像素点。

可选地，从第二区域中确定与第一目标像素点匹配的匹配像素点，包括：逐一确定第二区域中每个像素点的相关系数；相关系数用于表征第二区域中的像素点与第一目标像素点的相关性；将第二区域中相关系数最大的像素点确定为匹配像素点。

可选地，逐一确定第二区域中每个像素点的相关系数，包括：确定第一区域内所有像素点的灰度均值为第一灰度均值，并确定第二区域内所有像素点的灰度均值为第二灰度均值；依据第一区域内第一目标像素点的灰度值与第一灰度均值的差和第二区域内每个像素点的灰度值与第二灰度均值的差，确定第二区域中每个像素点与第一目标像素点的相关系数。

可选地，将第二区域中相关系数最大的像素点确定为匹配像素点，包括：将第二区域中相关系数最大的像素点确定为候选匹配点；在候选匹配点与第二图像中的第二目标像素点重合的情况下，将候选匹配点确定为匹配像素点。在候选匹配点与第二图像中的第二目标像素点不重合的情况下，将候选匹配点周边预设范围内的第二目标像素点确定为匹配像素点。

可选地，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹，包括：基于目标码元的长度、目标码元的宽度、目标码元之间的间距和目标码元中心像素点的像素坐标确定目标码元所在的目标区域，其中，目标码元中心像素点的像素坐标在码元图像所在区域内随机生成的；遍历目标区域内的所有像素点，在目标区域中不存在目标码元的情况下，在目标区域生成目标码元，其中目标码元至少包括一条预设长度的线段和预设长度的线段对应的两个端点；在码元图像区域内的所有目标区域生成目标码元。

可选地，上述方法还包括：确定第一图像中任一码元的第一邻域码元集合和第二图像中多个候选码元的多个第二邻域码元集合；确定多个第二邻域码元集合中的邻域码元与第一邻域码元集合中的邻域码元匹配的个数，将多个第二邻域码元集合中匹配的个数最多的第二邻域码元集合确定为目标第二邻域码元集合；将目标第二邻域码元集合对应的候选码元确定为目标码元。

可选地，方法还包括：确定第一图像中的多个第一目标像素点和第二图像中的多个第二目标像素点；将多个第一目标像素点与第二图像中的多个第二目标像素点一一匹配。

根据本申请实施例的另一方面，还提供了一种三维重建装置，包括：获取模块，用于获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；匹配模块，用于获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；重建模块，用于至少依据预先确定的第一目标像素点在第一图像中的像素坐标和匹配像素点在第二图像中的像素坐标确定第一目标像素点的三维坐标，以完成三维重建。

根据本申请实施例的再一方面，还提供了一种三维重建系统，应用于三维重建方法，其特征在于，包括：至少两个图像采集设备、投影设备和第一处理器；投影设备用于将预先确定的码元图像投射到被测物体表面；至少两个图像采集模块用于从被测物体表面采集预先确定的码元图像得到第一图像和第二图像；第一处理器用于获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；还用于至少依据预先确定的第一目标像素点在第一图像中的像素坐标和匹配像素点在第二图像中的像素坐标确定第一目标像素点的三维坐标，以完成三维重建。

根据本申请实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述三维重建方法。

根据本申请实施例的再一方面，还提供了一种电子设备，包括：存储器和处理器；处理器用于运行程序，其中，程序运行时执行上述的三维重建方法。

在本申请实施例中，采用获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；至少依据预先确定的第一目标像素点在第一图像中的像素坐标和匹配像素点在第二图像中的像素坐标确定第一目标像素点的三维坐标，以完成三维重建的方式，通过确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点的编码方式，达到了替代码元特征点编码方式的目的，从而实现了提高码元匹配准确率的技术效果，进而解决了由于图像不清晰造成的依据码元特征点对码元进行匹配准确率低技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种用于三维重建方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本申请的一种三维重建方法的示意图；

图3是根据本申请实施例的一种可选的编码图案示意图；

图4是根据根据本申请实施例的五种可选的码元形状示意图；

图5是根据本申请实施例的一种可选的三维重建系统；

图6是根据本申请实施例的一种可选的三维重建装置；

其中，上述附图包括以下附图标记：

501、被测物体；502、第一处理器；503、图像采集设备；504、投影设备。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例，还提供了一种模型训练方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端、云端服务器或者类似的运算装置中执行。图1示出了一种用于实现三维重建方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的三维重建方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的三维重建方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输模块106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

根据本申请实施例，提供了一种三维重建方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本申请实施例的三维重建方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；

步骤S204，获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；

步骤S206，至少依据预先确定的第一目标像素点在第一图像中的像素坐标和匹配像素点在第二图像中的像素坐标确定第一目标像素点的三维坐标，以完成三维重建。

通过上述步骤，可以实现通过确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点的编码方式，达到了替代码元特征点编码方式的目的，从而实现了提高码元匹配准确率的技术效果，进而解决了由于图像不清晰造成的依据码元特征点对码元进行匹配准确率低技术问题。

需要进行说明的是，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观事件的虚拟现实技术。三维重建技术中通常会用到结构光时间编码和空间编码技术，其中，空间编码结构光难点在于利用像素空间灰度信息，对每个像素点进行稳定可靠的编解码，相关技术中的一类方法是通过一定的码元信息对特定像素点进行编码，通过大小圆形码元的编码方式，利用极线约束条件和邻域码元与图像中码元的相对位移关系对每个码元进行编解码，从而实现每个码元点的重建。这类方法的缺点在于码元编码容量有限，只能重建稀疏的码元点，单帧数据少，扫描效率低；受物体表面纹理影响较大。另外一类方法是通过随机散斑的形式，通过像素块间的相关性进行同名点匹配，例如：将伪随机散斑图像通过投影设备投射到被测物体表面，采用改进的SGM(semi-global matching，立体匹配)算法进行图像块间的匹配，从而得到被测物体表面的三维数据。该类方法的缺点是匹配适用的图像块空间大，重建数据精度和细节较差，难以实现复杂物体的重建。相关技术中，一般采用码元特征点匹配的方式完成码元的匹配，但是在图像清晰度较差、特征点模糊程度较高的情况下，特征点地提取的准确度会降低，导致码元匹配的准确性降低。

本申请提出的方法中，利用线段条纹码元的编码方式，获取线段条纹中的第一目标像素点，例如：线段条纹的中点。利用码元的第一目标特征点进行匹配，替代利用码元特征点进行匹配的方式，进而提高了在图像不清晰的情况下，码元匹配的准确性，同时由于采用了线段条纹码元增加了编码容量，提高了单帧图像的数据量，进而提高了扫描效率。同时由于本申请提出的方法是线段条纹分布，码元的分布密度高，进一步提高了获取到的重建数据的精确度

在步骤S202中，第一图像为第一图像采集设备采集的图像，第二图像为第二图像采集设备采集的图像；第一图像中的多个目标码元朝向相同，码元间的间距随机确定，例如：1号码元的与2号码元之间的间距为100μm，2号码元与3号码元之间的间距为80μm。码元按照图像水平方向(相机极线方向)随机上下波动分布，码元的特征包含至少两个可提取的灰度特征点图案，且特征点之间呈预设间距上下分布，图3示出了一种可选的码元图像，图中码元按照垂直方向随机分布。

在步骤S204中，获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点，可以理解的是，第一图像与第二图像为不同的图像采集设备采集被投射到被测物体表面的投影图像得到的，所以第一图像中的码元结构和第二图像中的码元结构相同。由此可知，以第一目标像素点为第一图像中线段条纹的中点为例，第二图像中的匹配像素点为第二图像中线段条纹的中点。

在步骤S206中，第一图像中的第一目标像素点与第二图像中的匹配像素点一一对应，至少依据第一目标像素点在第一图像中的像素坐标和对应的匹配像素点在第二图像中的像素坐标确定第一目标像素点的三维坐标，完成重建。

下面通过具体的实施例来详细说明上述步骤S202至步骤S206。

在步骤S204中第一目标像素点在第二图像中的匹配像素点，可以利用像素点坐标和像素点的灰度值来确定，具体的，确定第一目标像素点的像素坐标和第一目标像素点的灰度值；在第一图像中确定预设面积的第一区域，并将第一区域的中心点作为第一目标像素点；从第二图像中确定预设面积的第二区域，其中，第二区域的中心在第二图像中的纵坐标与第一区域的中心在第一图像中的纵坐标相同；从第二区域中确定与第一目标像素点匹配的匹配像素点。

在一种可选的方式中，第一区域和第二区域可以是图像尺寸为m×n的图像区域，m，n为像素值。

需要进行说明的是，上述纵坐标为像素坐标，可以理解的是，第二区域的中心在第二图像中的纵坐标与第一区域的中心在第一图像中的纵坐标相同，表示在第一区域的中心在预设方向上距离第一图像的边界的距离与第二区域的中心在预设方向上距离第二图像的同一边界的距离相同。

一种可选的方式中，可以通过比较第一目标像素点与第二区域中每个像素点相关系数来确定，例如：逐一确定第二区域中每个像素点的相关系数；相关系数用于表征第二区域中的像素点与第一目标像素点的相关性；将第二区域中相关系数最大的像素点确定为匹配像素点。

第二区域内的每个像素点与第一目标像素点的相关系数，通过以下方式确定，首选确定第一区域内所有像素点的灰度均值为第一灰度均值，并确定第二区域内所有像素点的灰度均值为第二灰度均值；依据第一区域内第一目标像素点的灰度值与第一灰度均值的差和第二区域内每个像素点的灰度值与第二灰度均值的差，确定第二区域中每个像素点与第一目标像素点的相关系数。

具体地，对于第一图像中第一目标像素点(u¹，v¹)，其灰度值为I¹(u¹，v¹)，以任一像素点为图像尺寸m×n的第一区域的中心，在第二图像中确定与第一区域在同样像素行位置的第二区域，第二区域的图像尺寸为m×n。逐一计算第二区域中每个像素点的相关系数ω_i,i＝0，1，W-1，其中，W为第一图像的像素宽度。相关系数的计算公式如下：

其中，m为第一区域的像素宽度，n为第一区域的像素高度，

为第一区域内每个像素点的灰度均值，

为第二区域内每个像素点的灰度均值，(u²，v²)为第二图像中参与相关系数计算的像素点的像素坐标，I²(u²)v²)为第二图像中参与相关系数计算的像素点的灰度值。

需要进行说明的是，相关系数可以是采用零均值归一化相关系数(ZNCC)方法进行匹配所确定的零均值归一化相关系数，它描述了两个不同图像块之间的相似程度，相关系数越高，图像块的相似程度越高，成为匹配点的可能性就越高。

以第一目标像素点为第一图像中线段条纹的中点为例，通过上述步骤，第一图像中每一个线段条纹中点均可以在第二图像中找到一个候选匹配点(相关系数最大的像素点)显而易见的是，由于第一目标像素点为线段条纹的中点，第二图像中与第一目标像素点匹配的匹配像素点只可能为第二图像中的线段条纹中点，基于上述原则，遍历所有候选匹配点，在候选匹配点与第二图像中的第二目标像素点重合的情况下，将候选匹配点确定为匹配像素点。在候选匹配点与第二图像中的第二目标像素点不重合的情况下，将候选匹配点周边预设范围内的第二目标像素点确定为匹配像素点。

在另一种可选的方式中，在确定匹配像素点之后还可以将第一目标像素点作为特征点的方式确定在第二图像中确定与第一图像中的任一码元确定第一图像中任一码元的第一邻域码元集合和第二图像中多个候选码元的多个第二邻域码元集合；确定多个第二邻域码元集合中的邻域码元与第一邻域码元集合中的邻域码元匹配的个数，将多个第二邻域码元集合中匹配的个数最多的第二邻域码元集合确定为目标第二邻域码元集合；将目标第二邻域码元集合对应的候选码元确定为与上述任一码元匹配的码元。

具体的，第一邻域码元集合为第二图像中一个码元的邻域码元集合，例如：以第二图像中的码元p为一个设定长度的线段和线段对应的两个端点为例，码元p的邻域码元集合为{p¹,p²,p³,p⁴}；第二邻域码元集合为第二图像中任一个码元的候选码元的邻域码元集合，例如：码元p的候选码元为码元q，码元q的邻域码元集合为{q¹,q²,q³,q⁴}，在码元p的候选码元存在三个情况下，例如：q_i，i＝1,2,3，就存在三个第二邻域码元集合

在码元p存在多个的情况，与上述情况类似，在此不再赘述。

需要进一步说明的是，以码元p为例，对于码元p的每一个候选码元q_i,i为正整数，首先确认码元p¹是否与候选码元q₁的第一个邻域码元

匹配，然后依次检索码元p的所有候选码元，确定所有候选码元的邻域码元与码元p¹是否匹配，与码元p¹匹配的候选码元，匹配个数据加1，例如：码元

与码元p¹匹配，则候选码元q₁的匹配个数为1，如果码元

与码元p²匹配则候选码元q₁的匹配个数加1为2。将匹配个数最大的候选码元确定为目标码元，以码元p为例，在候选码元q₁与码元p的匹配个数最多，则候选码元q₁确定为目标码元与码元p匹配。

在步骤S202中，预先确定的码元图像通过以下方式生成：基于目标码元的长度、目标码元的宽度、目标码元之间的间距和目标码元中心像素点的像素坐标确定目标码元所在的目标区域，其中，目标码元中心像素点的像素坐标在码元图像所在区域内随机生成的；遍历目标区域内的所有像素点，在目标区域中不存在目标码元的情况下，在目标区域生成目标码元，其中目标码元至少包括一条预设长度的线段和预设长度的线段对应的两个端点；在码元图像区域内的所有目标区域生成目标码元。如图4所示，示出了五种目标码元，标号1的码元由一条线段和线段对应的两个圆形端点组成，标号2由一条第一预设长度的线段和两条第二预设长度的线段为端点组成，第一预设长度大于第二预设长度，标号3的码元由一条第一预设长度的线段和三条第二预设长度的线段为端点组成，标号4由一条线段和线段本身的两个端点组成，标号5的码元由一条线段和另一条线段相交。

当重建系统的投影模块及图像采集模块确定之后，投影设备的放大倍率

和图像采集模块的放大倍率

为系统固有参数。码元图像的单元像素长度l_p与第一图像的单元像素长度l_c之间存在关系：

由于投影设备能够投射的码元图像的单元像素的最小长度确定为l_min，根据该公式，可确定第一图像中条纹的最小长度L_mim。为保证宽度W,高度H的投射图案的随机性，图案中的条纹最大长度L_max不超过H/2，则每一个条纹长度L_i∈[L_min，L_max]。

特别的，投射图案中条纹长度L可以是固定长度值,也可以是随机长度值。若为随机长度值时，每一个条纹的长度可由一个伪随机序列{L_i}确定，伪随机序列的取值范围为L_i∈[L_min，L_max]。

在生成码元图像的过程中，依据目标码元的中心像素点坐标、目标码元的长度和目标码元的宽度确定目标码元所处的目标区域，目标区域中只存在一个目标码元。如图5所示，一个图像色斑中第一线段条纹201的分布示意图，条纹长度为L、条纹宽度为S、条纹间距为G/2，则第一线段条纹201在图像中占据的区域大小为(S+G)×(L+G)。在一个图像色斑的区域内只能包含一个条纹，或者不包含条纹。在W×H的待填充条纹的图像中，随机生成一个坐标位置(u，v)作为一个候选图像色斑中心位置，然后遍历该色斑对应的待填充图像中的每一个像素，检索候选图像色斑内是否已经包含有条纹，若不包含条纹，则在中候选色斑位置处产生一个条纹，否则不产生条纹。接着，进行下一个随机坐标的生成、色斑的检索、条纹的生成。重复上述过程，直到整个待填充图像中无法再产生条纹为止。

在第一目标像素点为第一图像中的线段条纹中点的情况下，与第一目标像素点相匹配的只能是第二图像中线段条纹的中点，将第二图像中线段条纹的中点确定为第二目标像素点，直接确定每个第二目标像素点与第一目标像素点的相关系数，将相关系数最大的第二目标像素点确定为第一目标像素点的匹配像素点。减少了像素点的计算数量进而加快匹配效率。

在本申请的一些实施例中，在第一图像中确定第二图像中的目标码元对应的多个候选码元之前，方法还包括：将第一图像和第二图像调整到同一平面上。

需要说明的是，在立体视觉领域，第一图像与第二图像之间存在极线约束关系，即在投影图像中处于同一极线上的特征点，在用图像采集设备采集后的图像中也处于同一极线上。利用极线校正原理，可将第一图像与第二图像对应的极线校正至同一水平方向。校正完成后，对第一图像和第二图像进行滤波平滑处理，包括但不限于高斯滤波。

第一图像和第二图像是将待投影图像投射到被测物体表面生成的，根据预设的标定结果可以确定每个码元的投影参数。

基于上述方法，本申请可实现被测物体表面三维数据的快速、精确的重建。本申请中条纹中心点重建方法可实现精确的三维数据获取；随机条纹的方式，增加了编码点的数量(条纹中心任一像素点均为编码点)，提升了数据冗余度，进而提高了扫描效率。

本申请实施例还提供了一种三维重建系统，如图5所示，包括：至少两个图像采集设备503、投影设备504和第一处理器502；投影设备504用于将预先确定的码元图像投射到被测物体表面；至少两个图像采集模块503用于从被测物体501表面采集预先确定的码元图像得到第一图像和第二图像；第一处理器502用于获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；还用于依据预先确定的第一图像和第二图像的图像参数确定第一目标像素点的三维坐标，以完成三维重建。

其中，图像采集设备503包括但不限于灰度相机和彩色相机，投影设备504的投影方式包括但不限于DLP(Digtal Light Processing，数字光处理)、MASK(掩码投影)、DOE(衍射投影)等投影方式，能够投射结构光图案。一种可选的方式中，图像采集设备也可以是多个。

在一种可选的方式中，可以由第一处理器502预设生成码元图像，传输到投影设备504中，由投影设备504将码元图像投射到被测物体501表面，再由两个图像采集设备503分别采集到第一图像和第二图像传输至第一处理器502中，进行码元匹配，在完成码元匹配之后，确定第一图像中每个码元的三维坐标，完成三维重建。

在本申请的一些实施例中，可以通过与第一处理器502连接交互设备上，输入生成指令，在展示界面中展示码元图像，也可以对展示的码元图像进行修改；同时也可以在交互设备上展示重建过程中的多种数据，以便实时监控。

本申请实施例还提供了一种模型训练装置，如图6所示，包括：获取模块60，用于获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；匹配模块62，用于获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；重建模块64，用于依据预先确定的第一图像和第二图像的图像参数确定第一目标像素点的三维坐标，以完成三维重建。

匹配模块62包括：第一确定子模块，第一确定子模块用于确定第一目标像素点的像素坐标和第一目标像素点的灰度值；在第一图像中确定预设面积的第一区域，并将第一区域的中心点作为第一目标像素点；从第二图像中确定预设面积的第二区域，其中，第二区域的中心在第二图像中的纵坐标与第一区域的中心在第一图像中的纵坐标相同；从第二区域中确定与第一目标像素点匹配的匹配像素点

第一确定子模块包括：第一确定单元和第二确定单元；第一确定单元用于逐一确定第二区域中每个像素点的相关系数；相关系数用于表征第二区域中的像素点与第一目标像素点的相关性；将第二区域中相关系数最大的像素点确定为匹配像素点；第二确定单元用于确定第一区域内所有像素点的灰度均值为第一灰度均值，并确定第二区域内所有像素点的灰度均值为第二灰度均值；依据第一区域内第一目标像素点的灰度值与第一灰度均值的差和第二区域内每个像素点的灰度值与第二灰度均值的差，确定第二区域中每个像素点与第一目标像素点的相关系数。

第一确定单元包括：确定子单元，确定子单元用于将第二区域中相关系数最大的像素点确定为候选匹配点；在候选匹配点与第二图像中的第二目标像素点重合的情况下，将候选匹配点确定为匹配像素点。在候选匹配点与第二图像中的第二目标像素点不重合的情况下，将候选匹配点周边预设范围内的第二目标像素点确定为匹配像素点。

匹配模块62还包括：匹配子模块，匹配子模块用于确定第一图像中的多个第一目标像素点和第二图像中的多个第二目标像素点；将多个第一目标像素点与第二图像中的多个第二目标像素点一一匹配。

根据本申请实施例的另一方面，还提供了一种非易失性存储介质，包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述三维重建方法。

根据本申请实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述三维重建方法。

上述处理器用于运行执行以下功能的程序：获取第一图像和第二图像，第一图像和第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，预先确定的码元图像中包含多个目标码元按照预设方向随机分布，目标码元为线段条纹；获取第一图像中每个码元的第一目标像素点，并确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点；至少依据预先确定的第一目标像素点在第一图像中的像素坐标和匹配像素点在第二图像中的像素坐标确定第一目标像素点的三维坐标，以完成三维重建。

上述处理器执行上述三维重建方法，通过确定第一图像中每个码元的第一目标像素点在第二图像中的匹配像素点的编码方式，达到了替代码元特征点编码方式的目的，从而实现了提高码元匹配准确率的技术效果，进而解决了由于图像不清晰造成的依据码元特征点对码元进行匹配准确率低技术问题。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种三维重建方法，其特征在于，包括：

获取第一图像和第二图像，所述第一图像和所述第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，所述预先确定的码元图像中包含多个目标码元按照预设方向随机分布，所述目标码元为线段条纹；

获取所述第一图像中每个码元的第一目标像素点，并确定所述第一图像中每个码元的第一目标像素点在所述第二图像中的匹配像素点；

至少依据预先确定的所述第一目标像素点在所述第一图像中的像素坐标和所述匹配像素点在所述第二图像中的像素坐标确定所述第一目标像素点的三维坐标，以完成三维重建。

2.根据权利要求1所述的方法，其特征在于，确定所述第一图像中每个码元的第一目标像素点在所述第二图像中的匹配像素点，包括：

确定所述第一目标像素点的像素坐标和所述第一目标像素点的灰度值；

在所述第一图像中确定预设面积的第一区域，并将所述第一区域的中心点作为所述第一目标像素点；

从第二图像中确定所述预设面积的第二区域，其中，所述第二区域的中心在所述第二图像中的纵坐标与所述第一区域的中心在所述第一图像中的纵坐标相同；

从所述第二区域中确定与所述第一目标像素点匹配的匹配像素点。

3.根据权利要求2所述的方法，其特征在于，从所述第二区域中确定与所述第一目标像素点匹配的匹配像素点，包括：

逐一确定所述第二区域中每个像素点的相关系数；所述相关系数用于表征所述第二区域中的像素点与所述第一目标像素点的相关性；

将所述第二区域中所述相关系数最大的像素点确定为所述匹配像素点。

4.根据权利要求3所述的方法，其特征在于，逐一确定所述第二区域中每个像素点的相关系数，包括：

确定所述第一区域内所有像素点的灰度均值为第一灰度均值，并确定所述第二区域内所有像素点的灰度均值为第二灰度均值；

依据所述第一区域内所述第一目标像素点的灰度值与所述第一灰度均值的差和所述第二区域内每个像素点的灰度值与所述第二灰度均值的差，确定所述第二区域中每个像素点与所述第一目标像素点的相关系数。

5.根据权利要求3所述的方法，其特征在于，将所述第二区域中相关系数最大的像素点确定为所述匹配像素点，包括：

将所述第二区域中所述相关系数最大的像素点确定为候选匹配点；

在所述候选匹配点与所述第二图像中的第二目标像素点重合的情况下，将所述候选匹配点确定为所述匹配像素点；

在所述候选匹配点与所述第二图像中的第二目标像素点不重合的情况下，将所述候选匹配点周边预设范围内的所述第二目标像素点确定为所述匹配像素点。

6.根据权利要求1所述的方法，其特征在于，所述预先确定的码元图像中包含多个目标码元按照预设方向随机分布，所述目标码元为线段条纹，包括：

基于所述目标码元的长度、所述目标码元的宽度、所述目标码元之间的间距和所述目标码元中心像素点的像素坐标确定所述目标码元所在的目标区域，其中，所述目标码元中心像素点的像素坐标在所述码元图像所在区域内随机生成的；

遍历所述目标区域内的所有像素点，在所述目标区域中不存在所述目标码元的情况下，在所述目标区域生成所述目标码元，其中所述目标码元至少包括一条预设长度的线段和所述预设长度的线段对应的两个端点；

在所述码元图像区域内的所有所述目标区域生成所述目标码元。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一图像中任一码元的第一邻域码元集合和所述所述第二图像中多个候选码元的多个第二邻域码元集合；

确定所述多个第二邻域码元集合中的邻域码元与所述第一邻域码元集合中的邻域码元匹配的个数，将所述多个第二邻域码元集合中匹配的个数最多的第二邻域码元集合确定为目标第二邻域码元集合；

将所述目标第二邻域码元集合对应的所述候选码元确定为所述目标码元。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一图像中的多个第一目标像素点和所述第二图像中的多个第二目标像素点；

将所述多个第一目标像素点与所述第二图像中的多个第二目标像素点一一匹配。

9.一种三维重建装置，其特征在于，包括：

获取模块，用于获取第一图像和第二图像，所述第一图像和所述第二图像分别由不同的图像采集设备采集被投射到被测物体表面的预先确定的码元图像得到的，所述预先确定的码元图像中包含多个目标码元按照预设方向随机分布，所述目标码元为线段条纹；

匹配模块，用于获取所述第一图像中每个码元的第一目标像素点，并确定所述第一图像中每个码元的第一目标像素点在所述第二图像中的匹配像素点；

重建模块，用于至少依据预先确定的所述第一目标像素点在所述第一图像中的像素坐标和所述匹配像素点在所述第二图像中的像素坐标确定所述第一目标像素点的三维坐标，以完成三维重建。

10.一种三维重建系统，应用于三维重建方法，其特征在于，包括：

至少两个图像采集设备、投影设备和第一处理器；

所述投影设备用于将预先确定的码元图像投射到被测物体表面；

所述至少两个图像采集模块用于从被测物体表面采集所述预先确定的码元图像得到第一图像和第二图像；

第一处理器用于获取所述第一图像中每个码元的第一目标像素点，并确定所述第一图像中每个码元的第一目标像素点在所述第二图像中的匹配像素点；还用于至少依据预先确定的所述第一目标像素点在所述第一图像中的像素坐标和所述匹配像素点在所述第二图像中的像素坐标确定所述第一目标像素点的三维坐标，以完成三维重建。

11.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的三维重建方法。

12.一种电子设备，其特征在于，包括：存储器和处理器；所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的三维重建方法。

Images