CN109785429B - 一种三维重建的方法和装置 - Google Patents

Abstract

本申请公开了一种三维重建的方法和装置，该方法包括：在物体进入重建空间时获取N台视野覆盖重建空间的摄像机对重建空间的拍摄图像作为N个当前图像；根据N个当前图像和重建空间不存在物体时N台摄像机对重建空间的拍摄图像得到的N个初始背景图像，获得N个当前图像各个位置点对应的前背景差值；基于N个当前图像各个位置点与重建空间各个位置点的对应关系，对应融合上述前背景差值获得重建空间各个位置点对应的前背景差值；根据重建空间各个位置点对应的前背景差值和预设前背景阈值筛选重建空间各个位置点三维重建物体。可见，通过N个当前图像和对应的N个初始背景图像进行较为简单的前背景分离，可快速实时完成进入重建空间物体的三维重建。

Description

一种三维重建的方法和装置

技术领域

本申请涉及图像分析处理技术领域，尤其涉及一种三维重建的方法和装置。

背景技术

随着科技的快速发展，越来越多的场景需要应用三维重建(英文：3DReconstruction；简称：3D重建)技术，以对物体建立适合计算机表示和处理的数学模型，是在计算机中建立表达客观世界的虚拟现实的关键技术。目前主流的3D重建技术主要包括直接3D重建技术和间接3D重建技术。

其中，直接3D重建技术是指通过使用专门的带有激光测距的测量设备实际测量出物体的3D形状和3D结构；间接3D重建技术是指通过对物体拍摄不同角度的图像，利用算法提取图像上的特征点，通过特征点的对比匹配最终生成物体的3D形状和3D结构。

发明人经过研究发现，直接3D重建技术对物体进行全面的激光测距耗费大量时间，间接3D重建技术对比不同角度物体图像中特征点运算较为复杂且计算量大，即，上述两种3D重建技术均需要数分钟甚至数小时才能完成一次3D重建。则上述两种3D重建技术无法适用于需要实时3D重建的场景，比如对人的动作的捕捉、物体运动捕捉等。

发明内容

本申请所要解决的技术问题是，提供一种三维重建的方法和装置，能够快速实时完成进入重建空间物体的三维重建，极其适用于需要实时三维重建的场景。

第一方面，本申请实施例提供了一种三维重建的方法，该方法包括：

物体进入重建空间时获取N台摄像机对所述重建空间的拍摄图像作为N个当前图像，所述N为大于等于2的正整数，所述摄像机的视野覆盖所述重建空间；

根据所述N个当前图像和对应的N个初始背景图像，获得所述N个当前图像各个位置点对应的前背景差值，所述N个初始背景图像为所述重建空间不存在物体时所述N台摄像机对所述重建空间的拍摄图像；

基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，对应融合所述N个当前图像各个位置点对应的前背景差值，获得所述重建空间各个位置点对应的前背景差值；

根据所述重建空间各个位置点对应的前背景差值和预设前背景阈值，筛选所述重建空间各个位置点三维重建所述物体。

可选的，所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系是由固定布置在所述重建空间边缘的所述N台摄像机的位置信息和角度信息确定的。

可选的，所述根据所述N个当前图像和对应的N个初始背景图像，获得所述N个当前图像各个位置点对应的前背景差值，包括：

获得所述N个当前图像各个位置点的像素值和对应的所述N个初始背景图像各个位置点的像素值；

根据所述N个当前图像各个位置点的像素值、对应的所述N个初始背景图像各个位置点的像素值和差值函数，获得所述N个当前图像各个位置点对应的前背景差值。

可选的，所述差值函数是根据混合高斯模型建模确定的；或，所述差值函数是根据向量距离公式确定的。

可选的，所述向量距离公式包括欧式距离公式、曼哈顿距离公式或余弦距离公式。

可选的，所述基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，对应融合所述N个当前图像各个位置点对应的前背景差值，获得所述重建空间各个位置点对应的前背景差值，包括：

基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，确定所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值；

根据所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值和融合函数，获得所述重建空间各个位置点对应的前背景差值。

可选的，所述融合函数包括相加函数或相乘函数。

可选的，所述重建空间边界采用深浅相间纹理。

可选的，还包括：

当光照发生变化且所述重建空间不存在物体时，获取所述N台摄像机对所述重建空间的拍摄图像更新所述N个初始背景图。

第二方面，本申请实施例提供了一种三维重建的装置，该装置包括：

获取单元，用于物体进入重建空间时获取N台摄像机对所述重建空间的拍摄图像作为N个当前图像，所述N为大于等于2的正整数，所述摄像机的视野覆盖所述重建空间；

第一获得单元，用于根据所述N个当前图像和对应的N个初始背景图像，获得所述N个当前图像各个位置点对应的前背景差值，所述N个初始背景图像为所述重建空间不存在物体时所述N台摄像机对所述重建空间的拍摄图像；

第二获得单元，用于基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，对应融合所述N个当前图像各个位置点对应的前背景差值，获得所述重建空间各个位置点对应的前背景差值；

重建单元，用于根据所述重建空间各个位置点对应的前背景差值和预设前背景阈值，筛选所述重建空间各个位置点三维重建所述物体。

第三方面，本申请实施例提供了一种终端设备，该终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的三维重建方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面任一项所述的三维重建方法。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，首先，在物体进入重建空间时获取N台视野覆盖重建空间的摄像机对重建空间的拍摄图像作为N个当前图像；然后，根据N个当前图像和对应的N个初始背景图像获得N个当前图像各个位置点对应的前背景差值，N个初始背景图像为重建空间不存在物体时N台摄像机对重建空间的拍摄图像；其次，基于N个当前图像各个位置点与重建空间各个位置点的对应关系，对应融合N个当前图像各个位置点对应的前背景差值获得重建空间各个位置点对应的前背景差值；最后，根据重建空间各个位置点对应的前背景差值和预设前背景阈值筛选重建空间各个位置点三维重建物体。由此可见，当物体进入重建空间时，通过N个当前图像和对应的N个初始背景图像进行前背景分离三维重建物体，前背景分离运算较为简单方便，能够快速实时完成进入重建空间物体的三维重建，该方法极其适用于需要实时三维重建的场景。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例中一种应用场景所涉及的系统框架示意图；

图2为本申请实施例提供的一种三维重建的方法的流程示意图；

图3为本申请实施例提供的一种重建空间和N台摄像机结构示意图；

图4为本申请实施例提供的纯白色重建空间中纯黑色圆柱体三维重建平面示意图；

图5为本申请实施例提供的黑白深浅相间纹理；

图6为本申请实施例提供的一种三维重建的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前主流的3D重建技术主要包括两种，一种是直接3D重建技术，通过使用专门的带有激光测距的测量设备实际测量出物体的3D形状和3D结构；另一种是间接3D重建技术，通过对物体拍摄不同角度的图像，利用算法提取图像上的特征点，通过特征点的对比匹配最终生成物体的3D形状和3D结构。但是，发明人经过研究发现，直接3D重建技术对物体进行全面的激光测距耗费大量时间，间接3D重建技术对比不同角度物体图像中特征点运算较为复杂且计算量大。即，均需要数分钟甚至数小时才能完成一次3D重建，无法适用于需要实时3D重建的场景，例如，需要实时捕捉人的动作的场景，比如智能自贩机来判断客户拿取商品的动作或生产设备检测工人操作是否符合安全规范等；又如，需要实时捕捉物体运动的场景，比如检测工厂生产线上零配件的运送情况等。

为了解决这一问题，在本申请实施例中，首先，在物体进入重建空间时获取N台视野覆盖重建空间的摄像机对重建空间的拍摄图像作为N个当前图像；然后，根据N个当前图像和对应的N个初始背景图像获得N个当前图像各个位置点对应的前背景差值，N个初始背景图像为重建空间不存在物体时N台摄像机对重建空间的拍摄图像；其次，基于N个当前图像各个位置点与重建空间各个位置点的对应关系，对应融合N个当前图像各个位置点对应的前背景差值获得重建空间各个位置点对应的前背景差值；最后，根据重建空间各个位置点对应的前背景差值和预设前背景阈值筛选重建空间各个位置点三维重建物体。由此可见，当物体进入重建空间时，通过N个当前图像和对应的N个初始背景图像进行前背景分离三维重建物体，前背景分离运算较为简单方便，能够快速实时完成进入重建空间物体的三维重建，该方法极其适用于需要实时三维重建的场景。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景包括N台摄像机101、处理器102和用户终端103，其中，N为大于等于2的正整数，摄像机的视野覆盖重建空间。

当重建空间不存在物体时，N台摄像机101对重建空间进行拍摄得到拍摄图像发送至处理器102，处理器102将其作为N个初始背景图像。当物体进入重建空间时，N台摄像机101对重建空间进行拍摄得到拍摄图像发送至处理器102，处理器102将其作为N个当前图像。处理器102根据N个当前图像和对应的N个初始背景图像，获得N个当前图像各个位置点对应的前背景差值。处理器102基于N个当前图像各个位置点与重建空间各个位置点的对应关系，对应融合N个当前图像各个位置点对应的前背景差值，获得重建空间各个位置点对应的前背景差值。处理器102根据重建空间各个位置点对应的前背景差值和预设前背景阈值，筛选重建空间各个位置点三维重建物体，得到物体三维重建图像发送至用户终端103，用户终端103显示物体三维重建图像给用户。

可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由处理器102执行，但是，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。

可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中三维重建的方法和装置的具体实现方式。

示例性方法

参见图2，示出了本申请实施例中一种三维重建的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：物体进入重建空间时获取N台摄像机对所述重建空间的拍摄图像作为N个当前图像，所述N为大于等于2的正整数，所述摄像机的视野覆盖所述重建空间。

其中，重建空间是指需要对进入物体进行三维重建的空间，在本申请实施中，并不限定该重建空间的形状，既可以是四方体，也可以是圆柱体，还可以球体等等。实现本申请实施例的前提是需要在重建空间边缘进行摄像机布置，假设布置N台摄像机，N为大于等于2的正整数，N台摄像机应分散布置在重建空间边缘，每台摄像机的镜头朝向重建空间内部，且视野覆盖整个重建空间。除此之外，在本申请实施中对摄像机数量多少和摄像机布置位置无其他硬性限定，摄像机数量的多少不会影响和改变后续步骤的操作和计算，布置的摄像机越多则可后续可使用的数据越多，三维重建的精确度则越高。需要注意的是，摄像机布置完毕后，N台摄像机均需进行固定，在应用过程中必须确保每台摄像机不发生任何移动或转动等。

例如，如图3所示的重建空间和N台摄像机结构示意图。若重建空间为立方体，则可在其特定四个棱边中点布置4台摄像机，则N为4；或者在其八个顶点布置8台摄像机，则N为8。若重建空间为圆柱体，可以在其顶面和底面布置相互错开的4台摄像机，则N为4。

可以理解的是，当物体进入重建空间时，表示该重建空间存在需要进行三维重建的物体，此时，N台摄像机对重建空间进行拍摄得到N个拍摄图像，处理器获取上述N个拍摄图像作为N个当前图像。其中，N个当前图像均包括物体部分图像，将其作为前景图像，其余部分图像作为背景图像。

步骤202：根据所述N个当前图像和对应的N个初始背景图像，获得所述N个当前图像各个位置点对应的前背景差值，所述N个初始背景图像为所述重建空间不存在物体时所述N台摄像机对所述重建空间的拍摄图像。

其中，N个初始背景图像实际上是在N台摄像机布置固定完毕后，当重建空间不存在物体时，启动N台摄像机对重建空间进行拍摄获得N个拍摄图像，处理器获取N个拍摄图像得到的。获取初始背景图时，需确保重建区域内没有任何其他物体进入。N个初始背景图像存储在处理器中，且每个初始背景图像上不存在任何进入重建空间的物体部分图像，只有纯重建空间的背景图像。

可以理解的是，由于N个初始背景图中每个初始背景图像上不存在任何进入重建空间的物体部分图像，即，每个初始背景图像中所有部分图像都属于背景图像。对于每台摄像机来说，由于摄像机是固定的，当前图像各个位置点与对应的初始背景图各个位置点存在一一对应关系，通过比对当前图像和对应的初始背景图，即可得到当前图像各个位置点对应的前背景差值，以便将前景部分图像从当前图像中分离出来用于后续的物体三维重建。

需要说明的是，对于当前图像与对应的初始背景图中任意一个位置点，可以用当前图像该位置点的像素值与对应的初始背景图该位置点的像素值之间的差值表示当前图像该位置点对应的前背景差值。其中，在明确当前图像各个位置点的像素值与对应的初始背景图各个位置点的像素值后，采用预先定义的差值函数即可获得像素值差值作为前背景差值。前背景差值越大表示其对应的位置点属于前景图像概率越大，前背景差值越小表示其对应的位置点属于背景图像概率越大。因此，在本申请实施例的一些实施方式中，所述步骤202例如可以包括以下步骤：

步骤A：获得所述N个当前图像各个位置点的像素值和对应的所述N个初始背景图像各个位置点的像素值；

步骤B：根据所述N个当前图像各个位置点的像素值、对应的所述N个初始背景图像各个位置点的像素值和差值函数，获得所述N个当前图像各个位置点对应的前背景差值。

例如，令(u,v)表示当前图像与对应的初始背景图中一个位置点，令(R_C,G_C,B_C)表示当前图像该位置点的像素值，令(R_B,G_B,B_B)表示对应的初始背景图像该位置点的像素值，令预先定义的差值函数为F，则当前图像该位置点对应的前背景差值Diff为：Diff＝F(R_B,G_B,B_B,R_C,G_C,B_C)。若该位置点在当前图像中并不属于前景图像而是背景图像，则(R_C,G_C,B_C)＝(R_B,G_B,B_B)，当前图像该位置点对应的前背景差值Diff为0。

需要说明的是，预先定义的差值函数可以是各种各样的，在申请实施例中可以采用两种方式确定定义差值函数。第一种较为经典的，可以根据混合高斯模型建模确定差值函数；第二种，将像素值可以看做3维向量，根据经典的向量距离公式即可确定差值函数。其中，常见的向量距离公式为欧氏距离公式、曼哈顿距离公式和余弦距离公式等，选取其中任何一种距离公式均可确定差值函数。因此，在本申请实施例的一些实施方式中，所述差值函数是根据混合高斯模型建模确定的；或，所述差值函数是根据向量距离公式确定的；所述向量距离公式包括欧式距离公式、曼哈顿距离公式或余弦距离公式。

例如，当采用欧式距离公式确定差值函数F时，当前图像各个位置点对应的前背景差值Diff为：

当采用曼哈顿距离公式确定差值函数F时，当前图像各个位置点对应的前背景差值Diff为：Diff＝|R_B-R_C|+|G_B-G_C|+|B_B-B_C|；当采用余弦距离公式确定差值函数F时，当前图像各个位置点对应的前背景差值Diff为：

步骤203：基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，对应融合所述N个当前图像各个位置点对应的前背景差值，获得所述重建空间各个位置点对应的前背景差值。

需要说明的是，在步骤202获得N个当前图像各个位置点对应的前背景差值，表示N个当前图像各个位置点属于前景图像的概率大小程度之后，需要获得重建空间各个位置点对应的前背景差值，以确定重建空间各个位置点属于物体的概率大小程度。对于重建空间各个位置点中任意一个位置点，其在N个当前图像中均有对应的位置点，而每个当前图像中对应的位置点均对应一个表示其属于前景图像概率大小程度的前背景差值，采用融合函数将N个当前图像中对应的位置点所对应的前背景差值进行融合，即可得到表示重建空间该位置点属于物体概率大小程度的前背景差值。因此，在本申请实施例的一些实施方式中，所述步骤203例如可以包括以下步骤：

步骤C：基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，确定所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值；

步骤D：根据所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值和融合函数，获得所述重建空间各个位置点对应的前背景差值。

例如，令(x,y,z)表示重建空间一个位置点，令Diff_i表示对应该位置点的处理器从第i台摄像机获取的当前图像位置点对应的前背景差值，其中，i＝1，2,3...，N，令预先定义的融合函数为R，则当重建空间该位置点对应的前背景差值Diff 3D为：Diff3D＝R(Diff₁,Diff₂,...，Diff_N)。

需要说明的是，重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值，首先是根据N个当前图像各个位置点与重建空间各个位置点的对应关系确定重建空间每个位置点在N个当前图像中对应的位置点，再确定其对应的前背景差值。其中，由于N个当前图像是由固定布置在重建空间边缘的N台摄像机拍摄得到，N台摄像机的位置信息和角度信息的是固定的，摄像机成像原理是将重建空间中的不同位置点投射到一个成像平面并生成一幅拍摄图像，(x,y,z)表示重建空间一个位置点，基于摄像机固定的位置信息和角度信息，即可得到该摄像机对应的当前图像上对应上述位置点的位置点(u,v)，也就是说，摄像机的位置信息和角度信息可以确定当前图像位置点(u,v)与重建空间位置点(x,y,z)的对应关系。因此，在本申请实施例的一些实施方式中，所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系是由固定布置在所述重建空间边缘的所述N台摄像机的位置信息和角度信息确定的。

需要注意的是，由于摄像机成像时每条射入摄像机光线上的所有位置点对应于拍摄图像上的同一个点，则处在进入摄像机这条光线上的所有位置点在对应的当前图像上的位置点是一样的。例如，处在进入摄像机同一条光线上的位置点A和位置点B，则位置点A和位置点B对应该摄像机对应的当前图像上同一位置点，若令(x_A,y_A,z_A)表示重建空间中的位置点A，若令(x_B,y_B,z_B)表示重建空间中的位置点B，则得到该摄像机对应的当前图像中的(u₁,v₁)位置点对应重建空间中的位置点A和位置点B。

需要说明的是，类似于差值函数，预先定义的融合函数也可以是各种各样的。由于融合函数的作用是融合重建空间每个位置点对应的N个当前图像位置点对应的前背景差值，则对于N个当前图像位置点对应的前背景差值既可以采取相加的方式进行融合，也可以采取相乘的方式进行融合。则在申请实施例中可以采用以下两种函数作为融合函数，第一种是相加函数，第二种是相乘函数，上述两种函数中任意一种函数均可以作为融合函数。因此，在本申请实施例的一些实施方式中，所述融合函数包括相加函数或相乘函数。

例如，当采用相加函数作为融合函数R时，重建空间各个位置点对应的前背景差值Diff 3D为

当采用相乘函数作为融合函数R时，重建空间各个位置点对应的前背景差值Diff 3D为

步骤204：根据所述重建空间各个位置点对应的前背景差值和预设前背景阈值，筛选所述重建空间各个位置点三维重建所述物体。

可以理解的是，由于重建空间各个位置点对应的前背景差值可以表示各个位置点属于物体的概率大小程度，即，重建空间各个位置点对应的前背景差值越大，表示各个位置点属于物体的概率越大。在步骤203获得重建空间各个位置点对应的前背景差值之后，可以通过预设前背景阈值筛选重建空间各个位置点，例如，若重建空间某个位置点对应的前背景差值大于等于预设前背景阈值，则认为该位置点属于物体，将重建空间各个位置点中属于物体的位置点筛选出来即可三维重建物体。

例如，重建空间边界采用纯白色纹理，则N个初始背景图像各个位置点的像素值为(R_B,G_B,B_B)＝(255，255，255)，若一个纯黑色的圆柱体进入重建空间，则在N个当前图像中物体部分图像(前景图像)各个位置点的像素值为(R_C,G_C,B_C)＝(0，0，0)，其余部分图像(背景图像)各个位置点的像素值为(R_C,G_C,B_C)＝(255，255，255)，当采用欧式距离公式确定差值函数F时，若当前图像位置点属于前景图像，其对应的前背景差值Diff如下可以计算得到：

若当前图像位置点属于背景图像，其对应的前背景差值Diff如下可以计算得到：

如图4所示的纯白色重建空间中纯黑色圆柱体三维重建平面示意图，为了描述方便采用俯视图在平面上进行三维重建。其中，如左图所示重建空间为正方体，固定布置4台摄像机在重建空间俯视图分四个顶点上，图中每台摄像机射出的两条射线之间区域为物体，其余区域为背景。则图中位置点位于某台摄像机的两条射线之间，该位置点在这台摄像机对应的当前图像位置点对应的前背景差值Diff为441，反之则为0。当采用相加函数作为融合函数R时，重建空间各个位置点对应的前背景差值Diff 3D为

对于区域1各个位置点，其Diff₁＝0，Diff₂＝0，Diff₃＝0，Diff₄＝0，则其Diff3D＝0；对于区域2各个位置点，其Diff₁＝441，Diff₂＝0，Diff₃＝0，Diff₄＝441，则Diff3D＝882；对于区域3各个位置点，其Diff₁＝441，Diff₂＝441，Diff₃＝441，Diff₄＝441，则其Diff 3D＝1764。另预设前背景阈值为1764，则比较区域1、区域2和区域3中各个位置点的Diff 3D与预设前背景阈值1764的大小，若某个位置点的Diff 3D大于等于预设前背景阈值1764则认为该位置点属于物体，则区域3中各个位置点属于物体，三维重建得到区域3所示的多边形。需要注意的是，由于进入的物体实际上是圆柱体，其俯视图为圆形，三维重建构造出来的形状是多边形存在一定误差。则例如图4中的右图所示，如果将固定布置的4台摄像机增加到8台摄像机，三维重建构造出来的形状更加接近于圆形，即，布置的摄像机越多则可后续可使用的数据越多，三维重建的精确度则越高。

需要说明的是，在实际应用中，进入重建空间的物体外表面纹理颜色是不确定的，既可以是深色纹理，也可以是浅色纹理。其中，深色纹理外表面的物体与浅色纹理初始背景图对比较强，浅色纹理外表面的物体与深色纹理初始背景图对比较强。为了能够同时兼容深色和浅色纹理两种情况外表面的物体，还可以采用深浅相间纹理布置重建空间边界，即，重建空间边界还可以采用深浅相间纹理，以便后续达到更好的前背景分离效果。因此，在本申请实施例的一些实施方式中，所述重建空间边界采用深浅相间纹理。例如，采用如图5所示的黑白深浅相间纹理布置重建空间边界。

需要说明的是，若重建空间的光照等对稳定，那么预先获得的初始背景图仍然适用于重建空间，初始背景图不需要更新可以一直沿用。若重建空间的光照发生变化，预先获得的初始背景图已不再适用于光照变化后的重建空间，那么需要对初始背景图进行更新。初始背景图更新的原则是通过判断当前重建空间是否还存在物体，如果不存在，则每台摄像机都对重建空间进行再次拍摄得到拍摄图像以更新初始背景图。因此，在本申请实施例的一些实施方式中，例如还可以包括步骤E：当光照发生变化且所述重建空间不存在物体时，获取所述N台摄像机对所述重建空间的拍摄图像更新所述N个初始背景图。

通过本实施例提供的各种实施方式，首先，在物体进入重建空间时获取N台视野覆盖重建空间的摄像机对重建空间的拍摄图像作为N个当前图像；然后，根据N个当前图像和对应的N个初始背景图像获得N个当前图像各个位置点对应的前背景差值，N个初始背景图像为重建空间不存在物体时N台摄像机对重建空间的拍摄图像；其次，基于N个当前图像各个位置点与重建空间各个位置点的对应关系，对应融合N个当前图像各个位置点对应的前背景差值获得重建空间各个位置点对应的前背景差值；最后，根据重建空间各个位置点对应的前背景差值和预设前背景阈值筛选重建空间各个位置点三维重建物体。由此可见，当物体进入重建空间时，通过N个当前图像和对应的N个初始背景图像进行前背景分离三维重建物体，前背景分离运算较为简单方便，能够快速实时完成进入重建空间物体的三维重建，该方法极其适用于需要实时三维重建的场景。

示例性装置

参见图6，示出了本申请实施例中一种三维重建的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

获取单元601，用于物体进入重建空间时获取N台摄像机对所述重建空间的拍摄图像作为N个当前图像，所述N为大于等于2的正整数，所述摄像机的视野覆盖所述重建空间；

第一获得单元602，用于根据所述N个当前图像和对应的N个初始背景图像，获得所述N个当前图像各个位置点对应的前背景差值，所述N个初始背景图像为所述重建空间不存在物体时所述N台摄像机对所述重建空间的拍摄图像；

第二获得单元603，用于基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，对应融合所述N个当前图像各个位置点对应的前背景差值，获得所述重建空间各个位置点对应的前背景差值；

重建单元604，用于根据所述重建空间各个位置点对应的前背景差值和预设前背景阈值，筛选所述重建空间各个位置点三维重建所述物体。

在本申请实施例一种可选的方式中，所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系是由固定布置在所述重建空间边缘的所述N台摄像机的位置信息和角度信息确定的。

在本申请实施例一种可选的方式中，所述第一获得单元602包括：

第一获得子单元，用于获得所述N个当前图像各个位置点的像素值和对应的所述N个初始背景图像各个位置点的像素值；

第二获得子单元，用于根据所述N个当前图像各个位置点的像素值、对应的所述N个初始背景图像各个位置点的像素值和差值函数，获得所述N个当前图像各个位置点对应的前背景差值。

在本申请实施例一种可选的方式中，所述差值函数是根据混合高斯模型建模确定的；或，所述差值函数是根据向量距离公式确定的。

在本申请实施例一种可选的方式中，所述向量距离公式包括欧式距离公式、曼哈顿距离公式或余弦距离公式。

在本申请实施例一种可选的方式中，所述第二获得单元603包括：

确定子单元，用于基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，确定所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值；

第三获得子单元，用于根据所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值和融合函数，获得所述重建空间各个位置点对应的前背景差值。

在本申请实施例一种可选的方式中，所述融合函数包括相加函数或相乘函数。

在本申请实施例一种可选的方式中，所述重建空间边界采用深浅相间纹理。

在本申请实施例一种可选的方式中，还包括：

更新单元，用于当光照发生变化且所述重建空间不存在物体时，获取所述N台摄像机对所述重建空间的拍摄图像更新所述N个初始背景图。

通过本实施例提供的各种实施方式，获取单元在物体进入重建空间时获取N台视野覆盖重建空间的摄像机对重建空间的拍摄图像作为N个当前图像；第一获得单元根据N个当前图像和对应的N个初始背景图像获得N个当前图像各个位置点对应的前背景差值，N个初始背景图像为重建空间不存在物体时N台摄像机对重建空间的拍摄图像；第二获得单元基于N个当前图像各个位置点与重建空间各个位置点的对应关系，对应融合N个当前图像各个位置点对应的前背景差值获得重建空间各个位置点对应的前背景差值；重建单元根据重建空间各个位置点对应的前背景差值和预设前背景阈值筛选重建空间各个位置点三维重建物体。由此可见，当物体进入重建空间时，通过N个当前图像和对应的N个初始背景图像进行前背景分离三维重建物体，前背景分离运算较为简单方便，能够快速实时完成进入重建空间物体的三维重建，该方法极其适用于需要实时三维重建的场景。

另本申请实施例还提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述方法实施例任一项所述的三维重建方法。

此外，本申请实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述方法实施例任一项所述的三维重建方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (11)

1.一种三维重建的方法，其特征在于，包括：

物体进入重建空间时获取N台摄像机对所述重建空间的拍摄图像作为N个当前图像，所述N为大于等于2的正整数，每台所述摄像机的视野覆盖整个所述重建空间；

根据所述N个当前图像和对应的N个初始背景图像，获得所述N个当前图像各个位置点对应的前背景差值，所述N个初始背景图像为所述重建空间不存在物体时所述N台摄像机对所述重建空间的拍摄图像；

基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，确定所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值；

根据所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值和融合函数，获得所述重建空间各个位置点对应的前背景差值；

根据所述重建空间各个位置点对应的前背景差值和预设前背景阈值，筛选所述重建空间各个位置点三维重建所述物体。

2.根据权利要求1所述的方法，其特征在于，所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系是由固定布置在所述重建空间边缘的所述N台摄像机的位置信息和角度信息确定的。

3.根据权利要求1所述的方法，其特征在于，所述根据所述N个当前图像和对应的N个初始背景图像，获得所述N个当前图像各个位置点对应的前背景差值，包括：

获得所述N个当前图像各个位置点的像素值和对应的所述N个初始背景图像各个位置点的像素值；

根据所述N个当前图像各个位置点的像素值、对应的所述N个初始背景图像各个位置点的像素值和差值函数，获得所述N个当前图像各个位置点对应的前背景差值。

4.根据权利要求3所述的方法，其特征在于，所述差值函数是根据混合高斯模型建模确定的；或，所述差值函数是根据向量距离公式确定的。

5.根据权利要求4所述的方法，其特征在于，所述向量距离公式包括欧式距离公式、曼哈顿距离公式或余弦距离公式。

6.根据权利要求1所述的方法，其特征在于，所述融合函数包括相加函数或相乘函数。

7.根据权利要求1所述的方法，其特征在于，所述重建空间边界采用深浅相间纹理。

8.根据权利要求1所述的方法，其特征在于，还包括：

当光照发生变化且所述重建空间不存在物体时，获取所述N台摄像机对所述重建空间的拍摄图像更新所述N个初始背景图。

9.一种三维重建的装置，其特征在于，包括：

获取单元，用于物体进入重建空间时获取N台摄像机对所述重建空间的拍摄图像作为N个当前图像，所述N为大于等于2的正整数，每台所述摄像机的视野覆盖整个所述重建空间；

第一获得单元，用于根据所述N个当前图像和对应的N个初始背景图像，获得所述N个当前图像各个位置点对应的前背景差值，所述N个初始背景图像为所述重建空间不存在物体时所述N台摄像机对所述重建空间的拍摄图像；

确定单元，用于基于所述N个当前图像各个位置点与所述重建空间各个位置点的对应关系，确定所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值；

第二获得单元，用于根据所述重建空间各个位置点中每个位置点对应的所述N个当前图像位置点对应的前背景差值和融合函数，获得所述重建空间各个位置点对应的前背景差值；

重建单元，用于根据所述重建空间各个位置点对应的前背景差值和预设前背景阈值，筛选所述重建空间各个位置点三维重建所述物体。

10.一种终端设备，其特征在于，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所述的三维重建方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-8任一项所述的三维重建方法。

Images