CN112819937A - 一种自适应多对象光场三维重建方法、装置及设备 - Google Patents

Abstract

本发明实施例公开了一种自适应多对象光场三维重建方法、装置及设备。其中，该方法包括：获取全局图像采集设备拍摄的第一图像，并根据第一图像确定候选区域集合；根据候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定局部图像采集设备对应的拍摄策略以及获取局部图像采集设备按照拍摄策略进行拍摄得到的第二图像集合；针对拍摄区域集合中的每个拍摄区域，根据第一图像以及第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型。本发明实施例提供的技术方案，能够实现多对象光场三维重建，有利于提高生成的三维模型的准确性。

Description

一种自适应多对象光场三维重建方法、装置及设备

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种自适应多对象光场三维重建方法、装置及设备。

背景技术

计算机视觉的核心研究方向是三维重建，人们生活在三维空间里，接触最多的也是三维物体，可以说三维空间是物体存在的基本形式。与二维图像信息相比，三维模型真实感更加强烈，能够呈现给人们更多的信息，因此对物体进行三维重建是非常有必要的。

现有的物体三维重建方法一般是基于单目设备或多摄像头设备。单目设备只能获取到单目数据，因此只能获得物体的二维姿态，对于三维姿态的估计非常困难，由于三维信息的缺失，很难估计出较为准确的物体三维模型。而多摄像头设备的搭建条件比较苛刻，一般在室内密闭场景，光线等条件也必须满足要求。并且，单目设备很难兼具大场景和高清晰度，如果要实现大场景多对象的三维重建，则清晰度会下降。

因此，现有技术中尚未有更好的实现多对象光场三维重建的方法。

发明内容

本发明实施例提供了一种自适应多对象光场三维重建方法、装置及设备，能够实现多对象光场三维重建，有利于提高生成的三维模型的准确性。

第一方面，本发明实施例提供了一种自适应多对象光场三维重建方法，该方法包括：

获取全局图像采集设备拍摄的第一图像，并根据所述第一图像确定候选区域集合；

根据所述候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定所述局部图像采集设备对应的拍摄策略以及获取所述局部图像采集设备按照所述拍摄策略进行拍摄得到的第二图像集合，其中，所述局部图像采集设备的拍摄角度可调节，所述拍摄策略包括所述局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备；

针对所述拍摄区域集合中的每个拍摄区域，根据所述第一图像以及所述第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型。

第二方面，本发明实施例提供了一种自适应多对象光场三维重建装置，该装置包括：

区域集合获取模块，用于获取全局图像采集设备拍摄的第一图像，并根据所述第一图像确定候选区域集合；

图像集合确定模块，用于根据所述候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定所述局部图像采集设备对应的拍摄策略以及获取所述局部图像采集设备按照所述拍摄策略进行拍摄得到的第二图像集合，其中，所述局部图像采集设备的拍摄角度可调节，所述拍摄策略包括所述局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备；

重建模型确定模块，用于针对所述拍摄区域集合中的每个拍摄区域，根据所述第一图像以及所述第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型。

第三方面，本发明实施例提供了一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的自适应多对象光场三维重建方法。

本发明实施例提供了一种自适应多对象光场三维重建方法、装置及设备，首先获取全局图像采集设备拍摄的第一图像，并根据第一图像确定候选区域集合，然后根据候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定局部图像采集设备对应的拍摄策略以及获取局部图像采集设备按照拍摄策略进行拍摄得到的第二图像集合，局部图像采集设备的拍摄角度可调节，拍摄策略包括局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备，最后针对拍摄区域集合中的每个拍摄区域，根据第一图像以及第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型，能够实现多对象光场三维重建，有利于提高生成的三维模型的准确性。

附图说明

图1为本发明实施例一提供的一种自适应多对象光场三维重建方法的流程图；

图2为本发明实施例二提供的一种自适应多对象光场三维重建方法的流程图；

图3为本发明实施例三提供的一种自适应多对象光场三维重建装置的结构示意图；

图4为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种自适应多对象光场三维重建方法的流程图，本实施例可适用于对当前场景下包含的多个对象进行光场三维重建的情况。本实施例提供的自适应多对象光场三维重建方法可以由本发明实施例提供的自适应多对象光场三维重建装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的计算机设备中。

参见图1，本实施例的方法包括但不限于如下步骤：

S110，获取全局图像采集设备拍摄的第一图像，并根据第一图像确定候选区域集合。

其中，全局图像采集设备可以为固定的，能够满足清晰度低和大视场角（Field ofView，简称FOV）条件的具有图像采集功能的设备，例如清晰度低但FOV大的光场相机或者摄像头等。候选区域集合可以理解为从全局图像采集设备拍摄的第一图像中选取的供局部图像采集设备进行转动的所有区域。局部图像采集设备可以理解为满足FOV小、清晰度高以及拍摄角度可调（即可转动）条件的具有图像采集功能的设备，例如清晰度高、FOV小且拍摄角度可调的光场相机或者摄像机等。全局图像采集设备所拍摄的场景能够覆盖所有局部图像采集设备拍摄范围内的所有场景（即所有局部图像采集设备的极限转动区域）。

获取全局图像采集设备针对当前场景所拍摄的第一图像，在得到第一图像之后，可以根据预先设定好的标准，例如第一图像中人物的清晰度或者第一图像中事件的重要程度等，从第一图像包含的所有区域中确定出候选区域集合，以供后续确定局部图像采集设备对应的拍摄策略。

S120，根据候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定局部图像采集设备对应的拍摄策略以及获取局部图像采集设备按照拍摄策略进行拍摄得到的第二图像集合，其中，局部图像采集设备的拍摄角度可调节，拍摄策略包括局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备。

其中，局部图像采集设备的总个数可以根据拍摄场景确定，也可以预先设计好，该总个数可以为一个或者多个，本发明实施例不做具体限制。并且局部图像采集设备拍摄角度的调节过程可以通过计算机控制。

在确定了候选区域集合之后，能够确定出候选区域集合中所包括的候选区域的个数，根据候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，能够确定出局部图像采集设备的拍摄策略，即所有局部图像采集设备对应的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备，保证所有的局部图像采集设备都能够发挥作用，不会出现某些局部图像采集设备被闲置的情况。将所有局部图像采集设备按照确定好的拍摄策略进行拍摄就能够得到第二图像集合。

S130，针对拍摄区域集合中的每个拍摄区域，根据第一图像以及第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型。

其中，对象可以为人或者物体等，具体可以根据拍摄场景而定。例如，拍摄场景为道路场景，对象可以是行人或车辆等；又如，拍摄场景为教室时，对象可以为学生或老师等；又如，拍摄场景为篮球场时，对象可以为球员或篮球等。

由于拍摄区域集合中包含了多个拍摄区域，因此针对拍摄区域集合中的每个拍摄区域，根据第一图像以及第二图像集合，通过深度学习算法或者基于视频的模型重建方法等能够对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型。

本实施例提供的技术方案，首先获取全局图像采集设备拍摄的第一图像，并根据第一图像确定候选区域集合，然后根据候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定局部图像采集设备对应的拍摄策略以及获取局部图像采集设备按照拍摄策略进行拍摄得到的第二图像集合，局部图像采集设备的拍摄角度可调节，拍摄策略包括局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备，最后针对拍摄区域集合中的每个拍摄区域，根据第一图像以及第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型，能够实现多对象光场三维重建，有利于提高生成的三维模型的准确性。

实施例二

图2为本发明实施例二提供的一种自适应多对象光场三维重建方法的流程图。本发明实施例是在上述实施例的基础上进行优化。可选的，本实施例对确定候选区域集合的过程以及对当前拍摄区域中包含的每个对象进行三维重建的过程进行详细的解释说明。

参见图2，本实施例的方法包括但不限于如下步骤：

S210，获取全局图像采集设备拍摄的第一图像，并根据第一图像确定候选区域集合。

可选的，所述根据所述第一图像确定候选区域集合，可以具体包括：确定所述第一图像对应的分数矩阵，其中，所述分数矩阵中的元素用于表征所述第一图像中对应的对象的位置点的重要程度；根据所述分数矩阵中大于第一预设阈值的分数所对应的位置点确定候选区域集合。

其中，第一预设阈值可以是预先设定好的，也可以视具体情况而定，本实施例不作具体限制。

具体的，在得到第一图像之后，先确定第一图像中包含的每个对象所对应的位置点的重要程度，即每个对象所对应的所有位置点中，哪些位置点为主要的位置点，哪些位置点为次要的位置点。通过确定所有位置点是否是主要位置点，可以确定所有位置点的重要程度。确定主要位置点的方法可以是通过关键点检测算法确定或者基于对象的形状和位姿确定等，本实施例不做具体限制。在确定了第一图像中包含的每个对象所对应的位置点的重要程度之后，通过每个对象所对应的位置点的重要程度能够得到第一图像对应的分数矩阵，例如将每个对象所对应的位置点中重要程度较高的位置点相应的分数也设置的大一些。在得到分数矩阵之后，选取分数矩阵中大于第一预设阈值的分数所对应的位置点，根据这些对应的位置点能够确定候选区域集合。例如，可以通过非极大值抑制算法将冗余的区域删除，最终得到的区域即为候选区域集合。

本发明实施例中，通过先确定第一图像对应的分数矩阵，再根据分数矩阵中大于第一预设阈值的分数所对应的位置点确定候选区域集合的方法，能够有效的从众多区域中选取出候选区域集合，减少了大量的工作量，且节省了时间。

进一步的，所述确定所述第一图像对应的分数矩阵，可以具体包括：根据对象检测算法确定所述第一图像中包括的所有对象以及每个对象对应的检测框与所述检测框中包含的相应对象的二维关键点的重叠度；将所有对象中重叠度小于或者等于第二预设阈值的对象确定为待计算对象，得到待计算对象集合；针对所述待计算对象集合中的每个待计算对象，确定当前待计算对象的密集度以及三维模型置信度，并根据所述密集度以及三维模型置信度得到当前待计算对象的位置点的重要程度；汇总所有待计算对象的位置点的重要程度，得到所述第一图像对应的分数矩阵。

其中，检测框可以理解为对象检测算法中的矩形检测框，用来确定每个对象对应的重叠度。第二预设阈值可以是预先设定好的，也可以视具体情况而定，本实施例不作具体限制。密集度可以理解为在待计算对象集合中，当前待计算对象在对象团体中的重要程度。对象团体可以理解为根据待计算对象集合中待计算对象之间小于预设阈值间距的所有对象组成的相应的团体。预设阈值间距可以是预先设定好的，也可以视具体情况而定，本实施例不作具体限制。三维模型置信度可以理解为当前待计算对象对应的三维模型的置信度，若当前待计算对象没有对应的三维模型，则它的三维模型置信度为0。

具体的，针对第一图像，先通过对象检测算法能够自动检测出第一图像中包括的所有对象以及每个对象对应的检测框与检测框中包含的相应对象的二维关键点的重叠度。在得到了每个对象对应的重叠度之后，也就能确定出每个对象对应的被遮挡程度。将所有对象中重叠度小于或者等于第二预设阈值的对象确定为待计算对象，得到待计算对象集合，也就是说每个待计算对象的被遮挡程度相对来说较小，可以将这些待计算对象筛选进资源池中进行后续的位置点的重要程度的计算，使后续确定的分数矩阵比较准确，接近实际情况。相应的，将所有对象中重叠度大于第二预设阈值的对象筛出，以免根据这些对象确定的位置点的重要程度不准确，进而影响后续的分数矩阵的准确性。针对待计算对象集合中的每个待计算对象，先确定当前待计算对象的密集度以及三维模型置信度，然后根据前待计算对象的密集度以及三维模型置信度能够确定当前待计算对象的位置点的重要程度；将所有待计算对象的位置点的重要程度汇总起来，就得到了第一图像对应的分数矩阵。

本发明实施例中，根据当前待计算对象的密集度以及三维模型置信度确定当前待计算对象的位置点的重要程度，从而得到第一图像对应的分数矩阵，使得所确定的分数矩阵更接近实际情况，有利于后续根据分数矩阵确定候选区域集合。

示例性的，确定第一图像对应的分数矩阵中的元素（即第一图像中对应的对象的位置点的重要程度）的过程，可以具体包括：

1）将每个待计算对象的中心点位置处的重要程度先置1；

2）密集度计算：根据预设阈值间距，能够确定对象团体分组，对象团体中包含的人数越多，说明该对象团体对应的密集度也越大，相应的就可以对对象团体的中心位置处的重要程度的值进行增加，以凸显该中心位置处的重要程度。示例性的，将待计算对象集合中待计算对象之间小于预设阈值间距的所有待计算对象划分成相应的对象团体，对于每一个对象团体，确定此对象团体的中心位置，对中心位置处的重要程度的值进行增加可以通过以下公式确定：

（1）

其中，M为此团体中待计算对象的个数，

为大于0的常系数，S为该团体中心位置 处的重要程度对应的值的增加值。

3）三维模型置信度计算：先确定当前待计算对象的三维模型置信度，对于每一个待计算对象，对应位置点的重要程度的增加值可以通过以下公式确定：

（2）

其中，c为当前待计算对象的三维模型置信度，

为大于0的常系数，C为当前待计 算对象对应位置点的重要程度的增加值。

需要说明的是：分数矩阵的尺寸和第一图像的尺寸相同，分数矩阵在计算前首先需要初始化，即将分数矩阵中的所有元素置0。

更进一步的，所述当前待计算对象的三维模型置信度可以具体通过以下方式确定：获取所述当前待计算对象对应的二维点坐标以及每个二维点对应的第一置信度，并根据所述第一置信度求取对应的置信度平均值；确定所述当前待计算对象是否存在对应的三维重建模型，若存在，则根据所述三维重建模型得到所述当前待计算对象对应的二维关键点坐标；确定每个二维点坐标与对应的二维关键点坐标之间的误差，将所述误差累加，得到所述当前待计算对象对应的二维点坐标的误差总和，并对所述置信度平均值、所述误差总和以及所述当前待计算对象对应的拍摄时长进行加权操作，得到所述当前待计算对象的三维模型置信度。

具体的，通过Openpose或者Hrnet等深度学习模型能够获取当前待计算对象对应的二维点坐标以及每个二维点对应的第一置信度，根据所有的第一置信度，能够求取当前待计算对象对应的置信度平均值。确定当前待计算对象是否存在对应的三维重建模型，如果存在，则根据该三维重建模型能够得到当前待计算对象的三维关键点，将这些三维关键点投影到二维，能够确定出当前待计算对象对应的二维关键点坐标。在得到了当前待计算对象对应的二维点坐标和二维关键点坐标之后，能够确定出每个二维点坐标与对应的二维关键点坐标之间的误差，将所有的误差累加，得到当前待计算对象对应的二维点坐标的误差总和。对当前待计算对象对应的置信度平均值、误差总和以及当前待计算对象对应的拍摄时长进行加权操作，就得到了当前待计算对象的三维模型置信度。

本发明实施例中，待计算对象的三维模型置信度与待计算对象对应的置信度平均值、误差总和以及待计算对象对应的拍摄时长均有关，因此三维模型置信度的确定过程充分考虑了各种影响因素，使得最终确定的三维模型置信度更准确，也更贴近实际情况。

S220，根据候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定局部图像采集设备对应的拍摄策略以及获取局部图像采集设备按照拍摄策略进行拍摄得到的第二图像集合，其中，局部图像采集设备的拍摄角度可调节，拍摄策略包括局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备。

可选的，所述根据所述候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定所述局部图像采集设备对应的拍摄策略，可以具体包括：确定所述候选区域的个数是否大于所述局部图像采集设备的总个数；若是，则获取所述候选区域集合中包括的每个候选区域对应的中心点的重要程度，并根据所述中心点的重要程度从所述候选区域集合中选取第一个数的候选区域，作为所述局部图像采集设备的拍摄区域集合，并为所述拍摄区域集合中的每个拍摄区域分配一个局部图像采集设备，其中，所述第一个数与所述总个数相等；若否，则将所述候选区域集合确定为所述局部图像采集设备的拍摄区域集合，并为所述拍摄区域集合中的每个拍摄区域分配预设个数的局部图像采集设备。

具体的，确定候选区域的个数是否大于局部图像采集设备的总个数，若候选区域的个数大于局部图像采集设备的总个数，则说明局部图像采集设备无法拍摄到所有的候选区域，此时需要获取候选区域集合中包括的每个候选区域对应的中心点的重要程度，并根据中心点的重要程度从候选区域集合中选取第一个数的候选区域，作为局部图像采集设备的拍摄区域集合，并为拍摄区域集合中的每个拍摄区域分配一个局部图像采集设备。若候选区域的个数小于或者等于局部图像采集设备的总个数，则说明局部图像采集设备能够拍摄到所有的候选区域，且有的拍摄区域可能会有多个局部图像采集设备进行拍摄，此时就将候选区域集合确定为局部图像采集设备的拍摄区域集合，并为拍摄区域集合中的每个拍摄区域分配预设个数的局部图像采集设备。

示例性的，预设个数可以通过以下方式确定：

（3）

其中，

为第i个候选区域对应的中心点的重要程度，round为四舍五入操作，u 为候选区域集合中所有候选区域对应的中心点的重要程度的平均值，n为拍摄第i个候选区 域的局部图像采集设备的个数。

本发明实施例中，通过将候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系划分为两种情况：即候选区域的个数大于局部图像采集设备的总个数，以及候选区域的个数小于或者等于局部图像采集设备的总个数，然后根据两种情况确定不同的局部图像采集设备对应的拍摄策略，使得每个局部图像采集设备都能够充分发挥它的作用，有利于后续的三维重建，且局部图像采集设备拍摄角度的调节过程可以通过计算机控制，不需要人为干预，能够达到自适应调节的效果。

S230，针对拍摄区域集合中的每个拍摄区域，确定每个拍摄区域中包含的所有对象。

由于拍摄区域集合中包括了多个拍摄区域，每个拍摄区域中又包括了多个对象，因此针对拍摄区域集合中的每个拍摄区域，需要确定每个拍摄区域中包含的所有对象，以便后续针对所有对象中的每个对象进行三维重建，得到每个对象所对应的三维重建模型。

本发明实施例，通过确定每个拍摄区域中包含的所有对象，避免了对象的遗漏，保证了后续三维重建过程的顺利进行。

S240，针对所有对象中的每个对象，确定第二图像集合中与当前对象对应的第二图像，根据第二图像的视场角与第一图像的视场角之间的倍数关系对第二图像以及第一图像分别进行裁剪，得到第二图像中与当前对象对应的第二图像块以及第一图像中与所述当前对象对应的第一图像块，将第一图像块和第二图像块进行特征融合，得到融合后的特征，基于融合后的特征，生成当前对象的拓扑结构，并通过自监督优化方法和多尺度时域微分优化方法对拓扑结构进行优化，得到当前对象对应的三维重建模型。

具体的，针对所有对象中的每个对象，可以并行的进行三维重建，即同时进行多个对象的三维重建过程。以一个对象的建模过程为例，先确定第二图像集合中与当前对象对应的第二图像（第二图像的个数可能大于1，因为可能有多个局部图像采集设备拍摄到了当前对象），根据第二图像的FOV与第一图像的FOV之间的倍数关系对第二图像以及第一图像分别进行裁剪，能够得到第二图像中与当前对象对应的第二图像块以及第一图像中与当前对象对应的第一图像块，将第一图像块和第二图像块进行特征融合，能够得到融合后的特征。

示例性的，假设第二图像集合中与当前对象对应的第二图像的个数为1，则特征融合过程可以通过下式表示：

（4）

其中，F表示融合后的特征，Fuse表示深度学习模型中对这些处理后的特征进行融 合的融合模块，

表示第一图像中与当前对象对应的第一图像块，

表示第二图像中与 当前对象对应的第二图像块，

表示将第一图像的中间特征按照

的裁剪方式进行 裁剪，

表示将第二图像的中间特征按照

的裁剪方式进行裁剪。

在得到融合后的特征F之后，基于融合后的特征F，先通过掩膜生成模块，能够确定出对应的对象掩膜，具体公式如下所示：

（5）

其中，Mask为深度学习模型中的掩膜生成模块，M为生成的对象掩膜，F为融合后的特征。

基于融合后的特征F，通过深度学习模型中的三维模型拓扑生成模块，能够得到生成当前对象的拓扑结构，具体公式如下所示：

（6）

其中，

表示当前对象的姿态参数，

表示当前对象的状态参数，t表示当前对 象在相机坐标系中的位置，Topology() 为当前对象的模板模型参数生成模块；SMPL() 表 示参数化三维模型生成函数，具体是通过模板模型参数生成对应的三维点，

表示当 前对象的拓扑结构。

在生成了当前对象的拓扑结构之后，可以先通过深度学习模型中的偏移量算法模块确定当前对象的拓扑结构对应的偏移量，通过将当前对象的拓扑结构与对应的偏移量相加，能够得到当前对象对应的初始三维重建模型，然后通过自监督优化方法和多尺度时域微分优化方法对该初始三维重建模型进行优化，能够得到当前对象对应的三维重建模型。

示例性的，自监督优化方法可以包括：对于得到的当前对象的拓扑结构，先利用可微渲染器将其渲染到二维，接着利用掩膜的边界信息对拓扑结构进行拉伸约束，即掩膜的边界和拓扑结构在二维上的边界之间的二次距离误差，同时加入拉普拉斯平滑项用来平滑拉伸的效果，最后利用高质色彩光影信息对拓扑结构进行逐点优化，生成对象表面的细节褶皱信息，能够对当前对象对应的拓扑结构进行优化，从而对初始三维重建模型进行优化。示例性的，将当前对象的拓扑结构渲染到二维、二次距离误差以及生成对象表面的细节褶皱信息可以通过如下表达式进行表示：

（7）

其中，

表示当前对象的拓扑结构，v表示当前对象的拓扑结构对应的二维形 式的点，Render表示从三维到二维的可微渲染模块，border表示取边界点，V表示优化过程 中的三维点，M表示生成的对象掩膜，L表示三维点的拉普拉斯坐标，Shading表示根据图像 的shading计算法线，

表示第二图像中与当前对象对应的第二图像块，

表示三维点V 的法线，这两个Loss函数能够将三维点V拉伸到合适的外形，并根据光影生成褶皱，Loss1 （V）表示掩膜的边界和拓扑结构在二维上的边界之间的二次距离误差，Loss2（V）表示第二 图像块的法线与三维点法线的误差。

相应的，Loss1（V）和Loss2（V）对应的数值越小，说明优化的效果越好，Loss1（V）是从状态方面对对象对应的初始三维重建模型进行优化，Loss2（V）是从褶皱方面对对象对应的初始三维重建模型进行优化。

示例性的，多尺度时域微分优化方法可以包括：假设当前对象对应的第一图像共 有T（大于0的常数）帧，对于根据与当前对象对应的第二图像（假设有T帧）以及第一图像（假 设有T帧）得到的初始三维重建模型（假设有T个），将所有的初始三维重建模型反变换到初 始姿态，即姿态参数

为0的状态。在时域上逼迫每一帧对应的初始姿态模型接近，误差为Loss3（V）。同时将生成的初始三维重建模型展开成二维纹理图，即初始三维重建模型上的 每一个三维点都对应二维纹理图上的一个位置，该位置上的色彩值表示对应三维点的纹理 颜色，在时域上对纹理图进行二次误差约束，因为纹理图某个位置对应拓扑结构中某个特 定的三维点，而某个特定的三维点理论上对应的色彩值在时域上应该是一致的，从而更好 地优化初始三维模型。示例性的，将初始三维重建模型反变换到初始姿态、在时域上逼迫每 一帧对应的初始姿态模型接近、展开二维纹理图以及对纹理图进行二次误差约束可以通过 如下表达式进行表示：

（8）

其中，

表示根据当前帧第二图像以及当前帧第一图像得到的初始三维重建模 型在给定姿态下的模型，简称当前帧给定姿态模型，

函数表示将当前帧给定姿 态模型

变换到初始

姿态下对应的模型，

表示将当前帧给定姿态模型变换到初 始姿态下所对应的初始姿态模型，简称当前帧对应的初始姿态模型，Unfold() 表示将当 前帧对应的初始三维重建模型展开成UV纹理图，UV表示得到的纹理图，

表示第t帧对 应的初始姿态模型，

表示第t+1帧对应的初始姿态模型，

表示第t帧对应的纹 理图，

表示第t+1帧对应的纹理图，t为当前对象对应的第二图像以及第一图像的帧 数，为大于或者等于0的常数，具体数值视具体情况而定，T表示t的最大取值，Loss3（V）表示 相邻帧对应的初始姿态模型之间的误差，Loss4（V）表示相邻帧对应的纹理图之间的二次误 差。

相应的，Loss3（V）和Loss4（V）对应的数值越小，说明优化的效果越好，Loss3（V）是从初始姿态方面对对象对应的初始三维重建模型进行优化，Loss4（V）是从色彩方面对对象对应的初始三维重建模型进行优化。

需要说明的是：理论上对象对应的初始三维重建模型的状态是不随时间变化的，所以Loss3（V）约束了初始三维重建模型的初始姿态不随时间改变而变化。因为初始三维重建模型的姿态改变，拉伸以及表面褶皱是基于SMPL改良的，所以能够以固定的方式展开成UV纹理图。并且理论上对象的相同区域的色彩值应该相同，所以在UV值的时域上应该保持一致。

本发明实施例中，通过Loss1（V）-Loss4（V）这四个约束函数，分别从状态、褶皱、初始姿态以及色彩四个方面对对象对应的初始三维重建模型进行优化，使得最终得到的三维重建模型更准确，与对象的匹配程度更高。

可选的，针对所述拍摄区域集合中的每个拍摄区域，确定所述第二图像集合中未拍摄到的对象，并确定所述未拍摄到的对象是否存在对应的三维重建模型；若是，则对所述三维重建模型进行更新。

具体的，针对拍摄区域集合中的每个拍摄区域，由于第二图像集合不能涵盖当前场景包含的所有对象，因此需要确定第二图像集合中未拍摄到的对象，以及确定未拍摄到的对象是否存在对应的三维重建模型。如果未拍摄到的对象存在对应的三维重建模型，则能够对三维重建模型进行更新，具体的更新过程如下式所示：

（9）

其中，P(J) 为三维姿态J通过当前的局部图像采集设备对应的参数投影到二维的点，D为通过Openpose或者Hrnet等深度学习模型求出的二维坐标点的位置。通过极小化E(J) 能够获得最优J。此时的最优J即为当前帧的未拍摄到的对象对应的三维姿态。由于帧与帧之间的时间间隔很小，优化的初值为之前的三维重建模型中储存的三维姿态，所以能够节省优化的时间。并且，此时未拍摄到的对象的置信度会从最初被局部图像采集设备拍摄到的那一帧图像到此帧未被拍摄到的帧图像逐渐递减。

本发明实施例中，通过对未拍摄到的对象存在的对应的三维重建模型进行更新，使得其对应的三维重建模型更为准确。

本实施例提供的技术方案，在确定了局部图像采集设备对应的拍摄策略以及获取局部图像采集设备按照拍摄策略进行拍摄得到的第二图像集合之后，先针对拍摄区域集合中的每个拍摄区域，确定每个拍摄区域中包含的所有对象，然后针对所有对象中的每个对象，确定第二图像集合中与当前对象对应的第二图像，根据第二图像的视场角与第一图像的视场角之间的倍数关系对第二图像以及第一图像分别进行裁剪，得到第二图像中与当前对象对应的第二图像块以及第一图像中与所述当前对象对应的第一图像块，将第一图像块和第二图像块进行特征融合，得到融合后的特征，基于融合后的特征，生成当前对象的拓扑结构，并通过自监督优化方法和多尺度时域微分优化方法对拓扑结构进行优化，得到当前对象对应的三维重建模型，能够实现大场景下多对象的三维重建，使得最终得到的三维重建模型从状态、褶皱、初始姿态以及色彩四个方面更加接近对象，提高了三维重建模型的准确性。

实施例三

图3为本发明实施例三提供的一种自适应多对象光场三维重建装置的结构示意图，如图3所示，该装置可以包括：

区域集合获取模块310，用于获取全局图像采集设备拍摄的第一图像，并根据所述第一图像确定候选区域集合；

图像集合确定模块320，用于根据所述候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定所述局部图像采集设备对应的拍摄策略以及获取所述局部图像采集设备按照所述拍摄策略进行拍摄得到的第二图像集合，其中，所述局部图像采集设备的拍摄角度可调节，所述拍摄策略包括所述局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备；

重建模型确定模块330，用于针对所述拍摄区域集合中的每个拍摄区域，根据所述第一图像以及所述第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型。

本实施例提供的技术方案，首先获取全局图像采集设备拍摄的第一图像，并根据第一图像确定候选区域集合，然后根据候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定局部图像采集设备对应的拍摄策略以及获取局部图像采集设备按照拍摄策略进行拍摄得到的第二图像集合，局部图像采集设备的拍摄角度可调节，拍摄策略包括局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备，最后针对拍摄区域集合中的每个拍摄区域，根据第一图像以及第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型，能够实现多对象光场三维重建，有利于提高生成的三维模型的准确性。

进一步的，上述区域集合获取模块310，可以包括：分数矩阵确定单元，用于确定所述第一图像对应的分数矩阵，其中，所述分数矩阵中的元素用于表征所述第一图像中对应的对象的位置点的重要程度；区域集合确定单元，用于根据所述分数矩阵中大于第一预设阈值的分数所对应的位置点确定候选区域集合。

进一步的，上述分数矩阵确定单元，可以具体用于：根据对象检测算法确定所述第一图像中包括的所有对象以及每个对象对应的检测框与所述检测框中包含的相应对象的二维关键点的重叠度；将所有对象中重叠度小于或者等于第二预设阈值的对象确定为待计算对象，得到待计算对象集合；针对所述待计算对象集合中的每个待计算对象，确定当前待计算对象的密集度以及三维模型置信度，并根据所述密集度以及三维模型置信度得到当前待计算对象的位置点的重要程度；汇总所有待计算对象的位置点的重要程度，得到所述第一图像对应的分数矩阵。

进一步的，上述图像集合确定模块320，可以具体用于：确定所述候选区域的个数是否大于所述局部图像采集设备的总个数；若是，则获取所述候选区域集合中包括的每个候选区域对应的中心点的重要程度，并根据所述中心点的重要程度从所述候选区域集合中选取第一个数的候选区域，作为所述局部图像采集设备的拍摄区域集合，并为所述拍摄区域集合中的每个拍摄区域分配一个局部图像采集设备，其中，所述第一个数与所述总个数相等；若否，则将所述候选区域集合确定为所述局部图像采集设备的拍摄区域集合，并为所述拍摄区域集合中的每个拍摄区域分配预设个数的局部图像采集设备。

进一步的，上述重建模型确定模块330，可以具体用于：针对所述拍摄区域集合中的每个拍摄区域，确定所述每个拍摄区域中包含的所有对象；针对所有对象中的每个对象，确定所述第二图像集合中与当前对象对应的第二图像，根据所述第二图像的视场角与所述第一图像的视场角之间的倍数关系对所述第二图像以及所述第一图像分别进行裁剪，得到所述第二图像中与所述当前对象对应的第二图像块以及所述第一图像中与所述当前对象对应的第一图像块，将所述第一图像块和所述第二图像块进行特征融合，得到融合后的特征，基于所述融合后的特征，生成所述当前对象的拓扑结构，并通过自监督优化方法和多尺度时域微分优化方法对所述拓扑结构进行优化，得到所述当前对象对应的三维重建模型。

进一步的，上述自适应多对象光场三维重建装置，还可以包括：判断模块，用于针对所述拍摄区域集合中的每个拍摄区域，确定所述第二图像集合中未拍摄到的对象，并确定所述未拍摄到的对象是否存在对应的三维重建模型；更新模块，用于若所述未拍摄到的对象存在对应的三维重建模型，则对所述三维重建模型进行更新。

进一步的，所述当前待计算对象的三维模型置信度通过以下方式确定：获取所述当前待计算对象对应的二维点坐标以及每个二维点对应的第一置信度，并根据所述第一置信度求取对应的置信度平均值；确定所述当前待计算对象是否存在对应的三维重建模型，若存在，则根据所述三维重建模型得到所述当前待计算对象对应的二维关键点坐标；确定每个二维点坐标与对应的二维关键点坐标之间的误差，将所述误差累加，得到所述当前待计算对象对应的二维点坐标的误差总和，并对所述置信度平均值、所述误差总和以及所述当前待计算对象对应的拍摄时长进行加权操作，得到所述当前待计算对象的三维模型置信度。

本实施例提供的自适应多对象光场三维重建装置可适用于上述任意实施例提供的自适应多对象光场三维重建方法，具备相应的功能和有益效果。

实施例四

图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器410、存储装置420和通信装置430；计算机设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；计算机设备中的处理器410、存储装置420和通信装置430可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储装置420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的自适应多对象光场三维重建方法对应的模块（例如，用于自适应多对象光场三维重建装置中的区域集合获取模块310、图像集合确定模块320和重建模型确定模块330）。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的自适应多对象光场三维重建方法。

存储装置420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置430，用于实现服务器之间的网络连接或者移动数据连接。

本实施例提供的一种计算机设备可用于执行上述任意实施例提供的自适应多对象光场三维重建方法，具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器或者网络设备等）执行本发明各个实施例所述的方法。

值得注意的是，上述自适应多对象光场三维重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种自适应多对象光场三维重建方法，其特征在于，包括：

获取全局图像采集设备拍摄的第一图像，并根据所述第一图像确定候选区域集合；

根据所述候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定所述局部图像采集设备对应的拍摄策略以及获取所述局部图像采集设备按照所述拍摄策略进行拍摄得到的第二图像集合，其中，所述局部图像采集设备的拍摄角度可调节，所述拍摄策略包括所述局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备；

针对所述拍摄区域集合中的每个拍摄区域，根据所述第一图像以及所述第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像确定候选区域集合，包括：

确定所述第一图像对应的分数矩阵，其中，所述分数矩阵中的元素用于表征所述第一图像中对应的对象的位置点的重要程度；

根据所述分数矩阵中大于第一预设阈值的分数所对应的位置点确定候选区域集合。

3.根据权利要求2所述的方法，其特征在于，所述确定所述第一图像对应的分数矩阵，包括：

根据对象检测算法确定所述第一图像中包括的所有对象以及每个对象对应的检测框与所述检测框中包含的相应对象的二维关键点的重叠度；

将所有对象中重叠度小于或者等于第二预设阈值的对象确定为待计算对象，得到待计算对象集合；

针对所述待计算对象集合中的每个待计算对象，确定当前待计算对象的密集度以及三维模型置信度，并根据所述密集度以及三维模型置信度得到当前待计算对象的位置点的重要程度；

汇总所有待计算对象的位置点的重要程度，得到所述第一图像对应的分数矩阵。

4.根据权利要求2所述的方法，其特征在于，所述根据所述候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定所述局部图像采集设备对应的拍摄策略，包括：

确定所述候选区域的个数是否大于所述局部图像采集设备的总个数；

若是，则获取所述候选区域集合中包括的每个候选区域对应的中心点的重要程度，并根据所述中心点的重要程度从所述候选区域集合中选取第一个数的候选区域，作为所述局部图像采集设备的拍摄区域集合，并为所述拍摄区域集合中的每个拍摄区域分配一个局部图像采集设备，其中，所述第一个数与所述总个数相等；

若否，则将所述候选区域集合确定为所述局部图像采集设备的拍摄区域集合，并为所述拍摄区域集合中的每个拍摄区域分配预设个数的局部图像采集设备。

5.根据权利要求1所述的方法，其特征在于，所述针对所述拍摄区域集合中的每个拍摄区域，根据所述第一图像以及所述第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型，包括：

针对所述拍摄区域集合中的每个拍摄区域，确定所述每个拍摄区域中包含的所有对象；

针对所有对象中的每个对象，确定所述第二图像集合中与当前对象对应的第二图像，根据所述第二图像的视场角与所述第一图像的视场角之间的倍数关系对所述第二图像以及所述第一图像分别进行裁剪，得到所述第二图像中与所述当前对象对应的第二图像块以及所述第一图像中与所述当前对象对应的第一图像块，将所述第一图像块和所述第二图像块进行特征融合，得到融合后的特征，基于所述融合后的特征，生成所述当前对象的拓扑结构，并通过自监督优化方法和多尺度时域微分优化方法对所述拓扑结构进行优化，得到所述当前对象对应的三维重建模型。

6.根据权利要求1所述的方法，其特征在于，还包括：

针对所述拍摄区域集合中的每个拍摄区域，确定所述第二图像集合中未拍摄到的对象，并确定所述未拍摄到的对象是否存在对应的三维重建模型；

若是，则对所述三维重建模型进行更新。

7.根据权利要求3所述的方法，其特征在于，所述当前待计算对象的三维模型置信度通过以下方式确定：

获取所述当前待计算对象对应的二维点坐标以及每个二维点对应的第一置信度，并根据所述第一置信度求取对应的置信度平均值；

确定所述当前待计算对象是否存在对应的三维重建模型，若存在，则根据所述三维重建模型得到所述当前待计算对象对应的二维关键点坐标；

确定每个二维点坐标与对应的二维关键点坐标之间的误差，将所述误差累加，得到所述当前待计算对象对应的二维点坐标的误差总和，并对所述置信度平均值、所述误差总和以及所述当前待计算对象对应的拍摄时长进行加权操作，得到所述当前待计算对象的三维模型置信度。

8.一种自适应多对象光场三维重建装置，其特征在于，包括：

区域集合获取模块，用于获取全局图像采集设备拍摄的第一图像，并根据所述第一图像确定候选区域集合；

图像集合确定模块，用于根据所述候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系，确定所述局部图像采集设备对应的拍摄策略以及获取所述局部图像采集设备按照所述拍摄策略进行拍摄得到的第二图像集合，其中，所述局部图像采集设备的拍摄角度可调节，所述拍摄策略包括所述局部图像采集设备的拍摄区域集合以及为每个拍摄区域分配对应的局部图像采集设备；

重建模型确定模块，用于针对所述拍摄区域集合中的每个拍摄区域，根据所述第一图像以及所述第二图像集合对当前拍摄区域中包含的每个对象进行三维重建，得到每个对象所对应的三维重建模型。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的自适应多对象光场三维重建方法。

Images