CN112562057A - 三维重建系统及方法 - Google Patents

Abstract

本申请公开了一种三维重建系统及方法，属于图像处理领域。该系统包括：包括：转台、至少两台摄像机以及图像处理设备。该转台的承载面上设置有图案，至少两台摄像机能够采集包含转台以及位于转台上的目标对象的多帧图像。图像处理设备能够基于每帧图像中的图案，直接确定出该图像的位姿信息，有效的降低了三维重建处理时的运算量，使得获取三维图像的效率较高。并且，该三维重建系统中采用的摄像机均是光学摄像机，无需采用用于直接获取三维图像的专业的三维图像摄像机，有效的降低了三维重建系统的制造成本。

Description

三维重建系统及方法

技术领域

本申请涉及图像处理领域，特别涉及一种三维重建系统及方法。

背景技术

随着科技的发展，越来越多的场景下需要获取物体的三维图像。例如，在网上购物的场景中，可以获取该商品的三维图像，使得用户能够基于该三维图像更好的了解到商品的外观。

目前，在物体的三维图像的获取过程中，需要采用摄像机采集物体的各个拍摄方向上的包含物体的多帧图像，将该多帧图像进行三维重建处理，即可得到物体的三维图像。为了得到成像质量较高的三维图像，需要摄像机获取的图像的帧数较多，例如，按照顺时针顺序或逆时帧顺序每间隔15°采用摄像机对物体进行拍摄，然后再将获取到的24帧图像进行三维重建处理。

在实现本申请的过程中，发明人发现目前在三维重建过程中，在获取到多帧图像后，需要基于每一帧图像中的物体以及其他图像的物体的位置关系，采用算法获取每一帧图像的用于表征摄像机拍摄物体时的摄像机与物体的位置关系的位姿信息，导致三维重建处理时的运算量较大，从而导致获取三维图像的效率较低。

发明内容

本申请实施例提供了一种三维重建系统及方法。可以解决现有技术的获取三维图像的效率较低的问题，所述技术方案如下：

一方面，提供了一种三维重建系统，所述系统包括：

转台，所述转台的承载面上设置有图案，所述转台用于在所述转台承载目标对象时进行自转；

至少两台摄像机，所述至少两台摄像机中各个摄像机的倾角不同，所述至少两台摄像机用于采集包含所述转台以及位于所述转台上的目标对象的多帧图像；

图像处理设备，所述图像处理设备与所述至少两台摄像机通信连接，所述图像处理设备包括：

第一获取模块，用于获取所述至少两台摄像机采集的多帧图像；

确定模块，用于基于所述多帧图像中的转台的图案，确定每帧所述图像的位姿信息，所述位姿信息用于表征所述摄像机拍摄所述目标对象时的所述摄像机与所述目标对象的位置关系；

第二获取模块，用于基于所述多帧图像以及每帧所述图像的位姿信息，获取所述目标对象的三维图像。

可选的，所述至少两台摄像机包括：第一摄像机和第二摄像机，所述第一摄像机的倾角大于所述第二摄像机的倾角，所述第一摄像机用于采集多帧第一图像，所述第二摄像机用于采集多帧第二图像，所述多帧第一图像与所述多帧第二图像一一对应；

所述确定模块包括：

第一确定单元，用于基于所述多帧第一图像中的转台的图案，确定每帧所述第一图像的位姿信息；

第二确定单元，用于基于每帧所述第一图像的位姿信息，以及所述第一摄像机与第二摄像机的位置关系，确定与所述第一图像对应的第二图像的位姿信息。

可选的，所述第二获取模块包括：

获取单元，用于获取与所述多帧第二图像对应的包含所述目标对象的轮廓的多帧轮廓图像；

建立单元，用于基于所述多帧第二图像的位姿信息以及所述多帧轮廓图像，建立所述目标对象的三维模型；

映射单元，用于基于每帧所述第一图像以及每帧所述第二图像的位姿信息，在所述三维模型上映射所述多帧第一图像以及所述多帧第二图像中的目标对象的纹理图案，以得到所述目标对象的三维图像。

可选的，所述建立单元，用于：

基于每帧所述轮廓图像，获取与每帧所述轮廓图像对应的倒角图；

基于所述多帧第二图像的位姿信息，以及与每帧所述轮廓图像对应的倒角图，建立所述目标对象的三维模型。

可选的，所述转台的承载面上设置的图案为网格状图案，所述网格状图案中包含非对称图形。

可选的，所述系统还包括：

采样空间，以及位于所述采样空间内的补光灯；

其中，所述转台位于所述采样空间内，所述补光灯用于照射所述采样空间，以使所述采样空间内各位置处的光强一致。

另一方面，提供了一种三维重建方法，应用于图像处理设备，所述方法包括：

获取至少两台摄像机采集的包含转动的转台以及位于所述转台上的目标对象的多帧图像，所述转台的承载面上设置有图案，所述至少两台摄像机中各个摄像机的倾角不同；

基于所述多帧图像中的转台的图案，确定每帧所述图像的位姿信息，所述位姿信息用于表征所述摄像机拍摄所述目标对象时的所述摄像机与所述目标对象的位置关系；

基于所述多帧图像以及每帧所述图像的位姿信息，获取所述目标对象的三维图像。

可选的，所述至少两台摄像机包括：第一摄像机和第二摄像机，所述第一摄像机的倾角大于所述第二摄像机的倾角，所述第一摄像机用于采集多帧第一图像，所述第二摄像机用于采集多帧第二图像，所述多帧第一图像与所述多帧第二图像一一对应，

基于所述多帧图像中的转台的图案，确定每帧所述图像的位姿信息，包括：

基于所述多帧第一图像中的转台的图案，确定每帧所述第一图像的位姿信息；

将每帧所述第一图像的位姿信息，确定为与所述第一图像对应的第二图像的位姿信息。

可选的，基于所述多帧图像以及每帧所述图像的位姿信息，获取所述目标对象的三维图像，包括：

获取与所述多帧第二图像对应的包含所述目标对象的轮廓的多帧轮廓图像；

基于所述多帧第二图像的位姿信息以及所述多帧轮廓图像，建立所述目标对象的三维模型；

基于每帧所述第一图像以及每帧所述第二图像的位姿信息，在所述三维模型上映射所述多帧第一图像以及所述多帧第二图像中的目标对象的纹理图案，以得到所述目标对象的三维图像。

可选的，基于所述多帧第二图像的位姿信息以及所述多帧轮廓图像，建立所述目标对象的三维模型，包括：

基于每帧所述轮廓图像，获取与每帧所述轮廓图像对应的倒角图；

基于所述多帧第二图像的位姿信息，以及与每帧所述轮廓图像对应的倒角图，建立所述目标对象的三维模型。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过获取至少两台摄像机采集的包含转台以及位于转台上的目标对象的多帧图像，基于每帧图像中的图案，直接确定出该图像的位姿信息。无需基于每一帧图像中的物体以及其他图像的物体的位置关系，采用算法获取每一帧图像的位姿信息。有效的降低了三维重建处理时的运算量，使得获取三维图像的效率较高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种三维重建系统的结构示意图；

图2是本申请实施例提供的一种图像处理设备的框图；

图3是本申请实施例提供的另一种三维重建系统的结构示意图；

图4是本申请实施例提供的一种第一图像的效果图；

图5是本申请实施例提供的一种第二图像的效果图；

图6是本申请实施例提供的一种三维重建方法的流程图；

图7是本申请实施例提供的另一种三维重建方法的流程图；

图8是本申请实施例提供的一种第一标定图像的效果图；

图9是本申请实施例提供的一种第二标定图像的效果图；

图10是本申请实施例提供的一种轮廓图像的效果图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，图1是本申请实施例提供的一种三维重建系统的结构示意图。该三维重建系统100可以包括：转台101、至少两台摄像机102以及图像处理设备103。

转台101具有承载面101a，该转台101的承载面101a上设置有图案。该转台101用于在其承载目标对象200时进行自转。可选的，该转台101为圆盘型转台，目标对象200可以位于转台101的中心位置处。

至少两台摄像机102中各个摄像机102的倾角不同。在本申请实施例中，该摄像机102的倾角是指摄像机102的光轴与地面的夹角，而地面通常平行于转台101的承载面101a，因此，该摄像机102的倾角也可以为摄像机102的光轴与转台101的承载面101a的夹角。该至少两台摄像机102用于采集包含转台101以及位于转台101上的目标对象200的多帧图像。在本发明实施例中，摄像机102所采集的图像可以为彩色图像(也称RGB图像)、黑白图像、红外图像或深度图像等。当摄像机102所采集的图像为彩色图像或黑白图像时，该摄像机102可以为包含一个摄像头的单目摄像机；当摄像机102所采集的图像为红外图像时，该摄像机102可以为带有红外功能的单目摄像机；当摄像机102所采集的图像为深度图像时，该摄像机102可以为包含两个摄像头的双目摄像机或者包含深度摄像头的摄像机。

需要说明的是，该三维重建系统100中的摄像机102的个数与摄像机102的视场角相关。需要保证三维重建系统100中的至少两台摄像机102的视场角之和大于或等于180度，使得该三维重新系统100能够获取到目标对象200各个位置处的信息。例如，假设每台摄像机102的视场角均为60度，则该三维重建系统100中的摄像机102的个数为3个；又例如，假设摄像机102的视场角为90度，则该三维重建系统100中的摄像机102的个数为2个。

图像处理设备103可以为终端，例如，其可以为计算机、平板电脑、智能手机、车载导航仪、多媒体播放器或者可穿戴式设备等。至少两台摄像机102中每台摄像机102均可以与图像处理摄像103通信连接。需要说明的是，本申请实施例中所谓的通信连接，可以是通过有线网络或者无线网络建立的通信连接。

请参考图2，图2是本申请实施例提供的一种图像处理设备的框图。该图像处理设备103可以包括：

第一获取模块1031，用于获取至少两台摄像机采集的多帧图像。

确定模块1032，用于基于多帧图像中的转台的图案，确定每帧图像的位姿信息。该位姿信息用于表征摄像机拍摄目标对象时的摄像机与目标对象的位置关系。

第二获取模块1033，用于基于每帧图像的位姿信息与多帧图像，获取目标对象的三维图像。

在本申请实施例中，在转台101开始转动时，位于该转台101上的目标对象200也随之转动，每台摄像机101均可以朝向目标对象200进行连续的拍照。例如，假设转台101旋转一周的时间为78秒，每台摄像机102采集图像的速度为2帧每秒，此时，转台101在旋转一周后，每台摄像机102能够采集到156帧图像。需要说明的是，摄像机102所采集每帧图像的位姿信息不同，也即是，摄像机102采集每帧图像时摄像机102与目标对象200的位置关系不同。

由于转台101与目标对象是同步进行旋转的，且摄像机102采集的图像只能够包含目标对象200以及位于该目标对象200下方的转台101，摄像机102采集的每帧图像中的转台101的图案各不相同。因此，图像处理设备103可以直接基于每帧图像中转台101的图案，确定该帧图像的位姿信息，进而使得图像处理设备103能够基于多帧图像以及每帧图像的位姿信息，获取目标对象200的三维图像，降低了三维重建处理时的运算量，使得获取三维图像的效率较高。进一步的，由于该三维重建系统中采用的摄像机102均是能够采集图像的光学摄像机，该三维重新系统中无需采用用于直接获取三维图像的专业的三维图像摄像机，因此该三维重建系统的制造成本较低。

综上所述，本申请实施例提供的三维重建系统，包括：转台、至少两台摄像机以及图像处理设备。该转台的承载面上设置有图案，至少两台摄像机能够采集包含转台以及位于转台上的目标对象的多帧图像。图像处理设备能够基于每帧图像中的图案，直接确定出该图像的位姿信息。无需基于每一帧图像中的物体以及其他图像的物体的位置关系，采用算法获取每一帧图像的位姿信息。有效的降低了三维重建处理时的运算量，使得获取三维图像的效率较高。

请参考图3，图3是本申请实施例提供的另一种三维重建系统的结构示意图。转台101的承载面101a上设置的图案可以为网格状图案，后续图像处理设备103能够基于网格状图案，获取每帧图像的位置信息。

该网格状图案中包含非对称图形(图3中未画出)。通过该非对称图形能够区分目标对象200在(0°，180°)的范围内进行旋转时摄像机102所采集的图像的位姿信息，与目标对象200在(180°，360°)的范围内进行旋转时摄像机102所采集的图像的位姿信息。

可选的，该三维重建系统100还可以包括：采样空间104，以及位于该采样空间104内的补光灯105。其中，转台101位于该采样空间104内，该补光灯105用于照射采样空间104，以使该采样空间104内各位置处的光强一致。此时，对摄像机102采集包含目标对象200的图像时，能够保证所采集到的图像的图像质量较高，进而提高了后续获取到的目标对象200的三维图像的成像质量。

在本申请实施例中，该三维重建系统100中的至少两台摄像机102可以包括：第一摄像机102a和第二摄像机102b。该第一摄像机102a的倾角大于第二摄像机102b的倾角。在本申请实施例中，该三维重建系统100还可以包括：支撑架106，第一摄像机102a与第二摄像机102b均可以固定在该支撑架106上。

该第一摄像机102a用于采集包含转台101以及位于转台101上的目标对象200的多帧第一图像，该第二摄像机102b用于采集包含转台101以及位于转台101上的目标对象200的多帧第二图像。需要说明的是，第一摄像机102a与第二摄像机102b是同时进行拍摄的，且第一摄像机102a与第二摄像机102b的采集图像的速率相同，因此，第一摄像机102a所采集的多帧第一图像与第二摄像机102b所采集的多帧第二图像一一对应。

此时，三维重建系统100中的图像处理设备103中的确定模块1031可以包括：第一确定单元，用于基于多帧第一图像中的转台的图案，确定每帧第一图像的位姿信息；第二确定单元，用于基于每帧第一图像的位姿信息，以及第一摄像机与第二摄像机的位置关系，确定与第一图像对应的第二图像的位姿信息。

由于第一摄像机101a的倾角相对于第二摄像机102b的倾角较大，第一摄像机101a所采集的多帧第一图像中的每一帧第一图像中的转台101的图案的畸变量较小。例如，第一摄像机101a采集的第一图像如图4所述，第二摄像机101b采集的第二图像如图5所示。第一图像中的转台101的网格状图案中的每个格子的棱角近似为90度，第二图像中的转台101的网格状图案中的每个格子的棱角明显小于90度，第一图像中的转台101的图案的畸变量小于第二图像中的转台101的图案的畸变量。因此，图像处理设备103基于多帧第一图像中的转台的图案，确定出的每帧第一图像的位姿信息较为准确，进而使得后续确定出的每帧第二图像的位姿信息也较为准确，进而提高了后续获取到的目标对象的三维图像的成像质量。

可选的，图像处理设备103中的第二获取模块模块1033可以包括：获取单元，用于获取与多帧第二图像对应的包含目标对象的轮廓的多帧轮廓图像；建立单元，用于基于多帧第二图像的位姿信息以及多帧轮廓图像，建立目标对象的三维模型；映射单元，用于基于每帧第一图像以及每帧第二图像的位姿信息，在三维模型上映射多帧第一图像以及多帧第二图像中的目标对象的纹理图案，以得到目标对象的三维图像。需要说明的是，当需要在三维模型上映射第一图像与第二图像中的目标对象的纹理图案时，需要保证第一摄像机所采集的每帧第一图像与第二摄像机所采集的每帧第二图像均为彩色图像，或者均为黑白图像，或者均为红外图像。当第一摄像机所采集的每帧第一图像与第二摄像机所采集的每帧第二图像均为彩色图像时，在三维模型上映射第一图像与第二图像中的目标对象的纹理图案后，所得到的目标对象的三维图像为彩色的三维图像。

由于第二摄像机102b的倾角相对于第一摄像机102a的倾角较小，第二摄像机102b所采集的多帧第二图像中的每一帧第二图像均包含信息较为完整的目标对象的图像信息。例如，如图4和图5所示，第二图像所包含的目标对象的图像信息明显多于第一图像所包含的目标对象的图像信息。因此，图像处理设备101基于第二摄像机101a采集的多帧第二图像中包含目标对象的图像，所建立的目标对象的三维模型的结构较为准确，进而提高了后续获取到的目标对象的三维图像的成像质量。

可选的，该建立单元，用于：基于每帧轮廓图像，获取与每帧轮廓图像对应的倒角图；基于多帧第二图像的位姿信息，以及与每帧轮廓图像对应的倒角图，建立目标对象的三维模型。其中，倒角图中的多个像素与轮廓图中的多个像素一一对应；倒角图中的每个像素的像素值为：在轮廓图像中对应的像素与目标对象的轮廓的最小距离；当轮廓图像中像素位于目标对象的轮廓之外时，倒角图中对应像素的像素值为正数；当轮廓图像中像素位于目标对象的轮廓之内时，倒角图中对应像素的像素值为负数。

综上所述，本申请实施例提供的三维重建系统，包括：转台、至少两台摄像机以及图像处理设备。该转台的承载面上设置有图案，至少两台摄像机能够采集包含转台以及位于转台上的目标对象的多帧图像。图像处理设备能够基于每帧图像中的图案，直接确定出该图像的位姿信息。无需基于每一帧图像中的物体以及其他图像的物体的位置关系，采用算法获取每一帧图像的位姿信息。有效的降低了三维重建处理时的运算量，使得获取三维图像的效率较高。

需要说明的是，上述实施例示出的三维重建系统获取目标对象的三维图像的过程，可以参考下述有关三维重建方法的实施例。

请参考图6，图6是本申请实施例提供的一种三维重建方法的流程图。该三维重建方法应用于图1或图3示出的三维重建系统100中的图像处理设备103。

该三维重建方法可以包括：

步骤201、获取至少两台摄像机采集的包含转台以及位于转台上的目标对象的多帧图像。

步骤202、基于多帧图像中的转台的图案，确定每帧图像的位姿信息。该位姿信息用于表征摄像机拍摄目标对象时的摄像机与目标对象的位置关系。

步骤203、基于多帧图像与每帧图像的位姿信息，获取目标对象的三维图像。

综上所述，本申请实施例提供的三维重建方法，通过获取至少两台摄像机采集的包含转台以及位于转台上的目标对象的多帧图像，基于每帧图像中的图案，直接确定出该图像的位姿信息。无需基于每一帧图像中的物体以及其他图像的物体的位置关系，采用算法获取每一帧图像的位姿信息。有效的降低了三维重建处理时的运算量，使得获取三维图像的效率较高。

请参考图7，图7是本申请实施例提供的另一种三维重建方法的流程图。该三维重建方法应用于图3示出的三维重建系统100中的图像处理设备103。该三维重建方法可以包括：

步骤301、对每个摄像机进行标定处理，以获取每个摄像机的内参信息和外参信息。

示例的，第一摄像机可以采集包含具有黑白棋盘图案的标定板的第一标定图像，第二摄像机可以采集包含该标定板的第二标定图像。需要说明的是，该标定板可以正对于第二摄像机，也即是，第二摄像机的光轴垂直于该标定板，例如，第一摄像机采集到的第一标定图像如图8所示，第二摄像机采集到的第二标定图像如图9所示。

第一摄像机可以将其采集的第一标定图像发送给图像处理设备，使得该图像处理设能够基于该第一摄标定图像对第一摄像机进行标定处理，以获取第一摄像机的内参信息和外参信息；第二摄像机可以将其采集的第二标定图像发送给图像处理设备，使得该图像处理设能够基于该第二摄标定图像对第二摄像机进行标定处理，以获取第二摄像机的内参信息和外参信息。

步骤302、获取第一摄像机采集的多帧第一图像，以及第二摄像机采集的多帧第二图像。

在本申请实施例中，在图像处理设备对第一摄像机与第二摄像机进行标定处理后，三维重建系统中的转台可以带动位于该转台上的目标对象进行自转。此时，图像处理设备可以获取第一摄像机采集的多帧第一图像，以及第二摄像机采集的多帧第二图像。该多帧第一图像与多帧第二图像一一对应。

例如，假设转台旋转一周的时长为78秒，第一摄像机与第二摄像机采集图像的速度均为2帧每秒，此时，转台在旋转一周后，第一摄像机能够采集到156帧第一图像，第二摄像机也能够采集到156帧第二图像。

步骤303、基于多帧第一图像中的转台的图案，确定每帧第一图像的位姿信息。

在本申请实施例中，图像处理设备能够基于多帧第一图像中的转台的图案，确定每帧第一图像的位姿信息。由于第一摄像机的倾角较大，该第一摄像机所采集的第一图像中的转盘的图案的畸变量较小，图像处理设备确定出的每帧第一图像的位姿信息较为准确。

步骤304、基于每帧第一图像的位姿信息，以及第一摄像机与第二摄像机的位置关系，确定与第一图像对应的第二图像的位姿信息。

在本申请实施例中，图像处理设备能够基于每帧第一图像的位姿信息，以及第一摄像机与第二摄像机的位置关系，确定与第一图像对应的第二图像的位姿信息。

由于第二摄像机的倾角较小，该第二摄像机所采集的第二图像中的转盘的图案的畸变量较大，若图像处理设备直接基于第二图像中的转盘的图案，确定第二图像的位姿信息，所确定出的位姿信息的准确较低。因此，图像处理设备需要基于准确的较高的每帧第一图像的位姿信息，以及第一摄像机与第二摄像机的位置关系，确定与第一图像对应的第二图像的位姿信息。此时，图像处理设备确定出的每帧第二图像的位姿信息也较为准确，进而提高了后续获取到的目标对象的三维图像的成像质量。

需要说明的是，在图像处理设备对第一摄像机与第二摄像机进行标定处理后，图像处理设备可以基于第一摄像机的内参信息和外参信息，以及第二摄像机的内参信息和外参信息，确定出第一摄像机与第二摄像机的位置关系。

步骤305、获取与多帧第二图像对应的包含目标对象的轮廓的多帧轮廓图像。

在本申请实施例中，图像处理设备可以获取与多帧第二图像对应的包含目标对象的轮廓的多帧轮廓图像。图像处理设备获取的与第二图像对应的轮廓图像如图10所示，其中，该轮廓图像中，目标对象所在的区域采用白色进行填充，除目标对象所在区域之外的区域采用黑色进行填充。

示例的，对于第1帧第二图像，图像处理设备可以通过手动扣取的方式获取与该第1帧第二图像对应的轮廓图像。

对于除第1帧第二图像之外的每帧第二图像，图像处理设备可以通过DenseCut算法获取与每帧第二图像对应的轮廓图像。例如，图像处理设备在获取除第1帧第二图像之外的每帧第二图像对应的轮廓图像，可以包括以下过程：

首先，对上一帧第二图像对应的轮廓图像进行腐蚀处理，并基于腐蚀处理后的轮廓图像以及当前帧的第二图像，确定准确的前景区域；然后，对上一帧第二图像对应的轮廓图像进行膨胀处理，并基于膨胀处理后的轮廓图像，确定准确的背景区域；之后，基于准确的前景区域确定前景GMM(高斯混合模型)，并基于准确的背景区域确定背景GMM；最后，基于前景GMM与背景GMM，构造CRF(条件随机场模型)，并求出该CRF的最优参数，即为与当前帧的第二图像对应的轮廓图像。

步骤306、基于每帧轮廓图像，获取与每帧轮廓图像对应的倒角图。

在本申请实施例中，图像处理设备可以基于每帧轮廓图像，获取与每帧轮廓图像对应的倒角图。

其中，该倒角图的分辨率与轮廓图像的分辨率一致，也即是，该倒角图中的多个像素与轮廓图中的多个像素一一对应。该倒角图中的每个像素的像素值为：在轮廓图像中对应的像素与目标对象的轮廓的最小距离。当轮廓图像中像素位于目标对象的轮廓之外时，倒角图中对应像素的像素值为正数；当轮廓图像中像素位于目标对象的轮廓之内时，倒角图中对应像素的像素值为负数。

示例的，图像处理设备可以先计算位于轮廓外的每个像素与目标对象的轮廓的最小距离，再计算位于轮廓内的每个像素与目标对象的轮廓的最小距离，从而可以获取到倒角图。

步骤307、基于多帧第二图像的位姿信息，以及与每帧轮廓图像对应的倒角图，建立目标对象的三维模型。

在本申请实施例中，图像处理设备可以基于多帧第二图像的位姿信息，以及与每帧轮廓图像对应的倒角图，建立目标对象的三维模型。示例的，图像处理设备可以基于多帧第二图像的位姿信息，以及与每帧轮廓图像对应的倒角图，采用八叉树算法建立目标对象的三维模型。

例如，图像处理设备采用八叉树算法建立目标对象的三维模型，可以包括以下过程：

步骤A、构建包围盒。

在本申请实施例中，图像处理设备所构建出的包围盒能够在世界坐标系中包围目标对象。示例的，图像处理设备能够通过第一摄像机以及第二摄像机采集的图像，在世界坐标系中获取位于目标对象的表面的关键点(例如，目标对象的顶点)的集合，并基于该关键点的集合计算出包围盒的顶点的在世界坐标系坐标，从而能够构建出包围盒。需要说明的是，该包围盒为形状为矩形的立方体，图像处理设备需要获取8个顶点的坐标后，能够构建出包围盒。

例如，假设，目标对象的表面的关键点的集合为P＝{pi|i＝1,…,n}，则包围盒的范围为：min(P)≤p≤max(P)，其中p是包围盒内的任一点。

步骤B、采用八叉树算法对包围盒进行多次划分后，得到初始的三维模型。

对于第一次划分，将包围盒划分相等的8个空间(该8个空间的分布为叠加的两层空间，每层空间包括4个空间)，确定每个空间与目标对象的位置关系。其中，每个空间与目标对象的位置关系包括：与目标对象相交、位于目标对象内部以及位于目标对象外部。对于与目标对象相交的空间需要将其进行划分为体积更小的8空间，其划分方式与第一次划分的方式相同。划分完之后，仍然需要确定出每个空间与目标对象的位置关系，并对与目标对象相交的空间继续进行划分，直至最后划分得到空间均位于目标对象内部或位于目标对象外部，或者，最后划分得到空间的体积小于体积阈值。

其中，图像处理设备确定每个空间与目标对象的位置关系可以包括：基于多帧第二图像的位姿信息，与每帧轮廓图像对应的倒角图，以及每个空间的8个顶点在世界坐标系的坐标，确定每个空间与目标对象的位置关系。

例如，首先，可以采用等值面函数计算待确定的空间的每个顶点的等值函数值。其中，等值面函数为：

其中，v表示待确定的空间的某个顶点在世界坐标系中的坐标；P_i包含有第i帧第二图像的位姿信息；P_i×v表示将坐标点v投影至第i帧第二图像中后的像素位置；D_i表示与第二图像对应的轮廓图像所对应的倒角图。

f_ios(v)为负代表坐标点v位于目标对象内部，f_ios(v)为正代表坐标点v位于目标对象外部。

然后，基于的8个顶点的等值函数值，确定该待确定的空间与目标对象的位置关系。示例的，当8个顶点的等值函数值均为正数时，该待确定的空间位于目标对象外部；当8个顶点的等值函数值均为负数时，该待确定的空间位于目标对象内部；当8个顶点的等值函数值有正数，有负数时，该待确定的空间与目标对象相交。

步骤C、对初始的三维模型进行表面抽取处理，得到目标对象的三维模型。

在本申请实施例中，图像处理设备能够对初始的三维模型进行表面抽取处理，从而得到目标对象的三维模型。示例的，图像处理设备可以采用marching cube(移动立方体)算法对初始三维模型进行表面抽取处理，进而使得后续得到的目标对象的三维模型的表面较为光滑。

需要说明的是，图像处理设备通过上述步骤A至步骤C可以得到目标对象的三维模型。

步骤308、基于每帧第一图像以及每帧第二图像的位姿信息，在三维模型上映射多帧第一图像以及多帧第二图像中的目标对象的纹理图案，以得到目标对象的三维图像。

在本申请实施例中，图像处理设备可以基于每帧第一图像以及每帧第二图像的位姿信息，在三维模型上映射多帧第一图像以及多帧第二图像中的目标对象的纹理图案，以得到目标对象的三维图像。示例的，图像处理设备可以采用纹理映射算法，将多帧第一图像与多帧第二图像进行融合处理以及拼接处理后，在三维模型上映射多帧第一图像以及多帧第二图像中的目标对象的纹理图案，以得到目标对象的三维图像。

需要说明的是，当需要在三维模型上映射第一图像与第二图像中的目标对象的纹理图案时，需要保证第一摄像机所采集的每帧第一图像与第二摄像机所采集的每帧第二图像均为彩色图像，或者均为黑白图像，或者均为红外图像。当第一摄像机所采集的每帧第一图像与第二摄像机所采集的每帧第二图像均为彩色图像时，在三维模型上映射第一图像与第二图像中的目标对象的纹理图案后，所得到的目标对象的三维图像为彩色的三维图像。

综上所述，本申请实施例提供的三维重建方法，通过获取至少两台摄像机采集的包含转台以及位于转台上的目标对象的多帧图像，基于每帧图像中的图案，直接确定出该图像的位姿信息。无需基于每一帧图像中的物体以及其他图像的物体的位置关系，采用算法获取每一帧图像的位姿信息。有效的降低了三维重建处理时的运算量，使得获取三维图像的效率较高。

本申请实施例还提供了一种计算机设备，该计算机设备可以为图1或图3示出的三维重新系统100中的终端103。该计算机设备包括：至少一个处理器；和至少一个存储器；

其中，该至少一个存储器存储有一个或多个程序；

至少一个处理器，用于执行至少一个存储器上所存储的程序，以实现图6或图7的三维重建方法。示例的，该三维重建方法可以包括：

获取至少两台摄像机采集的包含转动的转台以及位于转台上的目标对象的多帧图像；基于多帧图像中的转台的图案，确定每帧图像的位姿信息，位姿信息用于表征摄像机拍摄目标对象时的摄像机与目标对象的位置关系；基于多帧图像以及每帧图像的位姿信息，获取目标对象的三维图像。

本申请实施例还提供了一种计算机可读存储介质，该存储介质为非易失性存储介质，该存储介质中存储有代码指令，该代码指令由处理器执行，以执行图6或图7的三维重建方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维重建系统，其特征在于，所述系统包括：

转台，所述转台的承载面上设置有图案，所述转台用于在所述转台承载目标对象时进行自转；

至少两台摄像机，所述至少两台摄像机中各个摄像机的倾角不同，所述至少两台摄像机用于采集包含所述转台以及位于所述转台上的目标对象的多帧图像；

图像处理设备，所述图像处理设备与所述至少两台摄像机通信连接，所述图像处理设备包括：

第一获取模块，用于获取所述至少两台摄像机采集的多帧图像；

确定模块，用于基于所述多帧图像中的转台的图案，确定每帧所述图像的位姿信息，所述位姿信息用于表征所述摄像机拍摄所述目标对象时的所述摄像机与所述目标对象的位置关系；

第二获取模块，用于基于所述多帧图像以及每帧所述图像的位姿信息，获取所述目标对象的三维图像。

2.根据权利要求1所述的系统，其特征在于，所述至少两台摄像机包括：第一摄像机和第二摄像机，所述第一摄像机的倾角大于所述第二摄像机的倾角，所述第一摄像机用于采集多帧第一图像，所述第二摄像机用于采集多帧第二图像，所述多帧第一图像与所述多帧第二图像一一对应；

所述确定模块包括：

第一确定单元，用于基于所述多帧第一图像中的转台的图案，确定每帧所述第一图像的位姿信息；

第二确定单元，用于基于每帧所述第一图像的位姿信息，以及所述第一摄像机与第二摄像机的位置关系，确定与所述第一图像对应的第二图像的位姿信息。

3.根据权利要求2所述的系统，其特征在于，所述第二获取模块包括：

获取单元，用于获取与所述多帧第二图像对应的包含所述目标对象的轮廓的多帧轮廓图像；

建立单元，用于基于所述多帧第二图像的位姿信息以及所述多帧轮廓图像，建立所述目标对象的三维模型；

映射单元，用于基于每帧所述第一图像以及每帧所述第二图像的位姿信息，在所述三维模型上映射所述多帧第一图像以及所述多帧第二图像中的目标对象的纹理图案，以得到所述目标对象的三维图像。

4.根据权利要求3所述的系统，其特征在于，所述建立单元，用于：

基于每帧所述轮廓图像，获取与每帧所述轮廓图像对应的倒角图；

基于所述多帧第二图像的位姿信息，以及与每帧所述轮廓图像对应的倒角图，建立所述目标对象的三维模型。

5.根据权利要求1至4任一所述的系统，其特征在于，所述转台的承载面上设置的图案为网格状图案，所述网格状图案中包含非对称图形。

6.根据权利要求1至4任一所述的系统，其特征在于，所述系统还包括：

采样空间，以及位于所述采样空间内的补光灯；

其中，所述转台位于所述采样空间内，所述补光灯用于照射所述采样空间，以使所述采样空间内各位置处的光强一致。

7.一种三维重建方法，其特征在于，应用于图像处理设备，所述方法包括：

获取至少两台摄像机采集的包含转动的转台以及位于所述转台上的目标对象的多帧图像，所述转台的承载面上设置有图案，所述至少两台摄像机中各个摄像机的倾角不同；

基于所述多帧图像中的转台的图案，确定每帧所述图像的位姿信息，所述位姿信息用于表征所述摄像机拍摄所述目标对象时的所述摄像机与所述目标对象的位置关系；

基于所述多帧图像以及每帧所述图像的位姿信息，获取所述目标对象的三维图像。

8.根据权利要求7所述的方法，其特征在于，所述至少两台摄像机包括：第一摄像机和第二摄像机，所述第一摄像机的倾角大于所述第二摄像机的倾角，所述第一摄像机用于采集多帧第一图像，所述第二摄像机用于采集多帧第二图像，所述多帧第一图像与所述多帧第二图像一一对应，

基于所述多帧图像中的转台的图案，确定每帧所述图像的位姿信息，包括：

基于所述多帧第一图像中的转台的图案，确定每帧所述第一图像的位姿信息；

将每帧所述第一图像的位姿信息，确定为与所述第一图像对应的第二图像的位姿信息。

9.根据权利要求8所述的方法，其特征在于，基于所述多帧图像以及每帧所述图像的位姿信息，获取所述目标对象的三维图像，包括：

获取与所述多帧第二图像对应的包含所述目标对象的轮廓的多帧轮廓图像；

基于所述多帧第二图像的位姿信息以及所述多帧轮廓图像，建立所述目标对象的三维模型；

基于每帧所述第一图像以及每帧所述第二图像的位姿信息，在所述三维模型上映射所述多帧第一图像以及所述多帧第二图像中的目标对象的纹理图案，以得到所述目标对象的三维图像。

10.根据权利要求9所述的方法，其特征在于，基于所述多帧第二图像的位姿信息以及所述多帧轮廓图像，建立所述目标对象的三维模型，包括：

基于每帧所述轮廓图像，获取与每帧所述轮廓图像对应的倒角图；

基于所述多帧第二图像的位姿信息，以及与每帧所述轮廓图像对应的倒角图，建立所述目标对象的三维模型。

Images