CN113724365A - 一种三维重建方法及装置 - Google Patents

Abstract

本申请提供一种三维重建方法及装置，该方法包括：通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取所述目标场景的彩色深度图像；基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿；基于所述扫描相机的内参、所述彩色深度图像以及所述扫描相机的扫描位姿，对所述目标场景进行三维重建。该方法可以实现更加鲁棒的位姿追踪和场景重建，且不增加额外的硬件成本。

Description

一种三维重建方法及装置

技术领域

本申请涉及视频监控领域技术，尤其涉及一种三维重建方法及装置。

背景技术

随着计算机视觉应用的兴起，如机器人室内导航、三维家居展示、AR(AugmentedReality，增强现实)游戏、三维室内场景监控和分析等，室内场景三维重建的需求也日益增长。

为了重建出高质量、大规模的室内三维场景模型，现有方案通常是通过使用昂贵的激光扫描设备进行场景的扫描和点云数据的获取。另一方面，各种消费级的深度相机逐渐普及，基于消费级深度相机进行室内场景三维重建的学术界工作也层出不穷，涌现了KinectFusion、BundleFusion等优秀算法。然而这些方法在大规模场景(如200平米)下，通常会由于相机的扫描位姿难以鲁棒追踪而导致重建模型出错。

发明内容

有鉴于此，本申请提供一种三维重建方法及装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种三维重建方法，包括：

通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取所述目标场景的彩色深度图像；

基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿；

基于所述扫描相机的内参、所述彩色深度图像以及所述扫描相机的扫描位姿，对所述目标场景进行三维重建。

根据本申请实施例的第二方面，提供一种三维重建装置，包括：

获取单元，用于通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取所述目标场景的彩色深度图像；

确定单元，用于基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿；

重建单元，用于基于所述扫描相机的内参、所述彩色深度图像以及所述扫描相机的扫描位姿，对所述目标场景进行三维重建。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述三维重建方法。

根据本申请实施例的第四方面，提供一种机器可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述三维重建方法。

本申请实施例的三维重建方法，通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取所述目标场景的彩色深度图像，并基于监控相机的内参和外参、扫描相机的内参、全局监控图像以及彩色深度图像，确定扫描相机的扫描位姿，进而，基于扫描相机的内参、彩色深度图像以及扫描相机的扫描位姿，对目标场景进行三维重建，实现了更加鲁棒的位姿追踪和场景重建，且不增加额外的硬件成本。

附图说明

图1是本申请一示例性实施例示出的一种三维重建方法的流程示意图；

图2是本申请一示例性实施例示出的一种确定扫描相机的扫描位姿方法的流程示意图；

图3是本申请一示例性实施例示出的一种监控场景的示意图；

图4是本申请一示例性实施例示出的一种三维重建流程的示意图；

图5A是本申请一示例性实施例示出的一种确定扫描相机的扫描位姿的流程示意图；

图5B是本申请一示例性实施例示出的一种扫描相机的扫描位姿求解算法实现流程示意图；

图5C是本申请一示例性实施例示出的一种场景三维重建的流程示意图；

图6是本申请一示例性实施例示出的一种三维重建装置的结构示意图；

图7是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种三维重建方法的流程示意图，如图1所示，该三维重建方法可以包括以下步骤：

步骤S100、通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取该目标场景的彩色深度图像。

本申请实施例中，目标场景并不特指某一固定的场景，而是可以指代任一需要进行三维重建的室内场景，本申请实施例后续不再复述。

本申请实施例中，为了实现目标场景的三维重建，一方面，可以通过监控相机获取目标场景的全局监控图像；另一方面，可以通过扫描相机，对目标场景整个场景进行扫描，获取目标场景的彩色深度图像(可以称为局部彩色深度图像)，并以获取到的全局监控图像作为局部扫描建模的全局先验信息，以实现鲁棒的目标场景三维建模。

示例性的，一帧彩色深度图像包括一帧彩色图像(如RGB(Red Green Blue，红绿蓝)图像)和一帧深度图像，同一帧彩色深度图像中包括的彩色图像和深度图像对齐。

示例性的，可以通过目标场景内部署的多台全覆盖、高重叠的监控相机获取目标场景的全局监控图像，也即全局监控图像包括多个监控图像。

需要说明的是，本申请实施例中提及的全覆盖或全局允许存在部分区域，如角落或存在遮挡的区域，无法获取的监控图像。

此外，若存在视场范围满足要求的监控相机，也可以通过单台监控相机获取目标场景内全局监控图像。

再者，由于全局监控图像通常也是彩色图像，如RGB图像，因此，对于全局监控图像可以称为全局彩色图像，对于彩色深度图像中的彩色图像可以称为局部图像。

步骤S110、基于监控相机的内参和外参、扫描相机的内参、全局监控图像以及彩色深度图像，确定扫描相机的扫描位姿。

示例性的，监控相机和扫描相机的内参可以从相机中读取，或者通过标定来获取。而由于监控相机通常是固定安装，因此，监控相机的外参可以通过外参标定的方式来获取，其具体实现可以参见现有技术中的相关实现，本申请实施例在此不做赘述。

而由于扫描相机需要在移动过程(包括平移和旋转)中对目标场景进行扫描，扫描相机在移动过程中扫描相机的姿态会发生改变，因此，扫描相机的外参无法通过现有外参标定的方式来获取。

示例性的，相机(包括监控相机或扫描相机)的内参可以包括相机主点、焦距以及畸变系数等；相机的外参包括相机相对指定坐标系(如世界坐标系)的姿态(如相机光心相对世界坐标系的平移或/和旋转等)。

本申请实施例中，可以基于监控相机的内参和外参、扫描相机的内参、步骤S100中获取到的全局监控图像以及彩色深度图像，确定扫描相机的扫描位姿。

示例性的，由于扫描相机在移动过程中对目标场景进行扫描，因此，扫描相机获取连续两帧彩色深度图像时扫描相机的姿态可能不同，因此，需要分别确定扫描相机在对目标场景进行扫描的过程中，每一帧彩色深度图像对应的扫描相机的姿态(即扫描相机获取该帧彩色深度图像时的姿态，本文中称为扫描位姿)。

在一种可能的实施例中，如图2所示，步骤S110中，基于监控相机的内参和外参、扫描相机的内参、全局监控图像以及彩色深度图像，确定扫描相机的扫描位姿，可以通过以下步骤实现：

步骤S111、基于全局监控图像以及彩色深度图像中的彩色图像的特征点匹配，确定全局监控图像与彩色图像的第一匹配对；以及，基于相邻彩色深度图像中的彩色图像的特征点匹配，确定彩色图像的第二匹配对。

步骤S112、基于第一匹配对，确定扫描相机的第一扫描位姿；以及，基于第二匹配对，确定扫描相机的第二扫描位姿。

步骤S113、基于第一扫描位姿和第二扫描位姿，确定扫描相机的扫描位姿。

示例性的，为了确定扫描相机的扫描位姿，一方面，可以对步骤S100中获取到的全局监控图像以及彩色深度图像中的彩色图像(下文中称为局部彩色图像)进行特征点匹配，确定全局监控图像与局部彩色图像的匹配对(本文中称为第一匹配对，一个第一匹配对包括一帧局部彩色图像和一帧全局监控图像)，另一方面，可以对步骤S100中获取到的相邻彩色深度图像中的彩色图像(即局部彩色图像)进行特征点匹配，确定局部彩色图像的匹配对(本文中称为第二匹配对，一个第二匹配对包括两帧局部彩色图像)。

需要说明的是，由于同一帧彩色深度图像中包括的彩色图像和深度图像是对齐的，因此，当通过全局监控图像和局部彩色图像匹配的方式，实现了全局监控图像与局部彩色图像对齐时，该全局监控图像也与对应的深度图像对齐，即对于任一帧全局监控图像和彩色深度图像，当该帧全局监控图像与该帧彩色深度图像中的彩色图像匹配时，该帧全局监控图像与该帧彩色深度图像中的深度图像也匹配。

在一个示例中，步骤S111中，基于全局监控图像以及彩色深度图像中的彩色图像的特征点匹配，确定全局监控图像与彩色图像的第一匹配对，可以包括：

对于任一帧彩色深度图像，对该帧彩色深度图像中的彩色图像与所述全局监控图像进行特征点匹配，以确定匹配点数量达到第一阈值的目标监控图像；其中，该目标监控图像包括一帧或多帧监控图像；

基于该帧彩色深度图像中的彩色图像以及目标监控图像，确定该帧彩色深度图像对应的第一匹配对；其中，该帧彩色深度图像对应的第一匹配对的数量与目标监控图像帧中监控图像的帧数一致，该帧彩色深度图像对应的一个第一匹配对包括该帧彩色深度图像中的彩色与目标监控图像中的一帧监控图像。

示例性的，对于步骤S100中获取到的任一帧彩色深度图像，可以对该帧彩色深度图像中的彩色图像(即局部彩色图像)与全局监控图像进行特征点匹配，以确定与该帧局部彩色图像的特征点(本文中称为匹配点)数量达到预设阈值(可以根据实际场景设定，本文中称为第一阈值)的监控图像(本文中称为目标监控图像)。

需要说明的是，当全局监控图像包括多帧监控图像(即步骤S100中通过多个不同视角的监控相机获取到目标场景的全局监控图像时，一帧全局监控图像包括每个监控相机的一帧监控图像)时，可以分别将该帧局部彩色图像与各监控图像进行特征点匹配，以确定目标监控图像。

示例性的，当确定了目标监控图像时，可以基于该帧局部彩色图像以及目标监控图像，确定该帧彩色深度图像对应的第一匹配对。

示例性的，目标监控图像可以包括一帧或多帧监控图像，一帧彩色深度图像对应的第一匹配对的数量与目标监控图像中监控图像的帧数一致，即一帧彩色深度图像对应的第一匹配对也可以包括一个或多个，该帧彩色深度图像对应的一个第一匹配对包括该帧局部彩色图像与目标监控图像中的一帧监控图像。

在一个示例中，步骤S111中，基于相邻彩色深度图像的特征点匹配，确定彩色深度图像的第二匹配对，可以包括：

对于任一帧彩色深度图像，对该帧彩色深度图像中的彩色图像与该帧彩色深度图像的相邻帧彩色深度图像中的彩色图像进行特征点匹配，以确定匹配点数量达到第二阈值的目标彩色深度图像；

基于该帧彩色深度图像中的彩色图像以及目标彩色深度图像中的彩色图像，确定该帧彩色深度图像对应的第二匹配对；其中，该帧彩色深度图像对应的第二匹配对包括该帧彩色深度图像中的彩色图像与该目标彩色深度图像中的彩色图像。

示例性的，对于步骤S100中获取到的任一帧彩色深度图像，可以对该帧彩色深度图像与该帧彩色深度图像的相邻彩色深度图像(如上一帧彩色深度图像或下一帧彩色深度图像)进行特征点匹配，以确定与该帧彩色深度图像的匹配点的数量达到预设阈值(可以根据实际场景设定，本文中称为第二阈值)彩色深度图像(本文中称为目标彩色深度图像)。

示例性的，第一阈值与第二阈值可以相同，也可以不同。

示例性的，当确定了目标彩色深度图像时，可以基于该帧彩色深度图像以及目标彩色深度图像，确定该帧彩色深度图像对应的第二匹配对。

举例来说，假设彩色深度图像A的上一帧彩色深度图像为彩色深度图像B，则可以对彩色深度图像A中的彩色图像和彩色深度图像B中的彩色图像进行特征点匹配，当匹配点的数量达到第二阈值时，确定彩色深度图像B为目标彩色深度图像，此时，彩色深度图像A对应的第二匹配对包括彩色深度图像A中的彩色图像以及彩色深度图像B中的彩色图像。

同理，当彩色深度图像B的上一帧彩色深度图像为彩色深度图像C，则可以对彩色深度图像B中的彩色图像和彩色深度图像C中的彩色图像进行特征点匹配，当匹配点的数量达到第二阈值时，确定彩色深度图像C为目标彩色深度图像，此时，彩色深度图像B对应的第二匹配对包括彩色深度图像B中的彩色图像以及彩色深度图像C中的彩色图像。

示例性的，在确定了第一匹配对和第二匹配对时，一方面，可以基于第一匹配对，确定扫描相机的第一扫描位姿；另一方面，可以基于第二匹配对，确定扫描相机的第二扫描位姿。

在一个示例中，基于第一匹配对，确定第一扫描位姿，可以包括：

对于任一帧彩色深度图像对应的第一匹配对，基于匹配点信息、扫描相机内参、监控相机的内参和外参以及匹配点的彩色信息和深度信息，确定该帧彩色深度图像对应的扫描相机的第一扫描位姿。

示例性的，对于任一帧彩色深度图像对应的第一匹配对，可以基于该帧彩色深度图像中的彩色图像(即局部彩色图像)与目标监控图像的匹配点信息、扫描相机内参、监控相机的内参和外参以及匹配点的彩色信息和深度信息(即基于匹配点信息，从该帧彩色深度图像的彩色图像和深度图像以及目标监控图像中获取彩色信息和深度信息)，确定该帧彩色深度图像对应的扫描相机的第一扫描位姿。

示例性的，可以利用五点法、八点法或PNP(Perspective-N-Points，N点透视)法等方式确定扫描相机的第一扫描位姿。

在一个示例中，基于第二匹配对，确定第二扫描位姿，可以包括：

对于任一帧彩色深度图像对应的第二匹配对，基于匹配点信息、扫描相机内参以及匹配点的彩色信息和深度信息，确定该帧彩色深度图像对应的扫描相机的第二扫描姿态。

示例性的，对于任一帧彩色深度图像对应的第二匹配对，可以基于该帧彩色深度图像中的彩色图像与目标彩色深度图像中的彩色图像的匹配点信息、扫描相机内参以及匹配点的彩色信息和深度信息(即基于匹配点信息，从该帧彩色深度图像的彩色图像和深度图像以及目标彩色深度图像的彩色图像和深度图像中获取彩色信息和深度信息)，确定该帧彩色深度图像对应的扫描相机的第二扫描位姿。

示例性的，可以利用五点法、八点法、PNP法、ICP法(Iterative Closest Points，迭代最近点)或Kabsch算法等方式确定扫描相机的第二扫描位姿。

对于任一帧彩色深度图像，按照上述方式确定了该帧彩色深度图像对应的扫描相机的第一扫描位姿和第二扫描位姿时，可以对该帧彩色深度图像对应的扫描相机的第一扫描位姿和第二扫描位姿进行聚类，已剔除离群扫描位姿，并基于剔除离群扫描位姿后的该帧彩色深度图像对应的扫描位姿，确定该帧彩色深度图像对应的扫描相机的扫描位姿。

示例性的，可以将剔除离群扫描位子后的该帧彩色深度图像对应的扫描位姿的平均值，确定为该帧彩色深度图像对应的扫描相机的扫描位姿。

需要说明的是，若该帧彩色深度图像对应的扫描相机的第一扫描位姿和第二扫描位姿的总数为1个，则将该帧彩色深度图像对应的扫描相机的第一扫描位姿(若存在)或第二扫描位姿(若存在)确定为该帧彩色深度图像对应的扫描相机的扫描位姿。

步骤S120、基于扫描相机的内参、彩色深度图像以及扫描相机的扫描位姿，对目标场景进行三维重建。

本申请实施例中，按照步骤S110中描述的方式确定了扫描相机的扫描位姿时，可以基于扫描相机的内参、步骤S100中获取到的彩色深度图像以及步骤S110中确定的扫描相机的扫描位姿，对目标场景进行三维重建，得到目标场景的三维点云或三维网格，并从步骤S100中获取到的全局监控图像或彩色深度图像中的彩色图像中抽取预设比例的纹理图像，并结合各帧彩色深度图像对应的扫描相机的扫描位姿完成三维重建结果的纹理贴图，得到带有纹理的场景三维模型。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

在该实施例中，可以基于室内场景中安装的标定了内外参的监控相机(其示意图可以如图3所示)获取该室内场景的全局RGB图像(即以全局监控图像为RGB图像为例)，并将该全局RGB图像作为局部扫描建模的全局先验信息，以实现鲁棒的场景三维建模。

如图4所示，在该实施例中，三维重建流程包括：监控相机(也可以称为全局相机)标定、全局RGB图像获取、局部RGBD图像(RGB+Depth，即以彩色深度图像中的彩色图像为GRB图像为例)获取、确定扫描相机的扫描位姿和场景三维重建。下面分别对各步骤进行详细说明：

1、全局相机内外参获取：获取场景中各监控相机的内参和外参。

示例性的，相机的内参可以从相机中读取，也可以通过标定来获取；而相机的外参则可以通过外参标定来确定。

2、全局RGB图像获取：为了获取全局的RGB图像，需要拍摄多张场景图像，即每个监控相机拍摄一个视角的图片。各监控相机间的拍摄可以不同步，但需要保证整个拍摄过程中场景物体没有被移动，且场景中的光照变化较小(即光照强度变化不超过预设阈值)。

3、局部RGBD图像(即彩色深度图像)获取：利用深度相机(可以称为局部相机)采集场景的RGBD图像。

示例性的，步骤3与步骤1～2并不存在必然的时序关系，即步骤3也可以先于步骤1～2执行，只需保证在整个全局RGB图像采集和局部RGBD图像采集过程中，场景中的物体未发生移动且光照变化较小即可。

示例性的，扫描相机可以包括但不限于可移动的外探俯视扫描装置，扫描方式可以包括但不限于通过全局平移和局部旋转的方式，快速高效地采集完整个场景的RGBD扫描数据。

示例性的，扫描相机的内参，可以通过标定确定，或者从设备中读取。

4、确定扫描相机的扫描位姿：本步骤的输入包括各监控相机的内外参和扫描相机的内参、全局RGB图像以及局部RGBD图像；输出为局部扫描过程中，每一帧时刻扫描相机相对于世界坐标系的位姿(即扫描位姿)，其示意图可以如图5A所示。

满足上述逻辑的扫描位姿求解算法具体可以有很多种形式，例如下图展示了一种可能的算法逻辑：

如图5B所示，扫描相机的扫描位姿求解算法实现流程如下：

(1)、全局-局部特征点匹配：将局部数据的某一帧局部RGB图像(即RGBD图像中的RGB图像)与全局RGB图像进行特征点匹配，并筛选出匹配的特征点的数量达到一定阈值(即上述第一阈值)的匹配对(即第一匹配对)；

(2)、局部-局部特征点匹配：将局部数据的某一帧局部RGB图像与其上一帧局部RGB图像进行特征点匹配，若匹配点数量未达到预设阈值(即上述第二阈值)，则将局部-局部匹配对(即上述第二匹配对)集合置为空集，否则，将该第二匹配对加入第二匹配对集合。

示例性的，对于第一帧局部RGB图像，无上一帧数据，将局部-局部匹配对集合置为空集。

(3)全局-局部位姿求解：针对每一个第一匹配对，利用匹配点信息、扫描相机内参、监控相机的内参和外参以及匹配点的彩色信息和深度信息，计算该局部帧对应的扫描相机的位姿(即上述第一扫描位姿)并保存。

(4)局部-局部位姿求解：针对每一个第二匹配对，利用匹配点信息、扫描相机内参以及匹配点的彩色信息和深度信息计算该局部帧对应的扫描相机的位姿(即上述第二扫描位姿)并保存；如果第二匹配对集合置为空集则跳过该步骤。

(5)位姿一致性校验并输出：对于任一帧局部RGBD图像，将步骤(3)(4)中保存的位姿放在一起进行聚类，剔除离群的位姿结果，并取剩余结果的均值作为该局部RGBD帧对应的扫描相机的扫描位姿并输出。

5、场景三维重建：场景三维重建所要求的输入包括：局部扫描的RGBD图像、扫描相机位姿、扫描相机内参。重建的结果可以是三维点云或者三维网格，重建算法可以是泊松重建或者基于TSDF(Truncated Signed Distance Function，截断符号距离)立方体的融合重建。最后，从全局RGB图像或局部RGB图像中抽取预设比例的纹理图像，结合各帧的位姿完成重建结果的纹理贴图，即可输出最终重建的带有纹理的场景三维模型(点云或网格)，其示意图可以如图5C所示。

本申请实施例中，通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取所述目标场景的彩色深度图像，并基于监控相机的内参和外参、扫描相机的内参、全局监控图像以及彩色深度图像，确定扫描相机的扫描位姿，进而，基于扫描相机的内参、彩色深度图像以及扫描相机的扫描位姿，对目标场景进行三维重建，实现了更加鲁棒的位姿追踪和场景重建，且不增加额外的硬件成本。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图6，为本申请实施例提供的一种三维重建装置的结构示意图，如图6所示，该三维重建装置可以包括：

获取单元610，用于通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取所述目标场景的彩色深度图像；

确定单元620，用于基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿；

重建单元630，用于基于所述扫描相机的内参、所述彩色深度图像以及所述扫描相机的扫描位姿，对所述目标场景进行三维重建。

在可选实施例中，所述确定单元620基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿，包括：

基于所述全局监控图像以及所述彩色深度图像中的彩色图像的特征点匹配，确定全局监控图像与彩色图像的第一匹配对；以及，基于相邻彩色深度图像中的彩色图像的特征点匹配，确定彩色图像的第二匹配对；

基于所述第一匹配对，确定所述扫描相机的第一扫描位姿；以及，基于所述第二匹配对，确定所述扫描相机的第二扫描位姿；

基于所述第一扫描位姿和所述第二扫描位姿，确定所述扫描相机的扫描位姿。

在可选实施例中，所述确定单元620基于所述全局监控图像以及所述彩色深度图像中的彩色图像的特征点匹配，确定全局监控图像与彩色图像的第一匹配对，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像中的彩色图像与所述全局监控图像进行特征点匹配，以确定匹配点数量达到第一阈值的目标监控图像；其中，所述目标监控图像包括一帧或多帧监控图像；

基于该帧彩色深度图像中的彩色图像以及所述目标监控图像，确定该帧彩色深度图像对应的第一匹配对；其中，该帧彩色深度图像对应的第一匹配对的数量与所述目标监控图像帧中监控图像的帧数一致，该帧彩色深度图像对应的一个第一匹配对包括该帧彩色深度图像中的彩色图像与所述目标监控图像中的一帧监控图像；

或/和，

所述确定单元620基于相邻彩色深度图像中的彩色图像的特征点匹配，确定彩色图像的第二匹配对，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像中的彩色图像与该帧彩色深度图像的相邻帧彩色深度图像中的彩色图像进行特征点匹配，以确定匹配点数量达到第二阈值的目标彩色深度图像；

基于该帧彩色深度图像中的彩色图像以及所述目标彩色深度图像中的彩色图像，确定该帧彩色深度图像对应的第二匹配对；其中，该帧彩色深度图像对应的第二匹配对包括该帧彩色深度图像中的彩色图像与该目标彩色深度图像中的彩色图像。

在可选实施例中，所述确定单元620基于所述第一匹配对，确定第一扫描位姿，包括：

对于任一帧彩色深度图像对应的第一匹配对，基于匹配点信息、扫描相机内参、监控相机的内参和外参以及匹配点的彩色信息和深度信息，确定该帧彩色深度图像对应的所述扫描相机的第一扫描位姿；

或/和，

所述确定单元620基于所述第二匹配对，确定第二扫描位姿，包括：

对于任一帧彩色深度图像对应的第二匹配对，基于匹配点信息、扫描相机内参以及匹配点的彩色信息和深度信息，确定该帧彩色深度图像对应的所述扫描相机的第二扫描姿态。

在可选实施例中，所述确定单元620基于所述第一扫描位姿和所述第二扫描位姿，确定所述扫描相机的扫描位姿，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像对应的所述扫描相机的第一扫描位姿和第二扫描位姿进行聚类，以剔除离群扫描位姿；

基于剔除离群扫描位姿后的该帧彩色深度图像对应的扫描位姿，确定该帧彩色深度图像对应的所述扫描相机的扫描位姿。

请参见图7，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器701、通信接口702、存储器703和通信总线704。处理器701、通信接口702以及存储器703通过通信总线404完成相互间的通信。其中，存储器703上存放有计算机程序；处理器701可以通过执行存储器703上所存放的程序，执行上文描述的三维重建方法。

本文中提到的存储器703可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器702可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

在可选实施例中，还提供了一种机器可读存储介质，如图7中的存储器702，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的三维重建方法。例如，所述机器可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种三维重建方法，其特征在于，包括：

通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取所述目标场景的彩色深度图像；

基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿；

基于所述扫描相机的内参、所述彩色深度图像以及所述扫描相机的扫描位姿，对所述目标场景进行三维重建。

2.根据权利要求1所述的方法，其特征在于，所述基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿，包括：

基于所述全局监控图像以及所述彩色深度图像中的彩色图像的特征点匹配，确定全局监控图像与彩色图像的第一匹配对；以及，基于相邻彩色深度图像中的彩色图像的特征点匹配，确定彩色图像的第二匹配对；

基于所述第一匹配对，确定所述扫描相机的第一扫描位姿；以及，基于所述第二匹配对，确定所述扫描相机的第二扫描位姿；

基于所述第一扫描位姿和所述第二扫描位姿，确定所述扫描相机的扫描位姿。

3.根据权利要求2所述的方法，其特征在于，

所述基于所述全局监控图像以及所述彩色深度图像中的彩色图像的特征点匹配，确定全局监控图像与彩色图像的第一匹配对，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像中的彩色图像与所述全局监控图像进行特征点匹配，以确定匹配点数量达到第一阈值的目标监控图像；其中，所述目标监控图像包括一帧或多帧监控图像；

基于该帧彩色深度图像中的彩色图像以及所述目标监控图像，确定该帧彩色深度图像对应的第一匹配对；其中，该帧彩色深度图像对应的第一匹配对的数量与所述目标监控图像帧中监控图像的帧数一致，该帧彩色深度图像对应的一个第一匹配对包括该帧彩色深度图像中的彩色图像与所述目标监控图像中的一帧监控图像；

或/和，

所述基于相邻彩色深度图像中的彩色图像的特征点匹配，确定彩色图像的第二匹配对，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像中的彩色图像与该帧彩色深度图像的相邻帧彩色深度图像中的彩色图像进行特征点匹配，以确定匹配点数量达到第二阈值的目标彩色深度图像；

基于该帧彩色深度图像中的彩色图像以及所述目标彩色深度图像中的彩色图像，确定该帧彩色深度图像对应的第二匹配对；其中，该帧彩色深度图像对应的第二匹配对包括该帧彩色深度图像中的彩色图像与所述目标彩色深度图像中的彩色图像。

4.根据权利要求2所述的方法，其特征在于，

所述基于所述第一匹配对，确定第一扫描位姿，包括：

对于任一帧彩色深度图像对应的第一匹配对，基于匹配点信息、扫描相机内参、监控相机的内参和外参以及匹配点的彩色信息和深度信息，确定该帧彩色深度图像对应的所述扫描相机的第一扫描位姿；

或/和，

所述基于所述第二匹配对，确定第二扫描位姿，包括：

对于任一帧彩色深度图像对应的第二匹配对，基于匹配点信息、扫描相机内参以及匹配点的彩色信息和深度信息，确定该帧彩色深度图像对应的所述扫描相机的第二扫描姿态。

5.根据权利要求2所述的方法，其特征在于，所述基于所述第一扫描位姿和所述第二扫描位姿，确定所述扫描相机的扫描位姿，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像对应的所述扫描相机的第一扫描位姿和第二扫描位姿进行聚类，以剔除离群扫描位姿；

基于剔除离群扫描位姿后的该帧彩色深度图像对应的扫描位姿，确定该帧彩色深度图像对应的所述扫描相机的扫描位姿。

6.一种三维重建装置，其特征在于，包括：

获取单元，用于通过监控相机获取目标场景的全局监控图像，以及，通过扫描相机获取所述目标场景的彩色深度图像；

确定单元，用于基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿；

重建单元，用于基于所述扫描相机的内参、所述彩色深度图像以及所述扫描相机的扫描位姿，对所述目标场景进行三维重建。

7.根据权利要求6所述的装置，其特征在于，所述确定单元基于所述监控相机的内参和外参、所述扫描相机的内参、所述全局监控图像以及所述彩色深度图像，确定所述扫描相机的扫描位姿，包括：

基于所述全局监控图像以及所述彩色深度图像中的彩色图像的特征点匹配，确定全局监控图像与彩色图像的第一匹配对；以及，基于相邻彩色深度图像中的彩色图像的特征点匹配，确定彩色图像的第二匹配对；

基于所述第一匹配对，确定所述扫描相机的第一扫描位姿；以及，基于所述第二匹配对，确定所述扫描相机的第二扫描位姿；

基于所述第一扫描位姿和所述第二扫描位姿，确定所述扫描相机的扫描位姿。

8.根据权利要求7所述的装置，其特征在于，

所述确定单元基于所述全局监控图像以及所述彩色深度图像中的彩色图像的特征点匹配，确定全局监控图像与彩色图像的第一匹配对，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像中的彩色图像与所述全局监控图像进行特征点匹配，以确定匹配点数量达到第一阈值的目标监控图像；其中，所述目标监控图像包括一帧或多帧监控图像；

基于该帧彩色深度图像中的彩色图像以及所述目标监控图像，确定该帧彩色深度图像对应的第一匹配对；其中，该帧彩色深度图像对应的第一匹配对的数量与所述目标监控图像帧中监控图像的帧数一致，该帧彩色深度图像对应的一个第一匹配对包括该帧彩色深度图像中的彩色图像与所述目标监控图像中的一帧监控图像；

或/和，

所述确定单元基于相邻彩色深度图像中的彩色图像的特征点匹配，确定彩色图像的第二匹配对，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像中的彩色图像与该帧彩色深度图像的相邻帧彩色深度图像中的彩色图像进行特征点匹配，以确定匹配点数量达到第二阈值的目标彩色深度图像；

基于该帧彩色深度图像中的彩色图像以及所述目标彩色深度图像中的彩色图像，确定该帧彩色深度图像对应的第二匹配对；其中，该帧彩色深度图像对应的第二匹配对包括该帧彩色深度图像中的彩色图像与该目标彩色深度图像中的彩色图像。

9.根据权利要求7所述的装置，其特征在于，

所述确定单元基于所述第一匹配对，确定第一扫描位姿，包括：

对于任一帧彩色深度图像对应的第一匹配对，基于匹配点信息、扫描相机内参、监控相机的内参和外参以及匹配点的彩色信息和深度信息，确定该帧彩色深度图像对应的所述扫描相机的第一扫描位姿；

或/和，

所述确定单元基于所述第二匹配对，确定第二扫描位姿，包括：

对于任一帧彩色深度图像对应的第二匹配对，基于匹配点信息、扫描相机内参以及匹配点的彩色信息和深度信息，确定该帧彩色深度图像对应的所述扫描相机的第二扫描姿态。

10.根据权利要求7所述的装置，其特征在于，所述确定单元基于所述第一扫描位姿和所述第二扫描位姿，确定所述扫描相机的扫描位姿，包括：

对于任一帧彩色深度图像，对该帧彩色深度图像对应的所述扫描相机的第一扫描位姿和第二扫描位姿进行聚类，以剔除离群扫描位姿；

基于剔除离群扫描位姿后的该帧彩色深度图像对应的扫描位姿，确定该帧彩色深度图像对应的所述扫描相机的扫描位姿。

Images