CN111739146B - 物体三维模型重建方法及装置 - Google Patents

Abstract

本申请公开了计算机视觉领域的一种物体三维模型重建方法，该方法包括：确定目标对象的第一彩色图像和第一深度图像，所述目标对象包括目标物体和干扰物体；所述第一彩色图像中的像素点与所述第一深度图像中的像素点一一对应；确定所述第一彩色图像中所述干扰物体对应的彩色干扰像素点；调整所述第一深度图像中深度干扰像素点的像素值，得到处理后的第一深度图像，所述深度干扰像素点为所述第一深度图像中与所述彩色干扰像素点一一对应的像素点；根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型。本申请中，用户可直接手持目标物体进行扫描，进而建立该目标物体的三维模型，操作简单、扫描效率高，并提高用户体验。

Description

物体三维模型重建方法及装置

技术领域

本申请涉及计算机视觉领域，尤其涉及一种物体三维模型重建方法及装置。

背景技术

计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断和军事等领域中各种智能系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成像系统代替视觉器官获取输入图像，再由计算机来代替大脑对这些输入图像完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。

物体三维模型重建技术就是要在计算机中真实地重建出物体表面的三维虚拟模型，构建一个物体完整的三维模型。物体三维模型重建技术在计算机图形学和计算机视觉领域有很多应用，比如电影特效、三维立体图像游戏、虚拟现实和人际交互等。随着消费级3D(three dimensional)摄像头的普及，物体三维模型重建技术在终端设备的应用越来越多。例如，终端设备利用前置结构光对物体进行扫描以提取出该物体的三维信息，根据该三维信息构建该物体的三维模型，最后让物体动起来。

当前，普遍采用的一种物体三维模型重建方法是将物体放在桌面上，用户横屏举起手机并与桌面呈45度，当该手机识别到要扫描的物体后，该手机开始扫描该物体，并根据扫描结果构建该物体的三维模型。当采用该方法进行物体三维模型重建时，如果用户直接手持物体进行扫描，手机会将手错误地识别为该物体的一部分，从而导致物体三维模型重建失败。在上述方案中，用户需要调整多次拍摄角度或者物体的位置以扫描物体的全景，操作复杂、花费时间较长。因此，需要研究操作简单、花费时间更短的物体三维模型重建方法。

发明内容

本申请实施例提供了一种物体三维模型重建方法及装置，用户可直接手持物体进行扫描，进而建立该物体的三维模型，操作简单、扫描效率高，并提高用户体验。

第一方面，本申请实施例提供了一种物体重建方法，该方法包括：确定目标对象的第一彩色图像和第一深度图像，其中，所述目标对象包括目标物体和干扰物体；所述第一彩色图像中的像素点与所述第一深度图像中的像素点一一对应；确定所述第一彩色图像中所述干扰物体对应的彩色干扰像素点；调整所述第一深度图像中深度干扰像素点的像素值，得到处理后的第一深度图像，所述深度干扰像素点为所述第一深度图像中与所述彩色干扰像素点一一对应的像素点；根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型。所述第一彩色图像可以是对扫描该目标物体得到的原始彩色图像进行下采样或上采样得到彩色图像。

本申请实施例中，对拍摄目标物体和干扰物体得到的第一深度图像做处理，处理后的第一深度图像仅包含该目标物体的深度信息，根据处理后的第一深度图像以及该深度图像序列对应的彩色图像，构建该目标物体的三维模型；用户可以手持该目标物体进行扫描或者将该目标物体放置到某个选择旋转装置上进行扫描，扫描效率高，操作简单。

在一个可选的实现方式中，在所述确定目标对象的第一彩色图像和第一深度图像之前，所述方法还包括：获取彩色图像序列以及深度图像序列；所述彩色图像序列包括所述目标对象在多种位姿下的多帧彩色图像，所述深度图像序列包括所述目标对象在所述多种位姿下的多帧深度图像；其中，所述第一深度图像是所述多帧深度图像中的任意一帧图像，所述第一彩色图像是所述多帧彩色图像中与所述第一深度图像相对应的图像；对应的，所述根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型包括：根据多帧所述第一彩色图像和多帧所述处理后的第一深度图像，构建所述目标物体的三维模型。

本申请实施例中，对拍摄目标物体和干扰物体得到的深度图像序列做处理以得到仅包含该目标物体的深度信息的深度图像序列，根据处理后的深度图像序列以及该深度图像序列对应的彩色图像序列，融合得到该目标物体的三维模型；用户可以手持该目标物体进行扫描或者将该目标物体放置到某个选择旋转装置上进行扫描，可以准确地构建该目标物体的三维模型。

在一个可选的实现方式中，所述获取彩色图像序列以及深度图像序列之前，所述方法还包括：扫描所述目标对象以得到前置彩色图像序列和前置深度图像序列；所述前置深度图像序列中的前置深度图像与所述前置彩色图像序列中的前置彩色图像一一对应，所述前置深度图像中的像素点与所述前置深度图像对应的所述前置彩色图像中的像素点一一对应；在确定各帧所述前置彩色图像中所述目标物体的图像所处区域的面积与所述前置彩色图像的面积的比值处于目标区间，且所述前置彩色图像中所述目标物体的图像处于所述前置彩色图像的目标区域，且根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值的情况下，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列；所述目标区域的中心点与所述前置彩色图像的中心点之间的距离小于距离阈值。可选的，所述目标区域为长方形区域或正多边形区域。

当扫描目标物体得到的深度图像和彩色图像的分辨率不同时，可以对扫描该目标物体得到的彩色图像进行下采样，以得到与深度图像的分辨率相同的彩色图像。所述扫描所述目标对象以得到前置彩色图像序列和前置深度图像序列可以是：扫描所述目标对象以得到原始前置彩色图像序列和前置深度图像序列；对所述原始前置彩色图像序列中的各帧原始前置彩色图像进行下采样以得到所述前置彩色图像序列。所述扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列可以是：扫描所述目标对象以得到原始彩色图像序列和深度图像序列；对所述原始彩色图像序列中的各帧原始彩色图像进行下采样以得到所述彩色图像序列。当每帧前置彩色图像中目标物体的图像所处区域的面积与每帧前置彩色图像的面积的比值处于目标区间，且每帧前置彩色图像中该目标物体的图像处于每帧前置彩色图像的目标区域，且根据前置深度图像序列确定的该目标物体的位移小于第一阈值时，表明每帧前置彩色图像中该目标物体的图像的大小和位置均满足要求且该目标物体的位置基本不变。这样在仅调整该目标物体的姿态时，扫描该目标物体得到的彩色图像序列中每帧彩色图像中该目标物体的图像所处区域的面积与每帧彩色图像的面积的比值处于该目标区间，且每帧彩色图像中该目标物体的图像处于前置彩色图像的目标区域，以便于构建该目标物体的三维模型。在该实现方式中，在确定前置深度图像序列和前置彩色图像序列满足一定要求后，指示用户调整目标物体的姿态，进而扫描目标物体以得到用于构建目标物体的深度图像序列和彩色图像序列，可以及时通知该用户调整该目标物体的姿态。

在一个可选的实现方式中，所述调整所述第一深度图像中深度干扰像素点的像素值包括：将所述第一深度图像中所述深度干扰像素点的像素值设置为零。

在该实现方式中，将深度图像序列中各帧深度图像中干扰像素点的像素值设置为零，可以有效滤除深度图像中干扰物体的深度信息。

在一个可选的实现方式中，所述根据所述彩色图像序列和处理后的所述深度图像序列，构建所述目标物体的三维模型之前，所述方法还包括：确定所述前置彩色图像序列中的最后一帧前置彩色图像中所述干扰物体对应的像素点；所述前置彩色图像序列中的各帧所述前置彩色图像按照扫描得到的先后顺序排序；将所述前置深度图像序列中的最后一帧前置深度图像中的第一像素点的像素值设置为零以得到参考前置深度图像；所述最后一帧前置深度图像与所述最后一帧前置彩色图像相对应，所述第一像素点包括所述最后一帧前置深度图像中与所述最后一帧前置彩色图像中所述干扰物体对应的像素点相对应的像素点、所述最后一帧前置深度图像中像素值大于第二阈值的像素点以及所述最后一帧前置深度图像中像素值小于第三阈值的像素点，所述第二阈值大于所述第三阈值；所述前置深度图像序列中的各帧所述前置深度图像按照扫描得到的先后顺序排序；将所述深度图像序列中的第一帧深度图像中的第二像素点的像素值设置为零；所述深度图像序列中的各帧所述深度图像按照扫描得到的先后顺序排序；所述第一帧深度图像中的像素点与所述参考前置深度图像中的像素点一一对应，所述第二像素点在所述参考前置深度图像中对应的像素点的像素值为零。

第一深度图像中的干扰像素点为该第一深度图像对应的彩色图像中干扰物体对应的像素点。由于难以准确地确定该第一深度图像对应的彩色图像中干扰物体对应的每个像素点，该第一深度图像中的干扰像素点可能仅为该第一深度图像中干扰物体对应的像素点的一部分。相邻两帧深度图像中干扰物体对应的像素点的坐标很可能相同，该第一深度图像和该最后一帧前置深度图像为相邻的两帧深度图像。在该实现方式中，利用最后一帧前置深度图像调整后的深度图像进一步调整第一深度图像，可以进一步将该第一深度图像中干扰物体对应的像素点的像素值设置为零。

在一个可选的实现方式中，所述根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型之前，所述方法还包括：在所述第一深度图像不为所述深度图像序列中的第一帧深度图像的情况下，确定所述第一深度图像的前一帧深度图像中各像素点的法向量；所述前一帧深度图像中所述干扰物体对应的像素点的法向量均为零，所述前一帧深度图像中除所述干扰物体对应的像素点之外的像素点的法向量均不为零，所述深度图像序列中的各帧所述深度图像按照扫描得到的先后顺序排序；将所述第一深度图像中的第三像素点的像素值设置为零；所述第一深度图像中的像素点与所述前一帧深度图像中的像素点一一对应，所述第三像素点在所述前一帧深度图像中对应的像素点的法向量为零。

相邻两帧深度图像中干扰物体对应的像素点的坐标很可能相同。在该实现方式中，通过计算第一深度图像的前一帧深度图像中各像素点的法向量来确定该前一帧深度图像中干扰物体对应的像素点，该将第一深度图像中与该前一帧深度图像中干扰物体对应的像素点相对应的像素点设置零，可以进一步滤出该第一深度图像中干扰物体对应的深度信息。

在一个可选的实现方式中，所述根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值之前，所述方法还包括：确定各帧所述前置彩色图像中所述干扰物体对应的像素点；分别将各帧所述前置深度图像中参考像素点的像素值设置为零，得到处理后的各帧所述前置深度图像；所述参考像素点包括所述前置深度图像中与所述前置深度图像对应的所述前置彩色图像中所述干扰物体对应的像素点相对应的像素点、所述前置深度图像中像素值大于第四阈值的像素点以及所述前置深度图像中像素值小于第五阈值的像素点，所述第四阈值大于所述第五阈值；根据所述处理后的各帧所述前置深度图像中的每帧前置深度图像，确定所述目标物体的一个包围盒以得到一个包围盒序列；所述包围盒序列中的第一个包围盒至最后一个包围盒依次为根据所述处理后的前置深度图像序列中的第一帧前置深度图像至最后一帧前置深度图像确定的；所述根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值包括：在所述包围盒序列中任意相邻两个包围盒的中心点之间的距离均小于所述第一阈值的情况下，确定所述位移小于所述第一阈值。

可选的，在扫描目标对象得到前置深度图像序列和前置彩色图像序列后，处理前置深度图像序列中的每帧前置深度图像，并根据每帧调整后的前置深度图像确定目标物体的一个包围盒以得到一个包围盒序列。可选的，在扫描目标对象得到一帧前置彩色图像和该帧前置彩色图像对应的一帧前置深度图像后，处理该帧前置深度图像，并根据处理后的该帧前置深度图像确定一个包围盒。也就是说，每扫描目标对象得到一帧前置彩色图像和该帧前置彩色图像对应的一帧前置彩色图像就确定一个包围盒。在根据处理后的某帧前置深度图像确定一个包围盒后，确定该包围盒的中心点与前一个包围盒的中心点之间的距离，该前一个包围盒是根据该帧前置深度图像的前一帧前置深度图像处理后的深度图像确定的一个包围盒。在该实现方式中，当包围盒序列中任意相邻两个包围盒的中心点之间的距离均小于第一阈值时，确定目标物体的位移小于该第一阈值；可以快速地确定目标物体的位置不变的情况，以便于及时指示用户多次该目标物体的姿态。

在一个可选的实现方式中，所述扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列之前，所述方法还包括：确定所述前置彩色图像中倒数第二帧前置彩色图像中包含所述目标物体的图像的一个矩形区域以得到第一区域；根据所述参考前置深度图像，确定所述最后一帧前置彩色图像中所述目标物体的图像所处的第二区域；所述参考前置深度图像中的像素点与所述最后一帧前置彩色图像中的像素点一一对应，所述第二区域为所述参考前置深度图像中像素值不为零的像素点在所述最后一帧前置彩色图像中对应的像素点组成的区域；所述扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列包括：在确定所述第二区域包含于所述最后一帧前置彩色图像中的第三区域的情况下，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列；所述第三区域为所述第一区域中的像素点在所述最后一帧前置彩色图像中对应的像素点组成的区域。

当最后一帧前置彩色图像中目标物体的图像所处的第二区域包含于该最后一帧前置彩色图像中的第三区域时，表明该目标物体被扫描得到该最后一帧前置彩色图像时的位姿与被扫描得到该倒数第二帧前置彩色图像时的位姿基本一致。在该实现方式中，在确定第二区域包含于最后一帧前置彩色图像中的第三区域的情况下，扫描目标对象以得到彩色图像序列和深度图像序列；可以快速地、准确地确定该目标物体的位姿基本不变，以便于扫描得到的满足要求的深度图像序列和彩色图像序列。

在一个可选的实现方式中，所述干扰物体为用户的手部。所述扫描所述目标对象以得到前置彩色图像序列和前置深度图像序列可以是扫描所述目标物体和直接接触所述目标物体的所述用户的手部，以得到所述前置彩色图像序列和所述前置深度图像序列。也就是说，用户可以直接手持目标物体进行扫描以得到前置彩色图像序列和前置深度图像序列。所述用户调整所述目标物体的姿态可以是所述用户直接手持所述目标物体以调整所述目标物体的姿态。所述扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列可以是扫描所述目标物体和直接接触所述目标物体的所述用户的手部以得到所述彩色图像序列和所述深度图像序列。在该实现方式中，用户可以直接手持目标物体进行扫描，操作简单，扫描效率高。

在一个可选的实现方式中，所述扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列之前，所述方法还包括：指示用户多次调整所述目标物体的姿态；所述扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列包括：在所述用户多次调整所述目标物体的姿态的过程中，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列。

在该实现方式中，可以及时通知用户调整目标物体的姿态，以便于对该目标物体进行全景扫描。

在一个可选的实现方式中，所述方法还包括：在所述前置彩色图像中的任一帧前置彩色图像中所述目标物体的图像所处区域的面积与所述任一帧前置彩色图像的面积的比值未处于所述目标区间，或所述任一帧前置彩色图像中所述目标物体的图像未处于所述任一帧前置彩色图像的所述目标区域，或所述位移不小于所述第一阈值的情况下，指示用户调整所述目标物体的位置。

在该实现方式中，可以及时通知用户调整目标物体的位置，以便于扫描该目标物体得到满足要求的图像。

在一个可选的实现方式中，所述方法还包括：在确定所述第二区域未包含于所述第三区域的情况下，指示所述用户保持所述目标物体的位姿不变。

当最后一帧前置彩色图像中目标物体的图像所处的第二区域未包含于该最后一帧前置彩色图像中的第三区域时，表明该目标物体被扫描得到该最后一帧前置彩色图像时的位姿与被扫描得到该倒数第二帧前置彩色图像时的位姿不同。在该实现方式中，在确定第二区域未包含于第三区域的情况下，指示用户保持该目标物体的姿态，以便于扫描得到的满足要求的深度图像序列和彩色图像序列。

第二方面，本申请实施例提供了一种物体三维模型重建装置，该装置包括：确定模块，用于确定目标对象的第一彩色图像和第一深度图像，将所述第一彩色图像传输至模型重建模块，以及将所述第一深度图像传输至深度图处理模块；其中，所述目标对象包括目标物体和干扰物体；所述第一彩色图像中的像素点与所述第一深度图像中的像素点一一对应；所述确定模块，用于确定所述第一彩色图像中所述干扰物体对应的彩色干扰像素点，将第一描述信息发送至所述深度图处理模块；所述第一描述信息用于描述所述第一彩色图像中所述彩色干扰像素点的坐标；所述深度图处理模块，用于根据所述第一描述信息调整所述第一深度图像中深度干扰像素点的像素值，得到处理后的第一深度图像，所述深度干扰像素点为所述第一深度图像中与所述彩色干扰像素点一一对应的像素点；所述模型重建模块，用于根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型。

在一个可选的实现方式中，所述装置还包括：获取模块，具体用于获取彩色图像序列以及深度图像序列，将所述彩色图像序列传输至所述确定模块和所述模型重建模块，以及将所述深度图像序列传输至所述深度图处理模块；所述彩色图像序列包括所述目标对象在多种位姿下的多帧彩色图像，所述深度图像序列包括所述目标对象在所述多种位姿下的多帧深度图像；其中，所述第一深度图像是所述多帧深度图像中的任意一帧图像，所述第一彩色图像是所述多帧彩色图像中与所述第一深度图像相对应的图像；所述确定模块，具体用于确定各帧所述彩色图像中所述干扰物体对应的彩色干扰像素点，将第二描述信息发送至所述深度图处理模块；所述第二描述信息用于描述各帧所述彩色图像中所述干扰物体对应的像素点的坐标；所述深度图处理模块，用于根据所述第二描述信息调整各帧所述深度图像中深度干扰像素点的像素值，得到处理后的深度图像序列；所述彩色图像中的所述干扰物体对应的像素点在与所述彩色图像对应的所述深度图像中对应的像素点为所述深度图像中的深度干扰像素点；所述模型重建模块，具体用于根据多帧所述第一彩色图像和多帧所述处理后的第一深度图像，构建所述目标物体的三维模型。

在一个可选的实现方式中，所述装置还包括：扫描模块，用于扫描所述目标对象以得到前置彩色图像序列和前置深度图像序列，将所述前置深度彩色图像序列和所述前置深度图像序列传输至所述确定模块；所述前置深度图像序列中的前置深度图像与所述前置彩色图像序列中的前置彩色图像一一对应，所述前置深度图像中的像素点与所述前置深度图像对应的所述前置彩色图像中的像素点一一对应；所述扫描模块，还用于在所述确定模块确定各帧所述前置彩色图像中所述目标物体的图像所处区域的面积与所述前置彩色图像的面积的比值处于目标区间，且所述前置彩色图像中所述目标物体的图像处于所述前置彩色图像的目标区域，且根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值的情况下，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列；所述目标区域为包括所述前置彩色图像的中心点在内的区域；所述目标区域的中心点与所述前置彩色图像的中心点之间的距离小于距离阈值。

在一个可选的实现方式中，所述深度图处理模块，具体用于根据所述第一描述信息将所述第一深度图像中所述深度干扰像素点的像素值设置为零。

在一个可选的实现方式中，所述确定模块，还用于确定所述前置彩色图像序列中的最后一帧前置彩色图像中所述干扰物体对应的像素点，将第三描述信息传输至所述深度图处理模块，所述第三描述信息用于描述所述最后一帧彩色图像中所述干扰物体对应的像素点的坐标，所述前置彩色图像序列中的各帧所述前置彩色图像按照扫描得到的先后顺序排序；所述深度图处理模块，还用于根据所述第三描述信息，将所述前置深度图像序列中的最后一帧前置深度图像中的第一像素点的像素值设置为零以得到参考前置深度图像；所述最后一帧前置深度图像与所述最后一帧前置彩色图像相对应，所述第一像素点包括所述最后一帧前置深度图像中与所述最后一帧前置彩色图像中所述干扰物体对应的像素点相对应的像素点、所述最后一帧前置深度图像中像素值大于第二阈值的像素点以及所述最后一前置帧深度图像中像素值小于第三阈值的像素点，所述第二阈值大于所述第三阈值；所述前置深度图像序列中的各帧所述前置深度图像按照扫描得到的先后顺序排序；所述深度图处理模块，还用于将所述深度图像序列中的第一帧深度图像中的第二像素点的像素值设置为零；所述深度图像序列中的各帧所述深度图像按照扫描得到的先后顺序排序；所述第一帧深度图像中的像素点与所述参考前置深度图像中的像素点一一对应，所述第二像素点在所述参考前置深度图像中对应的像素点的像素值为零。

在一个可选的实现方式中，所述确定模块，还用于在所述第一深度图像不为所述深度图像序列中的第一帧深度图像的情况下，确定所述第一深度图像的前一帧深度图像中各像素点的法向量，将第四描述信息传输至深度图处理模块；所述第四描述信息用于描述所述前一帧深度图像中各像素点的法向量；所述前一帧深度图像中所述干扰物体对应的像素点的法向量均为零，所述前一帧深度图像中除所述干扰物体对应的像素点之外的像素点的法向量均不为零，所述深度图像序列中的各帧所述深度图像按照扫描得到的先后顺序排序；所述深度图处理模块，还用于根据所述第四描述信息，将所述第一深度图像中的第三像素点的像素值设置为零；所述第一深度图像中的像素点与所述前一帧深度图像中的像素点一一对应，所述第三像素点在所述前一帧深度图像中对应的像素点的法向量为零。

在一个可选的实现方式中，所述确定模块，还用于确定各帧所述前置彩色图像中所述干扰物体对应的像素点，将第五描述信息发送至所述深度图处理模块；所述第五描述信息用于描述各帧所述前置彩色图像中所述干扰物体对应的像素点的坐标；所述深度图处理模块，还用于根据所述第五描述信息，分别将各帧所述前置深度图像中参考像素点的像素值设置为零，得到处理后的各帧所述前置深度图像；所述参考像素点包括所述前置深度图像中与所述前置深度图像对应的所述前置彩色图像中所述干扰物体对应的像素点相对应的像素点、所述前置深度图像中像素值大于第四阈值的像素点以及所述前置深度图像中像素值小于第五阈值的像素点，所述第四阈值大于所述第五阈值；根据所述处理后的各帧所述前置深度图像中的每帧前置深度图像，确定所述目标物体的一个包围盒以得到一个包围盒序列；所述包围盒序列中的第一个包围盒至最后一个包围盒依次为根据所述处理后的前置深度图像序列中的第一帧前置深度图像至最后一帧前置深度图像确定的；所述确定模块，还用于在所述包围盒序列中任意相邻两个包围盒的中心点之间的距离均小于所述第一阈值的情况下，确定所述位移小于所述第一阈值。

在一个可选的实现方式中，所述确定模块，还用于确定所述前置彩色图像中倒数第二帧前置彩色图像中包含所述目标物体的图像的一个矩形区域以得到第一区域；根据所述参考前置深度图像，确定所述最后一帧前置彩色图像中所述目标物体的图像所处的第二区域；所述参考前置深度图像中的像素点与所述最后一帧前置彩色图像中的像素点一一对应，所述第二区域为所述参考前置深度图像中像素值不为零的像素点在所述最后一帧前置彩色图像中对应的像素点组成的区域；所述扫描模块，具体用于在所述确定模块确定所述第二区域包含于所述最后一帧前置彩色图像中的第三区域的情况下，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列；所述第三区域为所述第一区域中的像素点在所述最后一帧前置彩色图像中对应的像素点组成的区域。

在一个可选的实现方式中，所述干扰物体为用户的手部。

在一个可选的实现方式中，所述装置还包括：指示模块，用于在所述确定模块确定所述前置彩色图像中的任一帧前置彩色图像中所述目标物体的图像所处区域的面积与所述任一帧前置彩色图像的面积的比值未处于所述目标区间，或所述任一帧前置彩色图像中所述目标物体的图像未处于所述任一帧前置彩色图像的所述目标区域，或所述位移不小于所述第一阈值的情况下，指示用户调整所述目标物体的位置。

在一个可选的实现方式中，所述指示模块，还用于在所述确定模块确定各帧所述前置彩色图像中所述目标物体的图像所处区域的面积与所述前置彩色图像的面积的比值处于目标区间，且所述前置彩色图像中所述目标物体的图像处于所述前置彩色图像的目标区域，且根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值的情况下，指示所述用户多次调整所述目标物体的姿态；所述扫描模块，具体用于在所述用户多次调整所述目标物体的姿态的过程中，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列。

在一个可选的实现方式中，所述指示模块，还用于在所述确定模块确定所述第二区域未包含于所述第三区域的情况下，指示所述用户保持所述目标物体的位姿不变。

第三方面，本申请实施例提供了另一种物体三维模型重建装置，该装置包括处理器、总线、深度传感器模组和彩色摄像头；所述深度传感器模组、彩色摄像头以及所述处理器通过所述总线相连；所述深度传感器模组和所述彩色摄像头用于在所述处理器的控制下对目标物体进行全景扫描；所述处理器用于控制所述物体三维模型重建装置执行如上述第一方面以及上述第一方面中任一种可选的实现方式的方法。

第四方面，本申请实施例提供了一种移动终端，该移动终端包括存储器、处理器、总线、深度传感器模组和彩色摄像头；所述彩色摄像头和所述深度传感器模组位于所述移动终端的同一侧；所述存储器、所述深度传感器模组、彩色摄像头以及所述处理器通过所述总线相连；所述深度传感器模组和所述彩色摄像头用于在所述处理器的控制下对目标物体进行全景扫描；所述存储器用于存储计算机程序和指令；所述处理器用于调用所述存储器中存储的所述计算机程序和指令，使所述移动终端执行如上述第一方面以及上述第一方面中任一种可选的实现方式的方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面以及上述第一方面中任一种可选的实现方式的方法。

附图说明

图1为本申请实施例提供的一种终端的硬件结构示意图；

图2A为本申请实施例提供的一种物体三维模型重建方法流程图；

图2B为本申请实施例提供的另一种物体三维模型重建方法流程图；

图3A为本申请实施例提供的一种物体三维模型重建过程示意图；

图3B为本申请实施例提供的一种调整一帧深度图像的过程示意图；

图4为本申请实施例提供的一种图像预处理方法流程图；

图5为本申请实施例提供结构光原理图；

图6为本申请实施例中一种TOF示意图；

图7为本申请实施例中一种网格化+纹理映射的方法流程图；

图8为本发明实施例中一种具体的网格化实现方案流程图；

图9为本发明实施例中一种具体的纹理映射实现方案流程图；

图10为本发明实施例中一种具体的网格化+纹理映射实例

图11为本申请实施例提供的一种物体三维模型重建装置的结构示意图；

图12为本申请实施例提供的另一种物体三维模型重建装置的结构示意图；

图13为本申请实施例提供的一种移动终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了终端100的一种可选的硬件结构示意图。本申请实施例中的物体三维模型重建装置可以为终端100。

参考图1所示，终端100可以包括射频(Radio Frequency，RF)单元110、存储器120、输入单元130、显示单元140、拍摄单元150、音频电路160、扬声器161、麦克风162、处理器170、外部接口180、电源190等部件。

射频单元110可用于在收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，传输给处理器170处理；另外，将涉及上行的数据发送给基站。通常，RF单元(也成RF电路)110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，射频单元110还可以通过无线通信与网络设备和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器120可用于存储指令(例如软件程序)和数据，处理器170通过运行存储在存储器120的软件程序，从而执行终端100的各种功能应用以及数据处理。存储器120可主要包括存储指令区和存储数据区，存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本、彩色图像、深度图像)等；存储指令区可存储操作系统、应用、至少一个功能所需的指令等软件单元，或者它们的子集、扩展集。存储器120可以包括双倍速率同步动态随机存储器(Synchronous Dynamic Random Access Memory，SDRAM)，当然还可以包括高速随机存取存储器，或者包括非易失性存储器等其他存储单元，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。

输入单元130可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触摸屏131以及其他输入设备132。所述触摸屏131可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏上或在触摸屏的附近操作)，并根据预先设定的程序驱动相应的连接装置。触摸屏可以检测用户对触摸屏的触摸动作，将所述触摸动作转换为触摸信号发送给所述处理器170，并能接收所述处理器170发来的命令并加以执行；所述触摸信号至少包括触点坐标信息。所述触摸屏131可以提供所述终端100和用户之间的输入界面和输出界面。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏。除了触摸屏131，输入单元130还可以包括其他输入设备。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键132、开关按键133等)、轨迹球、鼠标、操作杆等中的一种或多种。

进一步的，触摸屏131可覆盖显示面板141，当触摸屏131检测到在其上或附近的触摸操作后，传送给处理器170以确定触摸事件的类型，随后处理器170根据触摸事件的类型在显示面板141上提供相应的视觉输出。在本实施例中，触摸屏与显示单元可以集成为一个部件而实现终端100的输入、输出、显示功能；为便于描述，本发明实施例以触摸显示屏代表触摸屏和显示单元的功能集合；在某些实施例中，触摸屏与显示单元也可以作为两个独立的部件。

显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单。在本发明实施例中，显示单元还用于显示设备利用摄像头150获取到的彩色图像，可以包括某些拍摄模式下的预览图像、拍摄的初始图像以及拍摄后经过一定算法处理后的图像，例如根据拍摄目标物体得到的彩色图像，重建的该目标物体的三维模型。

拍摄单元150，用于采集图像或视频，可以通过应用程序指令触发开启，实现拍照或者摄像功能。拍摄单元可以包括成像镜头，滤光片，图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的物体(也可称为待拍摄对象或目标物体)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入到处理170进行后续处理。

具体地，拍摄单元150还可以包括彩色相机151和深度相机152；彩色相机用于采集目标物体的彩色图像，包含当下流行的终端产品中通用的彩色相机。深度相机用于获取目标物体的深度信息，作为举例，深度相机的可以通过飞行时间(Time of Flight，TOF)技术和结构光技术实现。

其中，TOF技术是传感器(例如深度传感器模组)发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。此外，再结合传统的彩色摄像头拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

其中，结构光是一组由投影元件和摄像头组成的系统结构。用投影元件投射特定的光信息(如经过光栅衍射)到物体表面后及背景后，由摄像头采集。根据物体造成的光信号的变化(如光线粗细的变化与位移)来计算物体的位置和深度等信息；进而复原整个三维空间。

音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，麦克风162用于收集声音信号，还可以将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器170处理后，经射频单元110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理，音频电路也可以包括耳机插孔163，用于提供音频电路和耳机之间的连接接口。

处理器170是终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的指令以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据，从而对终端进行整体控制。可选的，处理器170可包括一个或多个处理单元；优选的，处理器170可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器170中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。处理器170还可以用于产生相应的操作控制信号，发给计算处理设备相应的部件，读取以及处理软件中的数据，尤其是读取和处理存储器120中的数据和程序，以使其中的各个功能模块执行相应的功能，从而控制相应的部件按指令的要求进行动作。

终端100还包括外部接口180，上述外部接口可以是标准的Micro USB接口，也可以使多针连接器，可以用于连接终端100与其他装置进行通信，也可以用于连接充电器为终端100充电。

终端100还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器170逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，终端100还可以包括闪光灯、无线保真(wireless fidelity，WiFi)模块、蓝牙模块、不同功能的传感器等，在此不再赘述。下文中描述的全部方法均可以应用在图1所示的终端中。此外，本领域技术人员可以理解，图1仅仅是物体三维模型重建装置的举例，并不构成对物体三维模型重建装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

物体三维模型重建是利用彩色相机和深度相机对物体进行全景扫描，即扫描该物体得到彩色图像序列和深度图像序列，该彩色图像序列包括该物体在多种姿态下的彩色图像，该深度图像序列包括该物体在多种姿态下的深度图像；利用该深度图像序列和该彩色图像序列进行融合得到带有纹理的网格模型，即该目标物体的三维(3D)模型。本申请实施例提供的物体三维模型重建方法可以应用于物体三维模型重建场景。下面对物体三维模型重建场景做简单介绍。

物体三维模型重建场景：在该场景中，物体三维模型重建过程分为三个阶段，即预览阶段、在线扫描阶段以及后处理阶段。只有当预览阶段完成后，才进入在线扫描阶段。在预览阶段中，手机平放在桌面上或固定在支架上，用户直接手持物体进行扫描，在该扫描过程中该用户可以调整手机扫描该物体的角度以及该手机与该物体之间的距离，当该手机最近扫描得到的多帧连续的彩色图像均满足要求且该物体的位置基本不变时，该手机指示该用户调整该物体的姿态并进入在线扫描阶段；在在线扫描阶段，在该用户调整该物体的姿态的过程中，扫描该物体以得到彩色图像序列和深度图像序列，对该深度图像序列中的各帧深度图像做处理以消除各帧深度图像中手部的深度信息；在后处理阶段，使用该彩色图像序列和处理后的深度图像序列融合得到带有纹理的网格模型，即该物体的3D模型。

在预览阶段，用户调整物体的位置，当该物体的位置合适时保持该物体的位置不变，以便手机扫描该物体得到的彩色图像和/或深度图像满足要求。也就是说，当物体的位置基本不变且手机最近扫描到的多帧连续的彩色图像均满足要求时，物体三维模型重建过程进入在线扫描阶段。在在线扫描阶段，用户在保持物体的位置基本不变的情况下，调整该物体的姿态以便手机对该物体进行全景扫描。举例来说，在在线扫描阶段，用户可以手持物体进行旋转并保持该物体的位置不变，以便于手机扫描得到该物体在不同姿态下的彩色图像和深度图像。在一个可能的应用场景中，同一个用户一只手手持手机，另一只手手持物体，以实现对该物体的全景扫描。在另一个可能的应用场景中，一个用户手持手机，另一个用户手持物体，以实现对该物体的全景扫描。当扫描完成后，进入后处理阶段，完成网格化和纹理映射后，即可得到带有纹理的物体三维模型。

上述应用场景中，用户直接手持物体，通过旋转物体来扫描该物体以得到该物体在不同姿态下的彩色图像和深度图像，从而实现对物体的全景扫描，操作简单。下面介绍物体三维重建装置在在线扫描阶段和后处理阶段执行的操作。

本申请实施例提供了一种物体三维模型重建方法，如图2A所示，该方法可包括：

201、物体三维模型重建装置确定目标对象的第一彩色图像和第一深度图像。

该目标对象包括目标物体和干扰物体。该第一彩色图像中的像素点与该第一深度图像中的像素点一一对应。该第一彩色图像可以是对扫描该目标物体得到的原始彩色图像进行下采样得到彩色图像。

202、物体三维模型重建装置确定上述第一彩色图像中干扰物体对应的彩色干扰像素点。

上述彩色干扰像素点指的是上述第一彩色图像中干扰物体对应的像素点。下文会详细描述如何确定彩色图像中干扰物体对应的像素点，这里先不详述。

203、物体三维模型重建装置调整上述第一深度图像中深度干扰像素点的像素值，得到处理后的第一深度图像。

上述深度干扰像素点为上述第一深度图像中与上述彩色干扰像素点一一对应的像素点。

204、物体三维模型重建装置根据上述第一彩色图像和处理后的第一深度图像，构建上述目标物体的三维模型。

本申请实施例中，对拍摄目标物体和干扰物体得到的第一深度图像做处理，处理后的第一深度图像仅包含该目标物体的深度信息，根据处理后的第一深度图像以及该深度图像序列对应的彩色图像，构建该目标物体的三维模型；用户可以手持该目标物体进行扫描或者将该目标物体放置到某个选择旋转装置上进行扫描，操作简单。

本申请实施例提供了另一种物体三维模型重建方法，如图2B所示，该方法可包括：

221、物体三维模型重建装置获取彩色图像序列以及深度图像序列。

物体三维模型重建装置可以是终端，例如手机，平板电脑，笔记本电脑，摄像机等，还可以是服务器等。物体三维模型重建装置获取彩色图像序列以及深度图像序列可以是该物体三维模型重建装置从其自身的存储设备中获取该彩色图像序列以及该深度图像序列，也可以是从其他设备(例如服务器)获取该彩色图像序列以及该深度图像序列。该彩色图像序列包括该目标对象在多种位姿下的多帧彩色图像，该深度图像序列包括该目标对象在多种位姿下的多帧深度图像，该目标对象包括目标物体和干扰物体。该多种位姿下的多帧深度图像是对该目标物体进行全景扫描得到的多帧深度图像。也就是说，该多帧深度图像至少包含该目标物体的表面的每个点的深度信息，该深度图像序列包含的深度图像的帧数不作限定。上述第一深度图像是上述多帧深度图像中的任意一帧图像，上述第一彩色图像是上述多帧彩色图像中与上述第一深度图像相对应的图像。该干扰物体是与该目标物体直接接触的物体，可以是用户的手部，也可以是其他用于调整该目标物体的位置和/或姿态的物体。

该深度图像序列中的深度图像与该彩色图像序列中的彩色图像一一对应。该深度图像序列中的任一深度图像中的像素点与该任一深度图像对应的彩色图像中的像素点一一对应。也就是说，任一深度图像和该任一深度图像对应的彩色图像的分辨率相同，该任一深度图像中第P行第Q列的像素点与该彩色图像中的第P行第Q列的像素点相对应，P和Q均为大于0的整数。

222、物体三维模型重建装置确定彩色图像序列包括的各帧彩色图像中干扰物体对应的像素点。

物体三维模型重建装置可以确定各帧彩色图像中干扰物体对应的像素点，以得到各帧彩色图像中干扰物体对应的像素点的坐标。可选的，采用如下方式确定彩色图像序列中的任一帧彩色图像中干扰物体对应的像素点：将该任一彩色图像输入至深度卷积神经网络做处理得到第一特征图，该深度卷积神经网络为预先训练得到的；对该第一特征图进行上采样以得到分辨率与该任一彩色图像的分辨率相同的第二特征图，该第二特征图中的像素点与该任一彩色图像中的像素点一一对应；分别确定该第二特征图中各像素点属于该干扰物体对应的像素点的概率值；将该任一彩色图像中与该第二特征图中的标定像素点相对应的像素点作为该任一彩色图像中干扰物体对应的像素点，该标定像素点为该第二特征图中属于该干扰物体对应的像素点的概率值大于目标阈值的像素点，该目标阈值可以是0.4、0.5、0.6、0.8等。深度卷积神经网络也可以用其他网络替代。在实际应用中，物体三维模型重建装置可以使用不同类型的神经网络来处理各帧彩色图像以确定各帧彩色图像中干扰物体对应的像素点。物体三维模型重建装置也可以采用其他方式确定各帧彩色图像中干扰物体对应的像素点，本申请不作限定。物体三维模型重建装置可以依次确定彩色图像序列中每一帧彩色图像中干扰物体对应的像素点，即依次确定每一帧彩色图像中干扰物体对应的像素点的坐标。

223、物体三维模型重建装置调整各帧深度图像中干扰像素点的像素值，得到处理后的深度图像序列。

彩色图像序列中任一彩色图像中干扰物体对应的像素点在与该任一彩色图像对应的深度图像中对应的像素点为该深度图像中的干扰像素点。假定任一深度图像对应的彩色图像中第一像素点位置至第十像素点位置的像素点为干扰物体对应的像素点，则该任一深度图像中的干扰像素点为该任一深度图像中该第一像素点位置至该第十像素点位置的像素点。可选的，将各帧深度图像中干扰像素点的像素值设置为零，得到处理后的深度图像序列。

224、物体三维模型重建装置根据该彩色图像序列和处理后的深度图像序列，确定目标物体的三维模型。

请参阅图3A，图3A是对物体扫描到实现物体三维模型重建的主要过程。首先对目标物体进行扫描，通过深度相机扫描得到深度图像序列，通过彩色相机扫描得到彩色图像序列；对该深度图像序列做处理；使用处理后的深度图像序列和该彩色图像序列，融合得到带有纹理的网格模型，即该目标物体的3D模型。下面将结合实例具体展开描述，这里先不作详述。

本申请实施例中，对拍摄目标物体和干扰物体得到的深度图像序列做处理以得到仅包含该目标物体的深度信息的深度图像序列，使用处理后的深度图像序列以及该深度图像序列对应的彩色图像序列，融合得到该目标物体的三维模型；用户可以手持该目标物体进行扫描或者将该目标物体放置到某个选择旋转装置上进行扫描，操作简单。

物体三维模型重建装置执行221之前，该物体三维模型重建装置需要对目标物体进行全景扫描以得到上述深度图像序列以及上述彩色图像序列。为扫描目标物体以得到可用于构建该目标物体的三维模型的上述深度图像序列以及上述彩色图像序列，该物体三维模型重建装置可以执行如下操作：

2211、物体三维模型重建装置扫描目标对象。

该目标对象包括目标物体和干扰物体。物体三维模型重建装置可以使用深度相机扫描该目标对象得到多帧前置深度图像以及使用彩色相机扫描该目标对象得到多帧前置彩色图像。该多帧前置深度图像按照扫描得到的先后顺序排序，该多帧前置彩色图像按照扫描得到的先后顺序排序。当扫描该目标物体得到的前置深度图像和前置彩色图像的分辨率不同时，可以对扫描该目标物体得到的各帧前置彩色图像进行下采样，使得各帧前置彩色图像与前置深度图像的分辨率相同。本申请中，前置彩色图像序列可以是扫描该目标物体得到的彩色图像序列，也可以是对扫描该目标物体得到的原始前置彩色图像序列进行下采样得到。可以理解，该物体三维模型重建装置可以对扫描该目标对象得到的每帧前置彩色图像进行下采样以得到与前置深度图像的分辨率相同的前置彩色图像。

2212、物体三维模型重建装置判断前置彩色图像序列和前置深度图像序列是否满足目标条件。

若是，执行2213；若否，执行2214。该前置彩色图像序列为该多帧前置彩色图像中的最后F帧前置彩色图像，该前置深度图像序列为该多帧前置深度图像中的最后F帧前置深度图像，F为大于1的整数。也就是说，该前置深度图像序列包括最近扫描该目标对象得到的F帧前置深度图像，该前置彩色图像序列包括最近扫描该目标对象得到的F帧前置彩色图像。该前置深度图像序列中的前置深度图像与该前置彩色图像序列中的前置彩色图像一一对应，该前置深度图像序列中任一前置深度图像中的像素点与该任一前置深度图像对应的前置彩色图像中的像素点一一对应。该前置彩色图像序列和该前置深度图像序列满足该目标条件的情况可以是该前置彩色图像序列中的各帧前置彩色图像中该目标物体的图像所处区域的面积与各帧前置彩色图像的面积的比值处于目标区间，且各帧前置彩色图像中该目标物体的图像处于各帧前置彩色图像的目标区域，且根据前置深度图像序列确定的该目标物体的位移小于第一阈值。该目标区间可以是0.1至0.8，0.2至0.6等。该第一阈值可以是0.5cm、1cm、2cm等。各帧前置彩色图像的目标区域的中心点与各帧前置彩色图像的中心点之间的距离小于距离阈值，该距离阈值可以是各帧前置彩色图像的长度的十分之一、五分之一等。

2213、物体三维模型重建装置指示用户多次调整该目标物体的姿态。

物体三维模型重建可以输出语音以指示用户多次调整该目标物体的姿态，也可以输出相应的信息或界面以指示用户多次调整该目标物体的姿态，还可以采用其他方式指示用户多次调整该目标物体的姿态，本申请不作限定。该物体三维模型重建装置在指示用户多次调整目标物体的姿态之前，确定该前置彩色图像序列和该前置深度图像序列满足该目标条件的目标是保证在该用户调整该目标物体的姿态的过程中，扫描该目标对象得到的深度图像序列和彩色图像序列可以成功构建出该目标物体的三维模型。

2214、物体三维模型重建装置指示用户调整目标物体的位置，并返回步骤2211。

物体三维模型重建装置在该前置彩色图像序列和该前置深度图像序列不满足该目标条件的情况下，指示用户调整该目标物体的位置，并扫描该目标对象获得新的前置彩色图像(最近扫描该目标对象得到的F帧彩色图像)和新的前置深度图像(最近扫描该目标对象得到的F帧深度图像)。

2215、物体三维模型重建装置在用户调整目标物体的姿态的过程中，扫描目标对象以得到彩色图像序列和深度图像序列。上述扫描目标对象以得到彩色图像序列和深度图像序列可以是：扫描上述目标对象以得到原始彩色图像序列和深度图像序列；对上述原始彩色图像序列中的各帧原始彩色图像进行下采样以得到上述彩色图像序列。本申请中，彩色图像序列可以是扫描该目标物体得到的，也可以对扫描该目标物体得到的原始前置彩色图像序列进行下采样得到。

本申请实施例中，在前置深度图像序列和前置彩色图像序列满足目标要求后，指示用户调整目标物体的姿态，进而扫描目标对象得到用于构建目标物体的深度图像序列和彩色图像序列，实现简单。

下面介绍如何调整各帧深度图像中干扰像素点的像素值，即详细描述物体三维模型重建装置执行步骤223的过程。

物体三维模型重建装置可以采用相同的方式调整各帧深度图像中干扰像素点的像素值。物体三维模型重建装置调整任一深度图像中干扰像素点的像素值的操作可以如下：确定该任一深度图像对应的彩色图像中干扰物体对应的像素点，以得到描述该彩色图像中该干扰物体对应的像素点的坐标的坐标信息，该任一深度图像中的像素点和该彩色图像中的像素点一一对应；根据该坐标信息，将该彩色图像中该干扰物体对应的像素点在该任一深度图像中对应的像素点的像素值调整为零。该坐标信息用于描述一个或多个像素点的坐标。可以理解，该彩色图像中该干扰物体对应的像素点在该任一深度图像中对应的像素点为该任一深度图像中的干扰像素点。

物体三维模型重建装置调整任一深度图像中干扰像素点的像素值的操作也可以如下：确定该任一深度图像对应的彩色图像中干扰物体对应的像素点以得到第一二值图，该彩色图像中的像素点与该第一二值图中的像素点一一对应，该彩色图像中干扰物体对应的像素点在该第一二值图中对应的像素点的值均为第一值，该第二二值图中其他像素点的值均为第二值；将该任一深度图像中在该第一二值图中对应的像素点的值为该第一值的像素点的像素值设置为零，该任一深度图像中的像素点与该第一二值图中的像素点一一对应。该第一值可以为255，该第二值可以为0。该彩色图像中除该干扰物体对应的像素点之外的像素点在该第一二值图中对应的像素点的值均为该第二值。可以理解，该任一深度图像中在该第一二值图中对应的像素点的值为该第一值的像素点为该任一深度图像中的干扰像素点。

可选的，采用如下公式调整任一深度图像中干扰像素点的像素值：

其中，depth(i,j)表示该任一深度图像中第i行第j列的像素点的像素值，即深度值；handmask(i,j)表示该第一二值图中第i行第j列的像素点的值。

上述两种方式仅是本申请提供的两种将深度图像中的干扰像素点设置为零的方式，物体三维模型重建装置也可以采用其他方式将深度图像中的干扰像素点设置为零，这里不再一一列举。

由于难以准确地确定每帧深度图像对应的彩色图像中干扰物体对应的每个像素点，采用上述方式难以将每帧深度图像中干扰物体对应的像素点的像素值均设置为零。由于相邻两帧深度图像中干扰物体对应的像素点的坐标很可能相同，因此可以根据每帧深度图像的前一帧深度图像中的干扰物体对应的像素点确定每帧深度图像中干扰物体对应的像素点。

物体三维模型重建装置还可以采用如下操作对各帧深度图像做调整。这里所做的操作可以在将各帧深度图像中的干扰像素点的值设置为零之后执行，也可以在将各帧深度图像中的干扰像素点的值设置为零之前执行。

在物体三维模型重建装置当前待处理的第一深度图像为深度图像序列中的第一帧深度图像的情况下，确定上述前置彩色图像序列中的最后一帧前置彩色图像中干扰物体对应的像素点，该深度图像序列中的各帧深度图像按照扫描得到的先后顺序排序，该前置彩色图像序列中的各帧前置彩色图像按照扫描得到的先后顺序排序；将上述前置深度图像序列中的最后一帧前置深度图像中的第一像素点的像素值设置为零以得到参考前置深度图像，该前置深度图像序列中的各帧前置深度图像按照扫描得到的先后顺序排序，该最后一帧前置深度图像与该最后一帧前置彩色图像相对应，该第一像素点包括该最后一帧前置深度图像中与该最后一帧前置彩色图像中该干扰物体对应的像素点相对应的像素点、该最后一帧前置深度图像中像素值大于第二阈值的像素点以及该最后一帧前置深度图像中像素值小于第三阈值的像素点，该第二阈值大于该第三阈值；将该第一深度图像中的第二像素点的像素值设置为零；该第一深度图像中的像素点与该参考前置深度图像中的像素点一一对应，该第二像素点在该参考前置深度图像中对应的像素点的像素值为零。该第二阈值可以是80cm，该第三阈值可以是10cm等。

在一个可选的实现方式中，物体三维模型重建装置可以采用如下操作得到上述参考前置深度图像：确定上述最后一帧前置彩色图像中干扰物体对应的像素点以得到第二二值图，该最后一帧前置彩色图像中的像素点与该第二二值图中的像素点一一对应，该最后一帧前置彩色图像中干扰物体对应的像素点在该第二二值图中对应的像素点的值均为第三值，该第二二值图中其他像素点的值均为第四值；将上述最后一帧前置深度图像中在该第二二值图中对应的像素点的值为该第三值的像素点的像素值设置为零以得到中间前置深度图像，该最后一帧前置深度图像中的像素点与该第二二值图中的像素点一一对应；将该中间前置深度图像中像素值大于上述第二阈值以及像素值小于上述第三阈值的像素点的像素值均设置为零以得到上述参考前置深度图像。该第三值可以为255，该第四值可以为0。该最后一帧前置彩色图像中除该干扰物体对应的像素点之外的像素点在该第二二值图对应的像素点的值为该第四值。上述将该第一深度图像中的第二像素点的像素值设置为零可以是：根据上述参考前置深度图像，确定第三二值图，该参考前置深度图像中的像素点与该第三二值图中的像素点一一对应，该参考前置深度图像中像素值为零的像素点在该第三二值图中对应的像素点的值为第五值，该参考前置深度图像中像素值不为零的像素点在该第三二值图中对应的像素点的值为第六值；将该第一深度图像中在该第三二值图对应的像素点值为该第五值的像素点的像素值设置为零，该第一深度图像中的像素点与该第三二值图中的像素点一一对应。该第五值可以是0，该第六值可以是255。

在物体三维模型重建装置当前待处理的第一深度图像不为深度图像序列中的第一帧深度图像的情况下，确定上述深度图像序列中该第一深度图像的前一帧深度图像中各像素点的法向量，该深度图像序列中的各帧深度图像按照扫描得到的先后顺序排序；将该第一深度图像中的第三像素点的像素值设置为零，该第一深度图像中的像素点与该前一帧深度图像中的像素点一一对应，该第三像素点在该前一帧深度图像中对应的像素点的法向量为零。可选的，物体三维模型重建装置根据该前一帧深度图像，计算法向量图，该法向量图中的像素点与该前一帧深度图像中的像素点一一对应；根据该法向量图，确定第四二值图，该法向量图中的像素点与该第四二值图中的像素点一一对应，该法向量图中法向量为零的像素点在该第四二值图中对应的像素点的值均为第七值，该法向量图中法向量不为零的像素点在该第四二值图中对应的像素点的值均为第八值；将该第一深度图像中在该第四二值图中对应的像素点的值为该第七值的像素点的像素值设置为零，该第一深度图像中的像素点与该第四二值图中的像素点一一对应。该第七值可以是0，该第八值可以为255。上述根据该前一帧深度图像，计算法向量图可以是将该前一帧深度图像转换成点云，并计算该点云的法向量图。下面举例说明如何计算点云的法向量：对应某帧深度图像上的每个像素点，假设其右方的第二个像素点对应世界坐标系下的点A，类似地，其下方的第二个像素点对应世界坐标系下的点B，其左方的第二个像素点对应世界坐标系下的点C，其上方的第二个像素点对应世界坐标系下的点D，则该像素点的法向量为：为点A和点B对应的向量，为点C和点D对应的向量。物体三维模型重建装置还可以采用其他方式计算该前一帧深度图像中每个像素点的法向量，本申请不作限定。

物体三维模型重建装置可以采用如下公式将第一深度图像中在上述第四二值图对应的值为第七值的像素点的像素值设置为零：

其中，depth(i,j)表示该第一深度图像中第i行第j列的像素点的像素值，即深度值；r(i,j)表示该第四二值图中第i行第j列的像素点的值。从公式(2)可以看出，该第一深度图像中在该第四二值图中对应的像素点的值为255(即第八值)的像素点的像素值保持不变，该第一深度图像中在该第四二值图对应的像素点的值为0(即第七值)的像素点的像素值被设置为零。

可以理解，物体三维模型重建装置可以采用上述操作来对深度图像序列中的每一帧深度图像作调整，以便得到调整后的深度图像序列中的各帧深度图像仅保留目标物体的深度信息，即各帧深度图像序列中除该目标物体对应的像素点之外的像素点的像素值均为零。

图3B示出了调整深度图像的过程示意图。图3B中，目标彩色图像与第一深度图像相对应，第一二值图为根据该目标彩色图像中干扰物体对应的像素点得到的二值图。物体三维模型重建装置可以利用上述第一二值图采用公式(1)调整该第一深度图像，以及利用上述第三二值图或上述第四二值图采用公式(2)进一步调整该第一深度图像。从图3B可以看出，调整后的第一深度图像中干扰物体对应的像素值被调整为零。应理解，调整后的第一深度图像基本仅保留有目标物体的深度信息，可以直接用于构建该目标物体的三维模型。在实际应用中，物体三维模型重建装置采用相同的方式分别处理各帧深度图像，以便于利用处理后的各帧深度图像构建目标物体的三维模型。

图2B的物体三维模型重建方法中，步骤221至步骤223对应于物体三维模型重建过程的在线扫描阶段，步骤224对应于该物体三维模型重建过程的后处理阶段。物体三维模型重建装置在执行步骤221之前已完成预览阶段，下面介绍详述物体三维模型重建装置在预览阶段执行的操作，对应于步骤2212。图4为本申请实施例提供的一种图像预处理方法。如图4所示，物体三维模型重建装置在执行步骤221之前，需要执行如下操作：

401、物体三维模型重建装置判断标识位是否为第一参考值。

图4描述的是处理目标前置深度图像以及该目标前置深度图像对应的目标前置彩色图像的过程，该目标前置深度图像为上述前置深度图像序列中的任一帧前置深度图像，该目标前置彩色图像包含于上述前置彩色图像序列。该物体三维模型重建装置可以采用图4中的方法依次处理前置深度图像序列中的每帧前置深度图像以及前置彩色图像序列中的每帧前置彩色图像。上述第一参考值可以是true，也可以是1，还可以是其他数值，本申请不作限定。若是，执行402；若否，执行403。该标识位的初始值(即初始化的值)为第二参考值，该第二参考值可以是false，也可以是0，还可以是其他数值，本申请不作限定。举例来说，当标识位为true时，该标识位指示物体三维模型重建已根据上述前置深度图像序列中目标前置深度图像的前一帧前置深度图像，确定该前一帧前置深度图像中包括目标物体的图像的一个矩阵区域；当该标识位为false时，该标识位指示未确定该前一帧前置彩色图像中包括目标物体的图像的一个矩阵区域。该矩形区域可以理解为物体三维模型重建装置执行步骤402之前，根据该前置深度图像序列中目标前置深度图像的前一帧前置深度图像，确定的该前一帧前置彩色图像中目标物体的感兴趣区域(Region of Interest，ROI)。下面会详述如何确定得到该矩阵区域的方式，这里先不作详述。该目标前置彩色图像中的像素点与该前一帧前置彩色图像中的像素点一一对应。该物体三维模型重建装置可以将该前一帧前置彩色图像中的ROI在该目标前置彩色图像中对应的参考区域作为该目标前置彩色图像中的ROI。该前一帧前置彩色图像中的ROI中的像素点与该参考区域中的像素点一一对应。

402、物体三维模型重建装置确定目标前置彩色图像中的参考区域中干扰物体对应的像素点以得到第五二值图。

该目标前置彩色图像中的像素点与该第五二值图中的像素点一一对应。该目标前置彩色图像中的像素点可以分为第一类像素点和第二类像素点；该第一类像素点为该参考区域中干扰物体对应的像素点，该第二类像素点为该目标前置彩色图像中除该第一类像素点之外的像素点。该目标前置彩色图像中的像素点与该第五二值图中的像素点一一对应，该目标前置彩色图像中的该第一类像素点在该第五二值图中对应像素点的值均为第九值，该第二类像素点在该第五二值图中对应的像素点的值均为第十值。可选的，第九值为255，第十值为0。步骤402为自适应ROI分割，即确定该目标前置彩色图形中的ROI(即上述参考区域)中干扰物体对应的像素点。当目标物体的位置基本不变时，扫描该目标物体得到的两帧相邻的前置彩色图像中该目标物体的图像所处的区域大致相同，因此可仅确定上述参考区域中干扰物体对应的像素点。在上述标识位为上述第一参考值的情况下，表明上述前一帧前置彩色图像中目标物体的图像所处区域的面积与上述前一帧前置彩色图像的面积的比值处于上述目标区间，且该前一帧前置彩色图像中该目标物体的图像处于该前一帧前置彩色图像的目标区域。该目标区域可以为一个矩形区域或正多边形区域，且该标定区域的中心点与该前一帧前置彩色图像的中心点之间的距离小于距离阈值。该距离阈值可以是该前一帧前置彩色图像的长度的十分之一、五分之一等。物体三维模型重建装置可以提取目标前置彩色图像中参考区域的图像，并确定该参考区域的图像中干扰物体对应的像素点。可以理解，在标识位为第一参考值的情况下，物体三维模型重建仅需确定该目标前置彩色图像中的参考区域中干扰物体对应的像素点，而不用确定整个目标前置彩色图像中该干扰物体对应的像素点，可以有效减少运算量。

403、物体三维模型重建装置确定目标前置彩色图像中干扰物体对应的像素点以得到第六二值图。

该目标前置彩色图像中的像素点与该第六二值图中的像素点一一对应。该目标前置彩色图像中干扰物体对应的像素点在该第六二值图中对应的像素点的值均为第十一值，该目标前置彩色图像中除干扰物体对应的像素点之外的像素点在该第六二值图中对应的像素点的值均为第十二值。该第十一值可以是255，该第十二值可以是0。步骤403为全图分割，即确定整个目标前置彩色图像中干扰物体对应的像素点。

404、物体三维模型重建装置调整上述目标前置深度图像中干扰像素点的像素值，得到调整后的目标前置深度图像。

在一个可选的实现方式中，物体三维模型重建装置调整上述目标前置深度图像中干扰像素点的像素值可以包括：将该目标前置深度图像中在上述第五第二值图中对应的像素点的值为上述第九值的像素点的像素值设置为零，该目标前置深度图像中的像素点与该第五二值图中的像素点一一对应；或者，将该目标前置深度图像中在上述第六第二值图中对应的像素点的值为上述第十一值的像素点的像素值设置为零，该目标前置深度图像中的像素点与该第六二值图中的像素点一一对应。

具体的，采用如下公式调整目标前置深度图像：

其中，depth(i,j)表示该目标前置深度图像中第i行第j列的像素点的像素值，即深度值；handmask(i,j)上述第五二值图或上述第六二值图中第i行第j列的像素点的值。

可选的，物体三维模型重建装置还可以进一步将目标前置深度图像中大于第二阈值和小于第三阈值的像素值设置为零。该第一阈值可以是10厘米，该第二阈值可以是80厘米。具体的，采用如下公式对目标前置深度图像做处理：

其中，depth(i,j)表示目标前置深度中第i行第j列的像素点的像素值；Th_low表示上述第二阈值，Th_high表示上述第三阈值。采用公式(4)调整上述目标前置深度图像的目的是滤出噪声点的深度信息，即去除该目标前置深度图像中背景的深度信息。

405、物体三维模型重建装置确定目标前置彩色图像中目标物体所处的原始区域。

上述物体三维模型重建装置确定目标前置彩色图像中目标物体所处的原始区域可以是：将上述调整后的目标前置深度图像中像素值不为零的像素点在上述目标前置彩色图像中对应的像素点组成的区域作为上述原始区域(对应于第二区域)。上述调整后的目标前置深度图像中的像素点与上述目标前置彩色图像中的像素点一一对应。可选的，物体三维模型重建装置可以确定该目标前置彩色图像中包括该原始区域的一个矩形区域作为该目标前置彩色图像中的ROI。

406、物体三维模型重建装置判断是否满足预设条件。

若是，执行407；若否，执行408。上述预设条件可以是上述标识位为上述第一参考值且上述原始区域未包含于上述参考区域。该原始区域未包含于该参考区域是指该原始区域的至少一部分未处于该参考区域。若上述原始区域未包含于上述参考区域，则认为目标物体出框。物体三维模型重建装置从预览阶段进入在线扫描阶段之前，需要保证目标物体的位姿不变。物体三维模型重建装置执行406的目的是判断目标物体被扫描得到上述目标前置彩色图像时的位姿与被扫描得到上述前一帧前置彩色图像时的位姿是否相同。如果位姿不同，表明该目标物体的位姿发生改变，因此需要指示用户保持该目标物体的位姿不变。

407、物体三维模型重建装置将标识位设置为上述第二参考值，并指示用户保持目标物体的位姿不变。

当上述标识位为上述第一参考值且上述原始区域未包含于上述参考区域时，表明目标物体在被扫描得到上述目标前置彩色图像的前一帧前置彩色图像时处于合适位置，以及该目标物体被扫描得到该前一帧前置彩色图像时的位姿与被扫描得到该目标前置彩色图像时的位姿不同。因此，需要指示用户保持目标物体的位姿不变。物体三维模型重建装置可以输出语音或相应画面来指示用户保持该目标物体的位姿不变。

408、物体三维模型重建装置判断上述原始区域的位置和大小是否均满足要求。

若是，执行409；若否，执行410。物体三维模型重建装置判断上述原始区域的位置和大小是否均满足要求可以是判断该原始区域的面积与上述目标前置彩色图像的面积的比值处于上述目标区间，且该目标前置彩色图像中该目标物体的图像处于该目标前置彩色图像的目标区域。该目标区域可以为一个矩形区域或正多边形区域，且该目标区域的中心点与该目标前置彩色图像的中心点之间的距离小于上述距离阈值。可以理解，在预览阶段，用户会多次调整目标物体的位置；在该用户调整该目标物体的过程中，当扫描该目标物体得到的某帧前置彩色图像满足步骤408中的条件时，不能保证该目标物体被扫描得到的该帧前置彩色图像时的位姿未发生改变，因此执行步骤408之前执行步骤406，以保证该目标物体被扫描得到的该帧前置彩色图像时的位姿未发生改变。

409、物体三维模型重建装置将标识位设置为上述第一参考值以及确定目标物体的包围盒。

物体三维模型重建装置可以利用调整后的上述目标前置深度图像确定目标物体的一个包围盒。物体三维模型重建装置每执行一次步骤409，可以得到该目标物体的一个包围盒。物体三维模型重建装置可以按照每个包围盒被确定的先后顺序进行存储以得到一个包围盒序列。下面会详述确定目标物体的包围盒的方式，这里先不作详述。

410、物体三维模型重建装置指示用户调整目标物体的位置。

物体三维模型重建装置可以根据目标物体当前所处的位置，输出相应的提示信息，以指导用户将该目标物体放到合适区域。举例来说，当目标物体与物体三维模型重建装置之间的距离不合适时，提示距离不合适信息；当该目标物体的图像偏离整个图像的中心区域较多时，提示该目标物体的图像不在整个图像的中心区域。可选的，物体三维模型重建装置通过语音或相应界面提示用户将目标物体放到合适区域。

411、物体三维模型重建装置判断包围盒是否稳定。

若是，执行401；若否，执行412。判断包围盒是否稳定可以是判断目标包围盒序列中任意相邻两个包围盒的中心点之间的距离是否均小于上述第一阈值，该目标包围盒序列包括的包围盒为上述包围盒序列中的最后F个包围盒，F为大于1的整数。也就是说，判断包围盒是否稳定可以理解为判断最近先后确定的F包围盒中任意相邻两个包围盒的中心点之间的距离均小于上述第一阈值。当执行步骤409得到的包围盒的个数少于F时，直接判断包围盒不稳定。可以理解，物体三维模型重建装置确定包围盒稳定(即目标物体位置不变)之后，进入在线扫描阶段。

412、确定预览阶段完成。

若前置彩色图像序列和前置深度图像序列是否满足目标条件，则确定预览阶段完成。可以理解，图4中的方法流程为步骤2212的一种具体的实现方式。

本申请实施例，物体三维模型重建装置在预览阶段前置彩色图像和前置深度图像做预处理，以便于该物体三维模型重建装置在扫描阶段获取到的每帧图像都满足要求，进而提高扫描的效率。

图4中的步骤409涉及确定目标物体的包围盒的过程，物体三维模型重建装置确定目标物体的包围盒的操作可以如下：

(1)物体三维模型重建装置根据上述调整后的目标前置深度图像，确定深度二值图。

物体三维模型重建装置可采用如下公式确定上述调整后的目标前置深度图像对应的深度二值图：

其中，depth_mask(i,j)表示深度二值图中第i行第j列的像素点的值，上述调整后的目标前置深度图像中的像素点与该深度二值图中的像素点一一对应。

(2)物体三维模型重建装置对上述深度二值图进行膨胀操作和/或腐蚀操作。

对该深度二值图先进行膨胀操作，后进行腐蚀操作，可以使该深度二值图中目标物体对应的区域尽可能闭合。腐蚀是一种消除边界点，使边界向内部收缩的过程。腐蚀操作可以用来消除小且无意义的物体。膨胀是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程。膨胀操作可以用来填补物体中的空洞。膨胀操作和腐蚀操作是本领域常用的技术手段，这里不再详述。

膨胀操作以及腐蚀操作后的深度二值图很可能将物体区域(即目标物体的图像所处的区域)和其他区域连通，因此需要计算该深度二值图中的每个像素点在上述目标前置深度图像中对应的像素值与该像素点相邻的像素点(该像素点八邻域的像素点)在上述目标前置深度图像中对应的像素值的差值，若该差值的绝对值小于像素值阈值，则认为这两个像素点连续；否则，认为这两个像素点不连续，并在深度二值图上将该像素点与该像素点相邻的像素点之间画黑色线，从而使物体区域与其他区域(如脸、袖子等)断开。该像素值阈值可以是4cm、5cm、6cm、7cm、8cm、10cm等，本申请不作限定。该深度二值图中的某个像素点在上述目标前置深度图像中对应的像素值为该像素点在上述目标前置深度图像中对应的像素点的像素值。

(3)物体三维模型重建装置确定上述深度二值图包括的可见区域二值图。

该可见区域二值图为该深度二值图包括的P个区域中在上述调整后的目标前置深度图像中对应的平均像素值最小的一个区域；该P个区域中任一区域中的像素点的值均为255，该P个区域中任意两个区域不重叠，P为大于0的整数。该P个区域中任一区域在上述调整后的目标前置深度图像中对应的平均像素值为该任一区域在上述调整后的目标前置深度图像中对应的区域中各像素点的平均像素值，该任一区域中的像素点与该任一区域在上述调整后的目标前置深度图像中对应的区域中的像素点一一对应。该可见区域二值图至少包括M个像素点，M可以是100、200、300等。举例来说，深度二值图中的可见区域二值图至少包括200个像素点。该任一区域在上述调整后的目标前置深度图像中对应的区域中任意两个相邻的像素点的像素值的差值小于上述像素值阈值。

(4)物体三维模型重建装置对上述可见区域二值图进行扩展。

可选的，按照一定比例扩展该可见区域二值图，扩展后的可见区域二值图中的像素点与该深度二值图中的像素点一一对应，扩展区域内的像素点的值均为0；将扩展区域内的扩展像素点的值设置为255，该扩展像素点中的每个像素点在上述第五二值图或上述第六二值图对应的值为255，且每个像素点在上述目标前置深度图像中对应的像素值大于第六阈值且小于第七阈值。该第六阈值不大于该可见区域二值图在上述调整后的目标前置深度图像中对应的区域中最小的像素值，该第七阈值不小于该可见区域二值图在上述调整后的目标前置深度图像中对应的区域中最大的像素值。

(5)物体三维模型重建装置计算上述目标前置深度图像中的目标图像区域中每一个像素值不为零的像素点的三维空间坐标。

上述目标图像区域中的像素点与扩展后的可见区域二值图中像素值为255的像素点相对应，上述目标前置深度图像中的像素点与扩展后的可见区域二值图中的像素点一一对应。

举例来说，对于深度图像中的一个像素值不为零的像素点，其在该深度图像中的像素坐标为(u_d,v_d)，像素值为d。

根据深度相机内参采用如下公式计算该像素点的3维空间坐标：

其中，x、y、z为该像素点的3维空间坐标，该像素点的像素坐标为(u_d,v_d)。

(6)物体三维模型重建装置根据上述目标图像区域中每一个像素值不为零的像素点的三维空间坐标，确定目标物体的三维空间区域。

可选的，对该三维空间区域进行扩展，最终扩展的三维空区域作为物体重建区域。物体三维模型重建装置可以在该扩展的三维空间区域重建物体的三维模型以及贴纹理。举例来说，分别在x方向、y方向以及z方向上按照一定的比例扩展该三维空间区域，z方向由于视觉盲区的可能性，需要相较于x方向和y方向多扩展一些。

(7)物体三维模型重建装置根据上述三维空间区域，确定上述目标物体的包围盒。

上述目标物体的包围盒可以是AABB包围盒(Axis-aligned bounding box)，也可以是方向包围盒，本申请不作限定。

本申请实施例中，物体三维模型重建装置可以准确地确定目标物体的三维空间，进而得到目标物体的包围盒。

图2B中的步骤222是确定各帧彩色图像中干扰物体对应的像素点。物体三维模型重建装置可以根据在预览阶段确定的目标物体的包围盒来确定各帧彩色图像中的ROI(即包括目标物体的图像的区域)。这样，物体三维模型重建装置就仅需确定每帧彩色图像中的ROI中干扰物体对应的像素点，而不需要确定整个彩色图像中干扰物体对应的像素点，提高计算效率。

下面介绍物体三维模型重建装置如何确定一帧彩色图像中的ROI的方式。该物体三维模型重建装置在预览阶段可以得到该目标物体的一个包围盒，例如一个AABB包围盒，该包围盒对应8个顶点。物体三维模型重建装置可以采用如下方式确定任一彩色图像中的ROI：根据该任一彩色图像的前一帧彩色图像对应的相机位姿，将该目标物体的包围盒的8个顶点投影到2D图像上得到8个二维坐标点；将包括这8个二维坐标点的一个最小的矩形框作为该任一彩色图像中的ROI。物体三维模型重建装置可以采用如下公式计算该目标物体的包围盒的任一个顶点投影到2D图像的二维坐标点：

其中，K_d为相机内参，[R|T]为该任一彩色图像的前一帧彩色图像对应的相机位姿，[xyz]为该目标物体的包围盒的任一个顶点。在在线扫描阶段，物体三维模型重建装置可以根据预览阶段得到的目标物体的包围盒以及当前处理的一帧彩色图像对应的相机位姿，采用上述方式确定一个矩形框作为下一帧彩色图像中的ROI。当该任一彩色图像为上述彩色图像序列中的第一帧彩色图像时，即该任一彩色图像为物体三维模型重建装置在线扫描阶段得到的第一帧彩色图像时，公式(3)中的[R|T]^-1为单位矩阵。

前述实施例涉及到深度相机扫描、彩色相机扫描和3D模型重建，下面进行详细描述。

深度相机扫描

深度相机既可以包含3D/深度传感器或3D/深度传感器的模组，用于获取静态物体的深度信息。应理解，扫描的对象理论上应该是静止的物体，实际操作过程中，微小的动态在一定程度上也是可以接受的。获取深度信息可以采用结构光技术和TOF。

一种结构光原理图见图5所示，其中，501为不可见的红外光源，502为生成一定光图案的光栅，503为被扫描物体(目标物体)，504为红外相机，获取到503反射回来的光图案，跟期望的光图案对比，通过计算获取目标物体被扫描部分的深度信息。

一种TOF深度相机见图6所示，其中，611为目标物体，612为TOF相机中的红外发射端，613为红外接收端，当612发射红外光线(例如但不仅限于：850nm-1200nm)于目标物体时，目标物体会反射红外线，反射的红外线由613接收，613的传感器会因反射的红外光线而产生一系列的电压差信号；深度计算单元614根据这一系列的电压差信号进行计算，最后得到目标物体被扫描部分的深度信息615。

彩色相机扫描

在扫描目标物体的过程中，会同步调用深度相机和彩色相机，采用一定的校正算法，使得两者对应扫描到的目标物体的图像是一致的。彩色相机在扫描时获取图像的方式和普通相机拍照的方式基本一致。本部分不再赘述。

在具体实现过程中，在扫描目标物体时，需要在一定的角度范围内(通常受到深度相机或者彩色相机中视场角的较小者的限制)以及一定的距离内扫描物体，受限于深度信息(例如：深度图)的质量，通常物体距离深度相机(或移动终端)的距离为介于20cm到80cm。

一种具体的扫描方式可以是移动终端不动，用户直接手持目标物体置于深度相机前30cm到80cm范围并保持不动，在进入在线扫描阶段后全方位缓慢转动物体，使所有的扫描图的并集能够构建出完整物体。

具体地，可以拍摄多次，确保画面拍全，场景信息包括了物体的全貌，不留死角，因此，全景扫描的过程中，会对应出现多帧深度图(深度图序列)，每一个深度图都是对应一次扫描时扫描范围内的场景；也会对应出现多帧彩色图(彩色图序列)，每一个彩色图都是对应一次扫描时扫描范围内的场景。扫描目标物体时可能包含了与该目标物体直接接触的干扰物体，例如用户的手部，可以调整深度图像中该干扰物体对应的像素点的像素值，以便于去除深度图像中干扰物体的深度信息。

一种可能的实现方式中，扫描过程中深度相机的拍摄帧率可以大于等于25fps，例如30fps、60fps、120fps。

一种可能的实现方式中，扫描的过程中，移动终端可以呈现出目标物体的扫描进度，以使用户观察是否已经覆盖了目标物体的全景，并且可以由用户自主选择继续扫描或者终止扫描。

由于深度相机和彩色相机的位置可以为前置或后置，因此也相应地存在前置扫描和后置扫描两种方式。如深度相机位于手机正面的上方时，可以与前置彩色摄像头配合使用，前置扫描可以实现自拍扫描；如深度相机位于手机背面的上方时，可以与后置彩色摄像头配合使用，后置扫描可以有更多目标物体的去选择，进而实现对目标物体的精细、稳定的扫描。

上述彩色相机扫描和深度相机扫描，可以由用户触发扫描功能时开启，触发操作包括定时、触发快门、手势操作、隔空感应、器件操控等。另外，当用户开启相机进行预览时，预览图中可以由系统提示哪些物体适合进行扫描或进行3D建模；例如可以用方框等标识预览图中的物体用于提示用户。

此外，上述深度相机和彩色相机涉及到的具体器件参数，与制造工艺和用户需求以及终端的设计约束有关，本发明中不做任何具体限定。

图2B中的步骤223涉及物体三维模型重建过程，下面作详细描述。

3D重建(网格化+纹理映射)

如图7所示，对物体进行多帧的、360度全景的扫描后，会得到深度图像序列701和彩色图像序列702，其中深度相机得到的每一帧图像都是一个扫描场景的深度图像(例如：Depth图)，同时彩色相机得到的每一帧图像都是一个扫描场景的彩色图像(例如：RGB图)；深度图像序列701经过网格化处理得到目标物体的网格(Mesh)模型，根据彩色图像序列702对网格模型进行纹理映射，得到纹理映射后的网格模型703，即物体的3D模型。在一种可能的实现中，也可以根据彩色序列图像中的全部帧或某几帧图像进行纹理映射。

1)网格化

在一种具体实现过程中，参见图8，一种具体的网格化实现方案如下：

步骤331:获取目标物体在每个扫描场景下的彩色图像(包括但不限于RGB)和深度图像(Depth)。Depth Map(深度图像)是包含目标物体的表面上的多个点与深度相机的距离有关的信息。其中，Depth Map类似于灰度图像，只是它的一个像素点值表示的是深度相机距离目标物体的表面上一个点的实际距离。通常彩色图像和Depth图像是配准的。

步骤332：包含但不限于，执行步骤222对深度图像序列中的至少一帧深度图像做调整，将深度图像转换成3D点云，估算每个顶点的法向量，裁切被扫描物体范围外的点。

步骤333：确定目标物体在不同扫描位置之间的位姿变换关系。

在332中，采集到目标物体在不同扫描位置的深度图像序列和彩色图像序列，要想生成物体三维模型，需要将由采集到的深度图像得到的单帧3D点云转换到统一的坐标系下，即得到目标物体在不同扫描位置之间的位姿变换关系，即位姿估计。位姿估计是基于图像序列估计物体的3D姿态。姿态估计有基于特征点的配准、基于点云的配准这两条思路。图像序列之间物体切换角度较小时，采用基于点云的精配准，例如采用迭代最近邻点算法ICP(iterative closest point)对物体姿态进行估计。当图像序列之间物体切换角度较大时，采用基于物体3D特征的配准。

步骤334：实现2D深度图像转换为3D点云并融合到统一的3D体素模型中。采用截断的有符号的距离函数(Truncated Signed Distance Function，TSDF)算法对上述3D点云进行融合，融合后体素的值为SDF(Signed Distance Function，有符号的距离函数)值和Weight(权重)值，以及可选的色彩值。TSDF算法目前已经是3D点云融合的主流处理算法。权重计算，采用求均值的方法。每融合一次，旧权重值即加一。新值权重为1，新旧SDF值，相应乘以其权重，相加，再除以融合次数(新的权重值)，即得到新的归一化SDF值。

步骤335：判断Roll/Yaw/Pitch三个方向每隔一定角度(例如但不限于30、45、60、90等预设角度)是否有保存右预设数量的关键帧，如已保存的关键帧数小于预设数量(以是否覆盖了目标物体的全景为准)时，需要去继续捕捉场景(彩色图像和深度图像)，移动终端会指示用户需要进行更多的扫描。当关键帧的数量足够覆盖目标物体的全景时，提示用户扫描完成，可以结束扫描进入后续步骤。

步骤336：实现实时融合过程中，选择并缓存纹理映射所需要的输入关键帧信息，包括彩色图像、位姿(不同图像之间的位置姿态差异)等信息。根据物体建模需要360度扫描目标物体的特性，Roll/Yaw/Pitch方向都各选出预设数量(F)个关键帧，即可完全恢复物体360度的纹理。例如，通过ICP结果，确定输入图像流里每一帧的角度(YAW/Pitch/Roll)，再计算每一帧的清晰度，根据角度和清晰度构建选择策略，选择出关键帧。角度策略是不同方向上将360度分割出F个360/F的区域，每个区域一定要有一帧清晰的彩色图像。清晰度检测原理：一般有梯度法和索贝尔(sobel)算子评价图像的清晰度。可以选择梯度方法计算清晰度。

步骤337：采用Marching Cubes算法实现3D点云网格化，生成三角面片。

Marching Cubes算法的主要思路是以体元为单位来寻找三维点云中内容部分与背景部分的边界，在体元抽取三角片来拟合这个边界，简单来讲，可以讲包含体数据内容的体素点称为实点，而其外的背景体素点都称作虚点。这样一个三维点云就是由各种实点和虚点组成的点阵。例如，从单个体元的角度出发，体元的8个体素点每个都可能是实点或虚点，那么一个体元一共有2的8次方即256种可能的情况。Marching Cubes算法的核心思想就是利用这256种可以枚举的情况来进行体元内的等值三角面片抽取。体元是在三维图像中由相邻的八个体素点组成的正方体方格，MarchingCubes算法的Cube的语义也可以指这个体元。注意区别体元和体素，体元是8个体素构成的方格，而每个体素(除了边界上的之外)都为8个体元所共享。

2)纹理映射

在一种具体实现过程中，参见图9，一种具体的纹理映射实现方案如下：

步骤341：根据网格模型(三角面片信息)以及关键帧的位姿信息，判断在每个关键帧的位姿下所有三角面片是否可见。输入网格模型的是所有三角面片信息以及关键帧的空间坐标，输出为所有三角面片在每个关键帧的位姿下是否可见的信息。

原理描述:判断某个三角面片在某个位姿下可见还是不可见，则需要判断该位姿与该三角面片的顶点连接成的射线与模型的其他三角面片是否相交，如果有相交的情况，则说明该三角面片被其他面片挡住了，则不可见，否则在该位姿下该三角面片是可见的。

步骤342：根据步骤341的结果及网格模型，采用区域划分和图割(Graph Cuts)的方法，对网格模型上每个面片(face)进行标记，确定其选择哪个关键帧图像(view)来生成纹理。面片标记的结果可用于生成初步的纹理图。

步骤343：将关键帧图像中对应区域的纹理映射到纹理图上，并对不同关键帧的patch(接缝处片)做边界平滑。

在一种具体实现过程中，将面片标记的结果相邻区域相同标签的存为patch，对所有patch的顶点做边界平滑，调整每个顶点的像素值，对最终的顶点围城的三角行做基于位置和像素的仿射变换，形成最终纹理图。

将物体的纹理图集绘制于物体的网格模型的表面便得到了物体的3D模型，一般保存为.obj格式，如图10所示为例，狮子的纹理图集映射到狮子的网格模型上，得到狮子纹理映射后的3D模型。

基于上述实施例提供的物体三维模型重建方法，本发明实施例提供一种物体三维模型重建装置1100，如图11所示，该装置1100包括：确定模块1101、深度图处理模块1102、模型重建模块1103。该装置可以是一种移动终端，该移动终端包括彩色相机和深度相机，彩色相机和深度相机位于移动终端的同一侧；相关特性可以参照前述方法实施例中的描述。

确定模块1100，用于确定目标对象的第一彩色图像和第一深度图像，将上述第一彩色图像传输至模型重建模块1103，以及将上述第一深度图像传输至深度图处理模块1102。其中，上述目标对象包括目标物体和干扰物体；上述第一彩色图像中的像素点与上述第一深度图像中的像素点一一对应；

确定模块1101，还用于确定上述第一彩色图像中上述干扰物体对应的彩色干扰像素点，将第一描述信息发送至上述深度图处理模块；上述第一描述信息用于描述上述第一彩色图像中上述彩色干扰像素点的坐标；

深度图处理模块1102，用于根据上述第一描述信息调整上述第一深度图像中深度干扰像素点的像素值，得到处理后的第一深度图像，上述深度干扰像素点为上述第一深度图像中与上述彩色干扰像素点一一对应的像素点；

模型重建模块1103，用于根据上述第一彩色图像和上述处理后的第一深度图像，构建上述目标物体的三维模型。

在一个可选的实现方式中，如图11所示，上述装置还包括：

获取模块1104，具体用于获取彩色图像序列以及深度图像序列，将上述彩色图像序列传输至确定模块1101和模型重建模块1103，以及将上述深度图像序列传输至深度图处理模块1102；上述彩色图像序列包括上述目标对象在多种位姿下的多帧彩色图像，上述深度图像序列包括上述目标对象在上述多种位姿下的多帧深度图像；其中，上述第一深度图像是上述多帧深度图像中的任意一帧图像，上述第一彩色图像是上述多帧彩色图像中与上述第一深度图像相对应的图像；

确定模块1101，具体用于确定各帧上述彩色图像中上述干扰物体对应的彩色干扰像素点，将第二描述信息发送至上述深度图处理模块；上述第二描述信息用于描述各帧上述彩色图像中上述干扰物体对应的像素点的坐标；

深度图处理模块1102，用于根据上述第二描述信息调整各帧上述深度图像中深度干扰像素点的像素值，得到处理后的深度图像序列；上述彩色图像中的上述干扰物体对应的像素点在与上述彩色图像对应的上述深度图像中对应的像素点为上述深度图像中的深度干扰像素点；

模型重建模块1103，具体用于根据多帧上述第一彩色图像和多帧上述处理后的第一深度图像，构建上述目标物体的三维模型。

在一个可选的实现方式中，如图11所示，上述装置还包括：

扫描模块1105，用于扫描上述目标对象以得到前置彩色图像序列和前置深度图像序列，将上述前置深度彩色图像序列和上述前置深度图像序列传输至上述确定模块；上述前置深度图像序列中的前置深度图像与上述前置彩色图像序列中的前置彩色图像一一对应，上述前置深度图像中的像素点与上述前置深度图像对应的上述前置彩色图像中的像素点一一对应；

扫描模块1105，还用于在确定模块1101确定各帧上述前置彩色图像中上述目标物体的图像所处区域的面积与上述前置彩色图像的面积的比值处于目标区间，且上述前置彩色图像中上述目标物体的图像处于上述前置彩色图像的目标区域，且根据上述前置深度图像序列确定上述目标物体的位移小于第一阈值的情况下，扫描上述目标对象以得到上述彩色图像序列和上述深度图像序列；上述目标区域为包括上述前置彩色图像的中心点在内的区域；上述目标区域为包括上述前置彩色图像的中心点在内的区域。

在一个可选的实现方式中，如图11所示，上述装置还包括：指示模块1106，用于在上述确定模块确定各帧上述前置彩色图像中上述目标物体的图像所处区域的面积与上述前置彩色图像的面积的比值处于目标区间，且上述前置彩色图像中上述目标物体的图像处于上述前置彩色图像的目标区域，且根据上述前置深度图像序列确定上述目标物体的位移小于第一阈值的情况下，指示上述用户多次调整上述目标物体的姿态；

扫描模块1105，具体用于在上述用户多次调整上述目标物体的姿态的过程中，扫描上述目标对象以得到上述彩色图像序列和上述深度图像序列。

其中，上述具体的方法实施例以及实施例中技术特征的解释、表述、以及多种实现形式的扩展也适用于装置中的方法执行，装置实施例中不予以赘述。

本发明实施例提供的装置1100，可以实现了从图像预处理(即预览阶段)到在线扫描，再到3D模型重建的操作。在预览阶段，用户可以手持目标物体来改变该目标物体的位置，以便于移动终端采集满足要求的彩色图像以及深度图像；在在线扫描阶段，用户手持该目标物体来该调整该目标物体的姿态，以便于该移动终端扫描到该目标物体不同部位的图像，即得到彩色图像序列和深度图像序列；在后处理阶段，该移动终端调整深度图像序列以及根据彩色图像序列和调整后的深度图像序列确定该目标物体的三维模型。本申请的方案中，用户可以手持物体进行扫描，操作效率高，可以提高用户体验。

应理解以上装置1100中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个模块可以为单独设立的处理元件，也可以集成在终端的某一个芯片中实现，此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个模块的功能。此外各个模块可以集成在一起，也可以独立实现。这里上述的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：central processing unit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specific integrated circuit，简称：ASIC)，或，一个或多个微处理器(英文：digital signal processor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：FPGA)等。

图12为本申请实施例提供的另一种物体三维模型重建装置，该装置包括：处理器1201、深度传感器模组1202、彩色摄像头1203以及总线1204；深度传感器模组1202、彩色摄像头1203以及处理器1201通过总线1204相连；深度传感器模组1202和彩色摄像头1203223用于在处理器1202的控制下对目标物体进行全景扫描；上述处理器用于控制物体三维模型重建装置执行如下操作：获取彩色图像序列以及深度图像序列；上述彩色图像序列包括目标对象在多种姿态下的彩色图像，上述深度图像序列包括上述目标对象在上述多种姿态下的深度图像，上述目标对象包括目标物体和干扰物体；上述深度图像序列中的深度图像与上述彩色图像序列中的彩色图像一一对应，上述深度图像中的像素点与上述深度图像对应的上述彩色图像中的像素点一一对应；确定各帧上述彩色图像中上述干扰物体对应的像素点；调整各帧上述深度图像中干扰像素点的像素值，得到处理后的深度图像序列；上述彩色图像中的上述干扰物体对应的像素点在与上述彩色图像对应的上述深度图像中对应的像素点为上述深度图像中的上述干扰像素点；根据上述彩色图像序列和上述处理后的深度图像序列，构建上述目标物体的三维模型。处理器1201可实现获取模块1101、确定模块1102、深度图处理模块1103、模型重建模块1104以及指示模块1106的功能；深度传感器模组1202和彩色摄像头1203可实现扫描模块1105的功能。

图13为本申请实施例提供的一种移动终端，该移动终端包括处理器1301、存储器1302、深度传感器模组1303、彩色摄像头1304以及总线1305；彩色摄像头1304和深度传感器模组1303位于该移动终端的同一侧；存储器1302、深度传感器模组1303、彩色摄像头1304以及处理器1301通过总线1305相连；深度传感器模组1303和彩色摄像头1304用于在处理器1301的控制下对目标物体进行全景扫描；存储器1302用于存储计算机程序和指令；处理器1301用于调用存储器1302中存储的计算机程序和指令，使移动终端执行如下操控：获取彩色图像序列以及深度图像序列；上述彩色图像序列包括目标对象在多种姿态下的彩色图像，上述深度图像序列包括上述目标对象在上述多种姿态下的深度图像，上述目标对象包括目标物体和干扰物体；上述深度图像序列中的深度图像与上述彩色图像序列中的彩色图像一一对应，上述深度图像中的像素点与上述深度图像对应的上述彩色图像中的像素点一一对应；确定各帧上述彩色图像中上述干扰物体对应的像素点；调整各帧上述深度图像中干扰像素点的像素值，得到处理后的深度图像序列；上述彩色图像中的上述干扰物体对应的像素点在与上述彩色图像对应的上述深度图像中对应的像素点为上述深度图像中的上述干扰像素点；根据上述彩色图像序列和上述处理后的深度图像序列，构建上述目标物体的三维模型。处理器1301可实现获取模块1101、确定模块1102、深度图处理模块1103、模型重建模块1104以及指示模块1106的功能；深度传感器模组1303和彩色摄像头1304可实现扫描模块1105的功能。在实际应用中，处理器1301可控制显示设备或音频设备实现指示模块1106的功能。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括软件程序指令，上述程序指令被处理器执行时实现：获取彩色图像序列以及深度图像序列；上述彩色图像序列包括目标对象在多种姿态下的彩色图像，上述深度图像序列包括上述目标对象在上述多种姿态下的深度图像，上述目标对象包括目标物体和干扰物体；上述深度图像序列中的深度图像与上述彩色图像序列中的彩色图像一一对应，上述深度图像中的像素点与上述深度图像对应的上述彩色图像中的像素点一一对应；确定各帧上述彩色图像中上述干扰物体对应的像素点；调整各帧上述深度图像中干扰像素点的像素值，得到处理后的深度图像序列；上述彩色图像中的上述干扰物体对应的像素点在与上述彩色图像对应的上述深度图像中对应的像素点为上述深度图像中的上述干扰像素点；根据上述彩色图像序列和上述处理后的深度图像序列，构建上述目标物体的三维模型。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种物体三维模型重建方法，其特征在于，包括：

确定目标对象的第一彩色图像和第一深度图像，其中，所述目标对象包括目标物体和干扰物体；所述第一彩色图像中的像素点与所述第一深度图像中的像素点一一对应；

确定所述第一彩色图像中所述干扰物体对应的彩色干扰像素点；

调整所述第一深度图像中深度干扰像素点的像素值，得到处理后的第一深度图像，所述深度干扰像素点为所述第一深度图像中与所述彩色干扰像素点一一对应的像素点；

根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型。

2.根据权利要求1所述的方法，其特征在于，在所述确定目标对象的第一彩色图像和第一深度图像之前，所述方法还包括：

获取彩色图像序列以及深度图像序列；所述彩色图像序列包括所述目标对象在多种位姿下的多帧彩色图像，所述深度图像序列包括所述目标对象在所述多种位姿下的多帧深度图像；其中，所述第一深度图像是所述多帧深度图像中的任意一帧图像，所述第一彩色图像是所述多帧彩色图像中与所述第一深度图像相对应的图像；

对应的，所述根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型包括：

根据多帧所述第一彩色图像和多帧所述处理后的第一深度图像，构建所述目标物体的三维模型。

3.根据权利要求2所述的方法，其特征在于，所述获取彩色图像序列以及深度图像序列之前，所述方法还包括：

扫描所述目标对象以得到前置彩色图像序列和前置深度图像序列；所述前置深度图像序列中的前置深度图像与所述前置彩色图像序列中的前置彩色图像一一对应，所述前置深度图像中的像素点与所述前置深度图像对应的所述前置彩色图像中的像素点一一对应；

在确定各帧所述前置彩色图像中所述目标物体的图像所处区域的面积与所述前置彩色图像的面积的比值处于目标区间，且所述前置彩色图像中所述目标物体的图像处于所述前置彩色图像的目标区域，且根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值的情况下，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列；所述目标区域的中心点与所述前置彩色图像的中心点之间的距离小于距离阈值。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述调整所述第一深度图像中深度干扰像素点的像素值包括：

将所述第一深度图像中所述深度干扰像素点的像素值设置为零。

5.根据权利要求3所述的方法，其特征在于，所述根据所述彩色图像序列和处理后的所述深度图像序列，构建所述目标物体的三维模型之前，所述方法还包括：

确定所述前置彩色图像序列中的最后一帧前置彩色图像中所述干扰物体对应的像素点；所述前置彩色图像序列中的各帧所述前置彩色图像按照扫描得到的先后顺序排序；

将前置深度图像序列中的最后一帧前置深度图像中的第一像素点的像素值设置为零以得到参考前置深度图像；所述最后一帧前置深度图像与所述最后一帧前置彩色图像相对应，所述第一像素点包括所述最后一帧前置深度图像中与所述最后一帧前置彩色图像中所述干扰物体对应的像素点相对应的像素点、所述最后一帧前置深度图像中像素值大于第二阈值的像素点以及所述最后一帧前置深度图像中像素值小于第三阈值的像素点，所述第二阈值大于所述第三阈值；所述前置深度图像序列中的各帧所述前置深度图像按照扫描得到的先后顺序排序；

将所述深度图像序列中的第一帧深度图像中的第二像素点的像素值设置为零；所述深度图像序列中的各帧所述深度图像按照扫描得到的先后顺序排序；所述第一帧深度图像中的像素点与所述参考前置深度图像中的像素点一一对应，所述第二像素点在所述参考前置深度图像中对应的像素点的像素值为零。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型之前，所述方法还包括：

在所述第一深度图像不为所述深度图像序列中的第一帧深度图像的情况下，确定所述第一深度图像的前一帧深度图像中各像素点的法向量；所述前一帧深度图像中所述干扰物体对应的像素点的法向量均为零，所述前一帧深度图像中除所述干扰物体对应的像素点之外的像素点的法向量均不为零，所述深度图像序列中的各帧所述深度图像按照扫描得到的先后顺序排序；

将所述第一深度图像中的第三像素点的像素值设置为零；所述第一深度图像中的像素点与所述前一帧深度图像中的像素点一一对应，所述第三像素点在所述前一帧深度图像中对应的像素点的法向量为零。

7.根据权利要求3所述的方法，其特征在于，所述根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值之前，所述方法还包括：

确定各帧所述前置彩色图像中所述干扰物体对应的像素点；

分别将各帧所述前置深度图像中参考像素点的像素值设置为零，得到处理后的各帧所述前置深度图像；所述参考像素点包括所述前置深度图像中与所述前置深度图像对应的所述前置彩色图像中所述干扰物体对应的像素点相对应的像素点、所述前置深度图像中像素值大于第四阈值的像素点以及所述前置深度图像中像素值小于第五阈值的像素点，所述第四阈值大于所述第五阈值；

根据所述处理后的各帧所述前置深度图像中的每帧前置深度图像，确定所述目标物体的一个包围盒以得到一个包围盒序列；所述包围盒序列中的第一个包围盒至最后一个包围盒依次为根据所述处理后的前置深度图像序列中的第一帧前置深度图像至最后一帧前置深度图像确定的；

所述根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值包括：

在所述包围盒序列中任意相邻两个包围盒的中心点之间的距离均小于所述第一阈值的情况下，确定所述位移小于所述第一阈值。

8.根据权利要求5所述的方法，其特征在于，所述扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列之前，所述方法还包括：

确定所述前置彩色图像中倒数第二帧前置彩色图像中包含所述目标物体的图像的一个矩形区域以得到第一区域；

根据所述参考前置深度图像，确定所述最后一帧前置彩色图像中所述目标物体的图像所处的第二区域；所述参考前置深度图像中的像素点与所述最后一帧前置彩色图像中的像素点一一对应，所述第二区域为所述参考前置深度图像中像素值不为零的像素点在所述最后一帧前置彩色图像中对应的像素点组成的区域；

所述扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列包括：

在确定所述第二区域包含于所述最后一帧前置彩色图像中的第三区域的情况下，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列；所述第三区域为所述第一区域中的像素点在所述最后一帧前置彩色图像中对应的像素点组成的区域。

9.根据权利要求1至3任一项所述的方法，其特征在于，所述干扰物体为用户的手部。

10.一种物体三维模型重建装置，其特征在于，包括：

确定模块，用于确定目标对象的第一彩色图像和第一深度图像，将所述第一彩色图像传输至模型重建模块，以及将所述第一深度图像传输至深度图处理模块；其中，所述目标对象包括目标物体和干扰物体；所述第一彩色图像中的像素点与所述第一深度图像中的像素点一一对应；

所述确定模块，还用于确定所述第一彩色图像中所述干扰物体对应的彩色干扰像素点，将第一描述信息发送至所述深度图处理模块；所述第一描述信息用于描述所述第一彩色图像中所述彩色干扰像素点的坐标；

所述深度图处理模块，用于根据所述第一描述信息调整所述第一深度图像中深度干扰像素点的像素值，得到处理后的第一深度图像，所述深度干扰像素点为所述第一深度图像中与所述彩色干扰像素点一一对应的像素点；

所述模型重建模块，用于根据所述第一彩色图像和所述处理后的第一深度图像，构建所述目标物体的三维模型。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

获取模块，具体用于获取彩色图像序列以及深度图像序列，将所述彩色图像序列传输至所述确定模块和所述模型重建模块，以及将所述深度图像序列传输至所述深度图处理模块；所述彩色图像序列包括所述目标对象在多种位姿下的多帧彩色图像，所述深度图像序列包括所述目标对象在所述多种位姿下的多帧深度图像；其中，所述第一深度图像是所述多帧深度图像中的任意一帧图像，所述第一彩色图像是所述多帧彩色图像中与所述第一深度图像相对应的图像；

所述确定模块，具体用于确定各帧所述彩色图像中所述干扰物体对应的彩色干扰像素点，将第二描述信息发送至所述深度图处理模块；所述第二描述信息用于描述各帧所述彩色图像中所述干扰物体对应的像素点的坐标；

所述深度图处理模块，用于根据所述第二描述信息调整各帧所述深度图像中深度干扰像素点的像素值，得到处理后的深度图像序列；所述彩色图像中的所述干扰物体对应的像素点在与所述彩色图像对应的所述深度图像中对应的像素点为所述深度图像中的深度干扰像素点；

所述模型重建模块，具体用于根据多帧所述第一彩色图像和多帧所述处理后的第一深度图像，构建所述目标物体的三维模型。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

扫描模块，用于扫描所述目标对象以得到前置彩色图像序列和前置深度图像序列，将所述前置深度彩色图像序列和所述前置深度图像序列传输至所述确定模块；所述前置深度图像序列中的前置深度图像与所述前置彩色图像序列中的前置彩色图像一一对应，所述前置深度图像中的像素点与所述前置深度图像对应的所述前置彩色图像中的像素点一一对应；

所述扫描模块，还用于在所述确定模块确定各帧所述前置彩色图像中所述目标物体的图像所处区域的面积与所述前置彩色图像的面积的比值处于目标区间，且所述前置彩色图像中所述目标物体的图像处于所述前置彩色图像的目标区域，且根据所述前置深度图像序列确定所述目标物体的位移小于第一阈值的情况下，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列；所述目标区域的中心点与所述前置彩色图像的中心点之间的距离小于距离阈值。

13.根据权利要求10至12任一项所述的装置，其特征在于，

所述深度图处理模块，具体用于根据所述第一描述信息将所述第一深度图像中所述深度干扰像素点的像素值设置为零。

14.根据权利要求12所述的装置，其特征在于，

所述确定模块，还用于确定所述前置彩色图像序列中的最后一帧前置彩色图像中所述干扰物体对应的像素点，将第三描述信息传输至所述深度图处理模块，所述第三描述信息用于描述所述最后一帧前置彩色图像中所述干扰物体对应的像素点的坐标，所述前置彩色图像序列中的各帧所述前置彩色图像按照扫描得到的先后顺序排序；

所述深度图处理模块，还用于根据所述第三描述信息，将前置深度图像序列中的最后一帧前置深度图像中的第一像素点的像素值设置为零以得到参考前置深度图像；所述最后一帧前置深度图像与所述最后一帧前置彩色图像相对应，所述第一像素点包括所述最后一帧前置深度图像中与所述最后一帧前置彩色图像中所述干扰物体对应的像素点相对应的像素点、所述最后一帧前置深度图像中像素值大于第二阈值的像素点以及所述最后一帧前置深度图像中像素值小于第三阈值的像素点，所述第二阈值大于所述第三阈值；所述前置深度图像序列中的各帧所述前置深度图像按照扫描得到的先后顺序排序；

所述深度图处理模块，还用于将所述深度图像序列中的第一帧深度图像中的第二像素点的像素值设置为零；所述深度图像序列中的各帧所述深度图像按照扫描得到的先后顺序排序；所述第一帧深度图像中的像素点与所述参考前置深度图像中的像素点一一对应，所述第二像素点在所述参考前置深度图像中对应的像素点的像素值为零。

15.根据权利要求10至12任一项所述的装置，其特征在于，

所述确定模块，还用于在所述第一深度图像不为所述深度图像序列中的第一帧深度图像的情况下，确定所述第一深度图像的前一帧深度图像中各像素点的法向量，将第四描述信息传输至深度图处理模块；所述第四描述信息用于描述所述前一帧深度图像中各像素点的法向量；所述前一帧深度图像中所述干扰物体对应的像素点的法向量均为零，所述前一帧深度图像中除所述干扰物体对应的像素点之外的像素点的法向量均不为零，所述深度图像序列中的各帧所述深度图像按照扫描得到的先后顺序排序；

所述深度图处理模块，还用于根据所述第四描述信息，将所述第一深度图像中的第三像素点的像素值设置为零；所述第一深度图像中的像素点与所述前一帧深度图像中的像素点一一对应，所述第三像素点在所述前一帧深度图像中对应的像素点的法向量为零。

16.根据权利要求12所述的装置，其特征在于，

所述确定模块，还用于确定各帧所述前置彩色图像中所述干扰物体对应的像素点，将第五描述信息发送至所述深度图处理模块；所述第五描述信息用于描述各帧所述前置彩色图像中所述干扰物体对应的像素点的坐标；

所述深度图处理模块，还用于根据所述第五描述信息，分别将各帧所述前置深度图像中参考像素点的像素值设置为零，得到处理后的各帧所述前置深度图像；所述参考像素点包括所述前置深度图像中与所述前置深度图像对应的所述前置彩色图像中所述干扰物体对应的像素点相对应的像素点、所述前置深度图像中像素值大于第四阈值的像素点以及所述前置深度图像中像素值小于第五阈值的像素点，所述第四阈值大于所述第五阈值；根据所述处理后的各帧所述前置深度图像中的每帧前置深度图像，确定所述目标物体的一个包围盒以得到一个包围盒序列；所述包围盒序列中的第一个包围盒至最后一个包围盒依次为根据所述处理后的前置深度图像序列中的第一帧前置深度图像至最后一帧前置深度图像确定的；

所述确定模块，还用于在所述包围盒序列中任意相邻两个包围盒的中心点之间的距离均小于所述第一阈值的情况下，确定所述位移小于所述第一阈值。

17.根据权利要求14所述的装置，其特征在于，

所述确定模块，还用于确定所述前置彩色图像中倒数第二帧前置彩色图像中包含所述目标物体的图像的一个矩形区域以得到第一区域；根据所述参考前置深度图像，确定所述最后一帧前置彩色图像中所述目标物体的图像所处的第二区域；所述参考前置深度图像中的像素点与所述最后一帧前置彩色图像中的像素点一一对应，所述第二区域为所述参考前置深度图像中像素值不为零的像素点在所述最后一帧前置彩色图像中对应的像素点组成的区域；

所述扫描模块，具体用于在所述确定模块确定所述第二区域包含于所述最后一帧前置彩色图像中的第三区域的情况下，扫描所述目标对象以得到所述彩色图像序列和所述深度图像序列；所述第三区域为所述第一区域中的像素点在所述最后一帧前置彩色图像中对应的像素点组成的区域。

18.根据权利要求10至12任一项所述的装置，其特征在于，所述干扰物体为用户的手部。

19.一种物体三维模型重建装置，其特征在于，包括处理器、总线、深度传感器模组和彩色摄像头；所述深度传感器模组、彩色摄像头以及所述处理器通过所述总线相连；所述深度传感器模组和所述彩色摄像头用于在所述处理器的控制下对目标物体进行全景扫描；所述处理器用于控制所述物体三维模型重建装置执行如权利要求1至9任一项所述方法。

20.一种移动终端，其特征在于，所述移动终端包括存储器、处理器、总线、深度传感器模组和彩色摄像头；所述彩色摄像头和所述深度传感器模组位于所述移动终端的同一侧；所述存储器、所述深度传感器模组、彩色摄像头以及所述处理器通过所述总线相连；所述深度传感器模组和所述彩色摄像头用于在所述处理器的控制下对目标物体进行全景扫描；所述存储器用于存储计算机程序和指令；所述处理器用于调用所述存储器中存储的所述计算机程序和指令，使所述移动终端执行如权利要求1至9任一项所述方法。