CN109410316B - 物体的三维重建的方法、跟踪方法、相关装置及存储介质 - Google Patents

Abstract

本发明实施例涉及计算机视觉领域，公开了一种物体的三维重建的方法、跟踪方法、相关装置及存储介质。本发明中，物体的三维重建的方法包括：获取第一图像，第一图像中包括目标物体的图像；通过基于深度学习的目标检测技术，确定第一图像中目标物体对应的区域；根据第一图像和目标物体对应的区域，重建目标物体的第一三维模型。该实现中，通过基于深度学习的目标检测技术确定目标物体对应的区域，提高了检测目标物体的准确性，根据目标物体对应的区域和第一图像进行三维重建，减少了三维模型中环境信息对应的空间点。

Description

物体的三维重建的方法、跟踪方法、相关装置及存储介质

技术领域

本发明实施例涉及计算机视觉领域，特别涉及一种物体的三维重建的方法、跟踪方法、相关装置及存储介质。

背景技术

当前三维物体的检测跟踪，主要依赖于已有三维物体的计算机辅助设计(Computer Aided Design，CAD)模型，或者已经重建的带纹理的三维模型。当前检测跟踪的一般流程为：首先，将三维模型各个角度投影得到的二维图像作为候选库数据集；其次，依据特征点、轮廓的颜色、法向量等特征，将当前帧的图像和候选库数据集进行匹配，选择相似性最高的二维图像对应的相机的姿态作为当前帧的图像对应的相机的姿态，并依此进行跟踪。

然而，发明人发现现有技术中至少存在如下问题：现实生活中，我们很难获取三维物体的CAD模型，也很难对三维物体重建得到精确的带纹理的三维模型。当三维物体移动时，环境发生变化，而三维模型中环境对应的三维空间点并没有去除，会对跟踪带来极大干扰，容易造成跟踪失败。

发明内容

本发明实施方式的目的在于提供一种物体的三维重建的方法、跟踪方法、相关装置及存储介质，使得提高了检测目标物体的准确性，减少了三维模型中的环境信息对应的空间点。

为解决上述技术问题，本发明的实施方式提供了一种物体的三维重建的方法，包括以下步骤：获取第一图像，第一图像中包括目标物体的图像；通过基于深度学习的目标检测技术，确定第一图像中目标物体对应的区域；根据第一图像和目标物体对应的区域，重建目标物体的第一三维模型。

本发明的实施方式还提供了一种物体跟踪方法，包括以下步骤：获取当前帧，当前帧中包括目标物体的图像；通过基于深度学习的目标检测技术，确定当前帧中目标物体对应的区域；根据目标物体对应的区域内的图像和目标物体的三维模型，确定第一跟踪结果。

本发明的实施方式还提供了一种三维重建的装置，包括：获取模块、检测模块和重建模块；获取模块用于获取第一图像，第一图像中包括目标物体的图像；检测模块用于通过基于深度学习的目标检测技术，确定第一图像中目标物体对应的区域；重建模块用于根据第一图像和目标物体对应的区域，重建目标物体的第一三维模型。

本发明的实施方式还提供了一种物体跟踪装置，包括：获取模块、检测模块和确定模块；获取模块用于获取当前帧，当前帧中包括目标物体的图像；检测模块用于通过基于深度学习的目标检测技术，确定当前帧中目标物体对应的区域；确定模块用于根据目标物体对应的区域内的图像和目标物体的三维模型，确定第一跟踪结果。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施方式提及的物体的三维重建的方法。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施方式提及的物体跟踪方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的物体的三维重建的方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的物体跟踪方法。

本发明实施方式相对于现有技术而言，通过基于深度学习的目标检测技术对第一图像中的目标物体进行检测，确定目标物体对应的区域，提高了检测目标物体的准确性。根据目标物体对应的区域中的图像进行三维重建，减少了重建得到的三维模型中环境信息对应的空间点。由于减少了三维模型中环境信息对应的空间点，降低了物体跟踪过程中物体周围的环境对物体跟踪结果的影响，提高了跟踪成功的概率。

另外，根据第一图像和目标物体对应的区域，重建目标物体的第一三维模型，具体包括：基于第一图像进行三维重建，得到第二三维模型；根据目标物体对应的区域，将由目标物体对应的区域外的图像重建得到的第二三维模型中的三维空间点去除，得到第一三维模型。该实现中，根据第一图像进行三维重建，在建模成功后再删除环境信息对应的空间点，保证图像中有足够的用于三维重建的特征点，提高了三维重建成功的概率。

另外，根据第一图像和目标物体对应的区域，重建目标物体的第一三维模型，具体包括：根据目标物体对应的区域和第一图像，确定目标物体对应的区域内的图像；将目标物体对应的区域内的图像，作为用于三维重建的第二图像；基于第二图像进行三维重建，得到第一三维模型。该实现中，先将第一图像中的环境信息对应的特征点删除，使得电子设备无需对环境信息对应的特征点进行三维重建，提高了三维重建的速度。

另外，第一图像为环绕拍摄目标物体获得的第一关键帧；在通过基于深度学习的目标检测技术，确定第一图像中目标物体对应的区域之后，物体的三维重建的方法还包括：将第一关键帧中目标物体对应的区域内的图像作为第二关键帧，保存第二关键帧。该实现中，保存目标物体对应的区域内的图像，为电子设备进行物体跟踪提供了用于匹配的图像数据集。

另外，第一三维模型为三维点云模型。

另外，根据目标物体对应的区域内的图像和目标物体的三维模型，确定第一跟踪结果，具体包括：确定目标物体对应的区域内的图像中的特征点和目标物体的三维模型中的三维空间点的第一对应关系；根据第一对应关系，确定自身与目标物体的相对位姿关系；将相对位姿关系作为第一跟踪结果。

另外，确定目标物体对应的区域内的图像中的特征点和目标物体的三维模型中的三维空间点的第一对应关系，具体包括：将目标物体对应的区域内的图像中的特征点与关键帧的特征点匹配，确定目标物体对应的区域内的图像中的特征点和关键帧的特征点的第二对应关系；获取关键帧的特征点和目标物体的三维模型中的三维空间点的第三对应关系；根据第二对应关系和第三对应关系，确定第一对应关系。该实现中，通过与当前帧最接近的关键帧，建立当前帧中的特征点与目标物体的三维模型的空间点的对应关系，进一步排除了当前帧中的环境信息对应的特征点对物体跟踪的影响，提高了物体跟踪成功率。

另外，在通过基于深度学习的目标检测技术，确定当前帧中目标物体对应的区域之前，物体跟踪方法还包括：根据当前帧和目标物体的三维模型，确定第二跟踪结果；确定第二跟踪结果指示跟踪失败。该实现中，在第二跟踪结果指示跟踪失败后，再使用基于深度学习的目标检测技术确定当前帧中目标物体对应的区域，避免电子设备在当前帧中环境信息对应的特征点不影响跟踪结果的情况下使用基于深度学习的目标检测技术造成的资源浪费。

另外，根据当前帧和目标物体的三维模型，确定第二跟踪结果，具体包括：获取运动模型；根据运动模型，估计自身与目标物体的相对位姿关系；根据估计的相对位姿关系，将目标物体的三维模型中的三维空间点投影至当前帧；将投影至当前帧上的三维空间点与当前帧中的特征点进行匹配；根据匹配结果，确定第二跟踪结果。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明的第一实施方式的物体的三维重建的方法的流程图；

图2是本发明的第二实施方式的物体的三维重建的方法的流程图；

图3是本发明的第三实施方式的物体跟踪方法的流程图；

图4是本发明的第四实施方式的物体跟踪方法的流程图；

图5是本发明的第四实施方式的电子设备重建目标物体的三维模型和跟踪目标物体的方法示意图；

图6是本发明的第五实施方式的三维重建的装置的结构示意图；

图7是本发明的第六实施方式的物体跟踪装置的结构示意图；

图8是本发明的第七实施方式的电子设备的结构示意图；

图9是本发明的第八实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种物体的三维重建的方法，应用于带有摄像头的电子设备，例如，增强现实(Augmented Reality，AR)眼镜等，如图1所示，该物体的三维重建的方法包括：

步骤101：获取第一图像。

具体地说，第一图像中包括目标物体的图像。

具体实现中，目标物体被放置在现实环境的承载面上，为保证图像质量，有选择地使环境光线分布均匀，物体表面亮度适中，不存在阴影。电子设备环绕物体拍摄目标物体，实时获取拍摄得到的图像。电子设备将拍摄得到的图像作为第一图像，或者，从拍摄得到的图像中，选择关键帧，将选择的关键帧作为第一图像，即第一图像为环绕拍摄目标物体获得的第一关键帧。

步骤102：通过基于深度学习的目标检测技术，确定第一图像中目标物体对应的区域。

具体地说，电子设备训练或下载分类模型，将第一图像输入该分类模型中，分类模型输出该第一图像中目标物体对应的区域。其中，分类模型的训练过程如下：获取t张图像，人工标记每张图像中物体的类别和物体所在区域，将每张图像和每张图像对应的物体的类别、物体所在区域输入分类模型，并使用神经网络训练该分类模型。训练后的分类模型能够标记输入的图像中的物体的类别和物体所在区域，并将标记后的图像输出。t为正整数，优选的，t大于1000。神经网络可以使用卷积神经网络(Convolutional Neural Network,CNN)、具有卷积神经网络特征的区域(Regions with Convolutional Neural NetworkFeatures，R-CNN)、基于空间金字塔池化的卷积神经网络物体检测(Spatial PyramidPooling Network，SPP-NET)、具有卷积神经网络特征的快速区域(Fast Regions withConvolutional Neural Network Features，Fast R-CNN)、具有卷积神经网络特征的更快区域(Faster Regions with Convolutional Neural Network Features，Faster R-CNN)等神经网络中的任意一种。

具体实现中，使用基于CNN算法的目标检测技术。基于CNN算法将物体定位看成一个回归(Regression)问题，即直接预测出(m，n，w，h)四个参数的值。其中，m表示物体所在区域的起始的横坐标，n表示物体所在区域的起始的纵坐标，w表示物体所在区域沿横坐标方向的宽度，h表示物体所在区域沿纵坐标方向的高度。

另一具体实现中，使用基于R-CNN算法或SPP-NET算法或Fast R-CNN算法或FasterR-CNN算法的目标检测技术。电子设备选取第一图像中所有的不同大小、不同位置的候选框，得到每个候选框的得分，将取得分最高的候选窗口作为物体的位置区域。

步骤103：根据第一图像和第一图像中目标物体对应的区域，重建目标物体的第一三维模型。

具体地说，重建得到的第一三维模型可以是目标物体的三维点云模型。

具体实现中，电子设备基于第一图像进行三维重建，得到第二三维模型，根据目标物体对应的区域，将由目标物体对应的区域外的图像重建得到的第二三维模型中的三维空间点去除，得到第一三维模型。

值得一提的是，根据第一图像进行三维重建，在建模成功后删除环境信息对应的空间点，增加了用于三维重建的特征点，提高了三维重建的成功率。

另一具体实现中，电子设备根据目标物体对应的区域和第一图像，确定目标物体对应的区域内的图像；将目标物体对应的区域内的图像，作为用于三维重建的第二图像；基于第二图像进行三维重建，得到第一三维模型。

值得一提的是，先将第一图像中的环境信息对应的特征点删除，使得电子设备无需对环境信息对应的特征点进行三维重建，提高了三维重建的速度。

电子设备基于第一图像或第二图像进行三维重建时，可以使用基于立体视觉的三维重建技术。以下对基于立体视觉的三维重建技术进行简单介绍。基于立体视觉的三维重建技术是指从两个或者多个视点观察同一景物，获取多个不同视角下拍摄的多张图像，通过寻找图像间对应的特征点，由三角测量的基本原理，计算场景的三维深度信息，其包含的主要技术有：摄像机标定、特征提取、立体匹配、模型重建等。假定[u，v，1]代表的是图像坐标系下像素点的齐次坐标，u表示像素点在图像坐标系下的横坐标，v表示像素点在图像坐标系下的纵坐标，[x，y，z，1]代表的是像素点对应的三维点的齐次坐标，x表示该三维点在世界坐标系下的横坐标，y表示三维点在世界坐标系下的纵坐标，z表示三维点在世界坐标系下的竖坐标，他们之间具有以下变换关系:

其中，d代表的是不同的相机对应点的深度，P矩阵代表的是一个3×4阶的投影矩阵，代表了摄像机的内参和外参，即摄像机的光学参数和摄像机相对于世界坐标系的变化关系。摄像机标定是指利用图像与图像之间的对应关系求取摄像机内外参数，获取世界坐标系到图像坐标系的变换。特征提取是指对图像提取特征点并计算描述符。立体匹配是指通过比较描述符的相似度，获得图像间的匹配特征点对。由上述公式我们可以看到，在P已知的情况下，可以根据图像间的匹配特征点对，求得三维坐标点，例如，由匹配特征点对[u₁，v₁，1]和[u₂，v₂，1]，求得三维空间点[x₁，y₂，z₃，1]，这个过程就是模型重建。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的物体的三维重建的方法，通过基于深度学习的目标检测技术对第一图像中的目标物体进行检测，确定目标物体对应的区域，提高了检测目标物体的准确性。根据该区域中的图像进行三维重建，减少了重建得到的三维模型中环境信息对应的空间点。由于减少了三维模型中环境信息对应的空间点，降低了物体跟踪过程中，物体周围的环境对物体跟踪结果的影响。

本发明的第二实施方式涉及一种物体的三维重建的方法，本实施方式是对第一实施方式的进一步改进，具体改进之处为：在步骤102之后，增加了将第一关键帧中目标物体对应的区域内的图像作为第二关键帧，保存第二关键帧的步骤。

具体的说，如图2所示，在本实施方式中，包含步骤201至步骤204，其中，步骤201至步骤203分别与第一实施方式中的步骤101至步骤103大致相同，此处不再赘述。下面主要介绍不同之处：

需要说明的是，本实施方式中，第一图像为环绕拍摄目标物体获得的第一关键帧。

步骤201：获取第一关键帧。

步骤202：通过基于深度学习的目标检测技术，确定第一关键帧中目标物体对应的区域。

步骤203：将第一关键帧中目标物体对应的区域内的图像作为第二关键帧，保存第二关键帧。

具体地说，电子设备对第二关键帧进行保存，为电子设备在进行物体跟踪提供了用于匹配的图像数据集。

步骤204：根据第一关键帧和第一关键帧中目标物体对应的区域，重建目标物体的第一三维模型。

需要说明的是，本实施方式中，为描述清楚，将步骤204设置为步骤203的后续步骤。但本领域技术人员可以理解，实际应用中，步骤204只需要设置在步骤202之后即可，步骤204可以根据需要设置为步骤202之后任一步骤，本实施方式不起限定作用。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的物体的三维重建的方法，通过基于深度学习的目标检测技术对第一图像中的目标物体进行检测，确定目标物体对应的区域，提高了检测目标物体的准确性。根据该区域中的图像进行三维重建，减少了重建得到的三维模型中环境信息对应的空间点。由于减少了三维模型中环境信息对应的空间点，降低了物体跟踪过程中物体周围的环境对物体跟踪结果的影响。除此之外，电子设备对第二关键帧进行保存，为电子设备在进行物体跟踪提供了用于匹配的图像数据集。

本发明第三实施方式涉及一种物体跟踪方法，应用于带有摄像头的电子设备。如图3所示，该物体跟踪方法包括以下步骤：

步骤301：获取当前帧。

具体地说，当前帧中包括目标物体的图像。跟踪过程中，电子设备通过摄像头获取包括目标物体的图像的当前帧，以便根据当前帧确定电子设备与目标物体的相对位姿关系。

步骤302：通过基于深度学习的目标检测技术，确定当前帧中目标物体对应的区域。

其中，电子设备通过基于深度学习的目标检测技术，确定当前帧中目标物体对应的区域的方法与第一实施方式中通过基于深度学习的目标检测技术，确定第一图像中目标物体对应的区域大致相同，可参见第一实施方式的相关描述，此处不再赘述。

步骤303：根据目标物体对应的区域内的图像和目标物体的三维模型，确定第一跟踪结果。

具体地说，电子设备确定目标物体对应的区域内的图像中的特征点和目标物体的三维模型中的三维空间点的第一对应关系；根据第一对应关系，确定自身与目标物体的相对位姿关系；将相对位姿关系作为第一跟踪结果。

其中，电子设备确定第一对应关系的方法包括但不限于以下两种：

方法1：电子设备将目标物体对应的区域内的图像中的特征点与关键帧的特征点匹配，确定目标物体对应的区域内的图像中的特征点和关键帧的特征点的第二对应关系；获取关键帧的特征点和目标物体的三维模型中的三维空间点的第三对应关系；根据第二对应关系和第三对应关系，确定第一对应关系。具体实现中，关键帧为第二关键帧，第二关键帧是建立目标物体的三维模型时保存的。电子设备将当前帧的目标区域和保存的第二关键帧的目标区域进行比较，寻找最相似的第二关键帧，确定当前帧与最相似的第二关键帧之间的特征点的第二对应关系。由于目标物体的三维模型是由第二关键帧的图像重建得到的，所以电子设备中存储有第二关键帧中的特征点和目标物体的三维模型中的三维空间的第三对应关系。电子设备根据第二对应关系和第三对应关系，得到当前帧的特征点和三维模型的空间点的第一对应关系，并通过求解透视n点定位(perspective-n-point，PnP)问题得到电子设备与目标物体的相对位姿关系。

值得一提的是，通过与当前帧最接近的关键帧，建立当前帧中的特征点与目标物体的三维模型的空间点的对应关系，进一步排除了当前帧中的环境信息对应的特征点对物体跟踪的影响，提高了物体跟踪成功率。

方法2：电子设备获取运动模型，根据运动模型，估计自身与目标物体的相对位姿关系。电子设备根据估计的相对位姿关系，将目标物体的三维模型中的三维空间点投影至当前帧，将投影至当前帧的三维空间点与当前帧中的特征点进行匹配，根据匹配结果，确定第一跟踪结果。其中，运动模型可以是预先存储的关于电子设备的速度等运动参量的变化和自身与目标物体的相对位姿关系的模型的对应关系。

与现有技术相比，本实施方式中提供的物体跟踪方法，通过基于深度学习的目标检测技术对当前帧中的目标物体进行检测，确定目标物体对应的区域，根据该区域中的图像进行跟踪，减少了当前帧中环境信息对应的特征点，进而降低了环境信息对应的特征点对物体跟踪结果的影响。

本发明的第四实施方式涉及一种物体跟踪方法，本实施方式是对第三实施方式的进一步改进，具体改进之处为：在步骤302之前，增加了其他相关步骤。

具体地说，如图4所示，在本实施方式中，包含步骤401至步骤407，其中，步骤401、步骤404和步骤405分别与第一实施方式中的步骤301至步骤303大致相同，此处不再赘述。下面主要介绍不同之处：

执行步骤401。

步骤402：根据当前帧和目标物体的三维模型，确定第二跟踪结果。

具体地说，电子设备获取运动模型，根据运动模型，估计自身与目标物体的相对位姿关系。电子设备根据估计的相对位姿关系，将目标物体的三维模型中的三维空间点投影至当前帧；将投影至当前帧上的三维空间点与当前帧中的特征点进行匹配。电子设备根据匹配结果，确定第二跟踪结果。

步骤403：判断第二跟踪结果是否指示跟踪失败。

具体地说，若电子设备确定第二跟踪结果指示跟踪失败，执行步骤404。若电子设备确定第一跟踪结果指示跟踪成功，说明根据当前帧中的环境信息对应的空间点较少或没有，不影响跟踪结果，无需通过基于深度学习的目标检测技术确定目标区域即可实现跟踪。因此，该情况下，电子设备不执行步骤404，结束本次的物体跟踪方法的流程。

值得一提的是，在第二跟踪结果指示跟踪失败后，再使用基于深度学习的目标检测技术确定当前帧中目标物体对应的区域，减少了电子设备的执行过程，加快了电子设备确定相对位姿关系的速度。

执行步骤404和步骤405。

步骤406：判断第一跟踪结果是否指示跟踪失败。

具体地说，若电子设备确定第一跟踪结果指示跟踪失败，说明目标物体当前所处环境较为复杂，执行步骤407。若电子设备确定第一跟踪结果指示跟踪成功，结束本次物体跟踪方法的流程。

步骤407：重新获取用于检测跟踪的图像。之后执行步骤404。

与现有技术相比，本实施方式中提供的物体跟踪方法，通过基于深度学习的目标检测技术对当前帧中的目标物体进行检测，确定目标物体对应的区域，根据该区域中的图像进行跟踪，减少了当前帧中环境信息对应的特征点，进而降低了环境信息对应的特征点对物体跟踪结果的影响。除此之外，在第二跟踪结果指示跟踪失败后，再使用基于深度学习的目标检测技术确定当前帧中目标物体对应的区域，避免电子设备在当前帧中环境信息对应的特征点不影响跟踪结果的情况下使用基于深度学习的目标检测技术造成的资源浪费。

具体实现中，执行物体的三维重建的方法的电子设备与执行物体跟踪方法的电子设备可以为同一电子设备，该情况下，电子设备重建目标物体的三维模型和跟踪目标物体的方法示意图如图5所示，包括以下步骤：

步骤501：获取目标物体的第一图像。

步骤502：基于第一图像进行三维重建，得到第二三维模型。

步骤503：通过基于深度学习的目标检测技术，确定第一图像中目标物体对应的区域。

步骤504：根据目标物体对应的区域，将由目标物体对应的区域外的图像重建得到的第二三维模型中的三维空间点去除，得到第一三维模型。

具体地说，电子设备完成目标物体的三维重建后，移动目标物体，开始跟踪。

步骤505：获取当前帧，根据当前帧和目标物体的第一三维模型，确定第二跟踪结果；

步骤506：判断判断第二跟踪结果是否指示跟踪失败。

具体地说，若电子设备确定第二跟踪结果指示跟踪失败，执行步骤507。若电子设备确定第一跟踪结果指示跟踪成功，说明根据当前帧中的环境信息对应的空间点较少或没有，不影响跟踪结果，无需通过基于深度学习的目标检测技术确定目标区域即可实现跟踪。因此，该情况下，电子设备无需执行步骤507，可以基于当前的跟踪结果进行下一次的跟踪，即执行步骤505。

步骤507：通过基于深度学习的目标检测技术，确定当前帧中目标物体对应的区域，根据目标物体对应的区域内的图像和目标物体的三维模型，确定第一跟踪结果。

步骤508：判断第一跟踪结果是否指示跟踪失败。

具体地说，若电子设备确定第一跟踪结果指示跟踪成功，则执行步骤505。若电子设备确定第一跟踪结果指示跟踪失败，说明目标物体当前所处环境较为复杂，执行步骤509。

步骤509：重新获取用于检测跟踪的图像。之后执行步骤507。

需要说明的是，上述步骤的执行方法可参见第一实施方式至第四实施方式中相关内容的描述，此处不再赘述。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的第五实施方式涉及一种三维重建的装置，如图6所示，包括：获取模块601、检测模块602和重建模块603；获取模块601用于获取第一图像，第一图像中包括目标物体的图像；检测模块602用于通过基于深度学习的目标检测技术，确定第一图像中目标物体对应的区域；重建模块603用于根据第一图像和目标物体对应的区域，重建目标物体的第一三维模型。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明的第六实施方式涉及一种物体跟踪装置，如图7所示，包括：获取模块701、检测模块702和确定模块703；获取模块701用于获取当前帧，当前帧中包括目标物体的图像；检测模块702用于通过基于深度学习的目标检测技术，确定当前帧中目标物体对应的区域；确定模块703用于根据目标物体对应的区域内的图像和目标物体的三维模型，确定第一跟踪结果。

不难发现，本实施方式为与第三实施方式相对应的装置实施例，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

值得一提的是，第五实施方式和第六实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，第五实施方式和第六实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明第五实施方式和第六实施方式中不存在其它的单元。

本发明第七实施方式涉及一种电子设备，如图8所示，包括：至少一个处理器801；以及，与至少一个处理器801通信连接的存储器802；其中，存储器802存储有可被至少一个处理器801执行的指令，指令被至少一个处理器801执行，以使至少一个处理器801能够执行上述实施方式提及的物体的三维重建的方法。

本发明第八实施方式涉及一种电子设备，如图9所示，包括：至少一个处理器901；以及，与至少一个处理器901通信连接的存储器902；其中，存储器902存储有可被至少一个处理器901执行的指令，指令被至少一个处理器901执行，以使至少一个处理器901能够执行上述实施方式提及的物体跟踪方法。

第七实施方式和第八实施方式中，一个或多个处理器以及存储器，图8和图9中以一个处理器为例。处理器、存储器可以通过总线或者其他方式连接，图8和图9中以通过总线连接为例。存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述实施例提供的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施方式中的方法。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本发明第九实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述第一实施方式或第二实施方式提供的物体的三维重建的方法。

本发明第十实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述第三实施方式或第四实施方式提供的物体跟踪方法。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (14)

1.一种物体的三维重建的方法，其特征在于，包括：

获取第一图像，所述第一图像中包括目标物体的图像；

通过基于深度学习的目标检测技术，确定所述第一图像中所述目标物体对应的区域；

根据所述第一图像和所述目标物体对应的区域，重建所述目标物体的第一三维模型；

所述根据所述第一图像和所述目标物体对应的区域，重建所述目标物体的第一三维模型，具体包括：

基于所述第一图像进行三维重建，得到第二三维模型；

根据所述目标物体对应的区域，将由所述目标物体对应的区域外的图像重建得到的所述第二三维模型中的三维空间点去除，得到所述第一三维模型。

2.根据权利要求1所述的物体的三维重建的方法，其特征在于，所述根据所述第一图像和所述目标物体对应的区域，重建所述目标物体的第一三维模型，具体包括：

根据所述目标物体对应的区域和所述第一图像，确定所述目标物体对应的区域内的图像；

将所述目标物体对应的区域内的图像，作为用于三维重建的第二图像；

基于所述第二图像进行三维重建，得到所述第一三维模型。

3.根据权利要求1至2中任一项所述的物体的三维重建的方法，其特征在于，所述第一图像为环绕拍摄所述目标物体获得的第一关键帧；

在所述通过基于深度学习的目标检测技术，确定所述第一图像中所述目标物体对应的区域之后，所述物体的三维重建的方法还包括：

将所述第一关键帧中所述目标物体对应的区域内的图像作为第二关键帧，保存所述第二关键帧。

4.根据权利要求1至2中任一项所述的物体的三维重建的方法，其特征在于，所述第一三维模型为三维点云模型。

5.一种物体跟踪方法，其特征在于，包括：

获取当前帧，所述当前帧中包括目标物体的图像；

通过基于深度学习的目标检测技术，确定所述当前帧中所述目标物体对应的区域；

根据所述目标物体对应的区域内的图像和所述目标物体的三维模型，确定第一跟踪结果；其中，所述根据所述目标物体对应的区域内的图像和所述目标物体的三维模型，确定第一跟踪结果，具体包括：

确定所述目标物体对应的区域内的图像中的特征点和所述目标物体的三维模型中的三维空间点的第一对应关系；

根据所述第一对应关系，确定自身与所述目标物体的相对位姿关系；

将所述相对位姿关系作为所述第一跟踪结果。

6.根据权利要求5所述的物体跟踪方法，其特征在于，所述确定所述目标物体对应的区域内的图像中的特征点和所述目标物体的三维模型中的三维空间点的第一对应关系，具体包括：

将所述目标物体对应的区域内的图像中的特征点与关键帧的特征点匹配，确定所述目标物体对应的区域内的图像中的特征点和所述关键帧的特征点的第二对应关系；

获取所述关键帧的特征点和所述目标物体的三维模型中的三维空间点的第三对应关系；

根据所述第二对应关系和所述第三对应关系，确定所述第一对应关系。

7.根据权利要求5至6中任一项所述的物体跟踪方法，其特征在于，在所述通过基于深度学习的目标检测技术，确定所述当前帧中所述目标物体对应的区域之前，所述物体跟踪方法还包括：

根据所述当前帧和所述目标物体的三维模型，确定第二跟踪结果；

确定所述第二跟踪结果指示跟踪失败。

8.根据权利要求7所述的物体跟踪方法，其特征在于，所述根据所述当前帧和所述目标物体的三维模型，确定第二跟踪结果，具体包括：

获取运动模型；

根据所述运动模型，估计自身与所述目标物体的相对位姿关系；

根据估计的相对位姿关系，将所述目标物体的三维模型中的三维空间点投影至所述当前帧；

将投影至所述当前帧上的三维空间点与所述当前帧中的特征点进行匹配；

根据匹配结果，确定所述第二跟踪结果。

9.一种三维重建的装置，其特征在于，包括：获取模块、检测模块和重建模块；

所述获取模块用于获取第一图像，所述第一图像中包括目标物体的图像；

所述检测模块用于通过基于深度学习的目标检测技术，确定所述第一图像中所述目标物体对应的区域；

所述重建模块用于根据所述第一图像和所述目标物体对应的区域，重建所述目标物体的第一三维模型；

所述根据所述第一图像和所述目标物体对应的区域，重建所述目标物体的第一三维模型，具体包括：

基于所述第一图像进行三维重建，得到第二三维模型；

根据所述目标物体对应的区域，将由所述目标物体对应的区域外的图像重建得到的所述第二三维模型中的三维空间点去除，得到所述第一三维模型。

10.一种物体跟踪装置，其特征在于，包括：获取模块、检测模块和确定模块；

所述获取模块用于获取当前帧，所述当前帧中包括目标物体的图像；

所述检测模块用于通过基于深度学习的目标检测技术，确定所述当前帧中所述目标物体对应的区域；

所述确定模块用于根据所述目标物体对应的区域内的图像和所述目标物体的三维模型，确定第一跟踪结果；

其中，所述根据所述目标物体对应的区域内的图像和所述目标物体的三维模型，确定第一跟踪结果，具体包括：

确定所述目标物体对应的区域内的图像中的特征点和所述目标物体的三维模型中的三维空间点的第一对应关系；

根据所述第一对应关系，确定自身与所述目标物体的相对位姿关系；

将所述相对位姿关系作为所述第一跟踪结果。

11.一种电子设备，其特征在于，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一所述的物体的三维重建的方法。

12.一种电子设备，其特征在于，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求5至8中任一所述的物体跟踪方法。

13.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的物体的三维重建的方法。

14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求5至8中任一项所述的物体跟踪方法。

Images