CN111179408A - 三维建模的方法及设备 - Google Patents

Abstract

本发明实施例提供了一种三维建模方法及设备。其方法包括：获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。本发明实施例提供的方法大大降低了三维建模的运算量，提高了三维建模的处理效率。

Description

三维建模的方法及设备

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种三维建模的方法及设备。

背景技术

随着计算机技术的发展，基于RGB-D摄像机采集到的数据进行三维建模广泛应用于多种应用场景。

以单台RGB-D摄像机进行数据采集为例，除非摄像机围绕目标物体旋转一周，或者目标物体在摄像机的取景范围内旋转一周，否则摄像机无法采集到目标物体的全角度数据，也就无法建立目标物体的完整三维模型。

因此，现有技术中，若需要对目标物体进行完整建模，需要等待采集到目标物体的全角度数据后，利用采集到的所有数据进行建模，其计算量大且效率较低。

发明内容

本发明实施例提供及一种三维建模的方法及设备，可以有效提高三维建模的效率，降低三维建模的运算量。

第一方面，本发明实施例提供一种三维建模的方法，该方法包括：

获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；

根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；

将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；

利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。

本发明实施例提供的方法，利用实时获取的图像建立目标物体的初始已知部分的三维模型，进而基于初始已知部分的三维模型与模型库的匹配结果，可以猜想目标物体的初始未知部分的三维模型，而无需对目标物体进行全角度拍摄后才能建立完整的三维模型，因此大大节省了运算量及运算时间。

在上述方法实施例中，其建模方式为动态建模，即可以对目标物体进行跟踪，从而动态更新模型。相应的，所述利用前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型，包括：根据前N帧所述图像确定所述目标物体的特征点；根据前N帧所述图像中对应的图像点信息对所述目标物体的初始已知部分对应的特征点赋值，并利用所述目标物体的初始已知部分对应的特征点建立所述目标物体的初始已知部分的三维模型；

所述利用前N帧所述图像之后图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新，包括：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。

在此基础上，更具体的，所述根据跟踪结果对所述目标物体的初始未知部分对应的特征点赋值，包括：

根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。

在图像采集设备移动或者目标物体移动过程中，目标物体的初始未知部分可能会转换为已知部分从而被图像采集设备拍摄到，这种情况下，可以利用变换后的已知部分的模型更新之前猜想得到的未知部分的模型，从而提高模型的精度。且通过跟踪特征点，并对特征点赋值的方式进行初始未知三维模型的更新，其模型更新精度及效率更高。

在上述任意方法实施例的基础上，所述利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新，包括：

利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；

对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。

本发明实施例提供的方法，仅对动态体进行更新，可以进一步提高动态建模的处理效率并降低运算量。

在上述任意方法实施例的基础上，所述目标物体的图像还包括色彩信息，该方法还可以包括：

确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；

按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

本发明实施例提供的方法，对模型中各个特征点进行排序，进而对特征点在各帧中对应的色彩信息和深度信息进行排序，根据排序结果对三维模型进行色彩还原，从而提高色彩还原的精度。

在上述任意方法实施例的基础上，该方法还包括：

获取所述目标物体的完整三维模型并输出。

第二方面，本发明实施例提供一种三维建模的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意方法实施例的步骤。

第三方面，本发明实施例提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任意方法实施例的步骤。

第四方面，本发明实施例提供一种三维建模的装置，该装置包括：

图像获取模块，用于获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；

模型建立模块，用于根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；

模型猜想模块，用于将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；

目标跟踪模块，用于利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。

本发明实施例提供的装置，利用实时获取的图像建立目标物体的初始已知部分的三维模型，进而基于初始已知部分的三维模型与模型库的匹配结果，可以猜想目标物体的初始未知部分的模型，而无需对目标物体进行全角度拍摄后才能建立完整的三维模型，因此大大节省了运算量及运算时间。

在上述装置实施例中，其建模方式为动态建模，即可以对目标物体进行跟踪，从而动态更新模型。相应的，本发明实施例提供的装置中，模型建立模块用于：根据前N帧所述图像确定所述目标物体的特征点；根据前N帧所述图像中对应的图像点信息对所述目标物体的初始已知部分对应的特征点赋值，并利用所述目标物体的初始已知部分对应的特征点建立所述目标物体的初始已知部分的三维模型；目标跟踪模块用于：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。

在此基础上，更具体的，所述目标跟踪模块具体用于：

根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。

在图像采集设备移动或者目标物体移动过程中，目标物体的初始未知部分可能会转换为已知部分从而被图像采集设备拍摄到，这种情况下，可以利用变换后的已知部分的模型更新之前猜想得到的模型，从而提高模型的精度。

在上述任意方法实施例的基础上，所述目标跟踪模块具体用于：

利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；

对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。

本发明实施例提供的装置，仅对动态体进行更新，可以进一步提高动态建模的处理效率并降低运算量。

在上述任意装置实施例的基础上，所述目标物体的图像还包括色彩信息，该装置还包括色彩还原模块，用于：

确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；

按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

本发明实施例提供的装置，对模型中各个特征点进行排序，进而对特征点在各帧中对应的色彩信息和深度信息进行排序，根据排序结果对三维模型进行色彩还原，从而提高色彩还原的精度。

在上述任意装置实施例的基础上，该装置还包括输出模块，用于：

获取所述目标物体的完整三维模型并输出。

第五方面，本发明实施例提供一种三维建模的方法，包括：

获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；

根据前N帧所述图像确定目标物体的特征点；

利用所述目标物体的特征点建立所述目标物体的三维模型；

确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；

按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

本发明实施例提供的方法，通过对特征点进行排序，进而对特征点在各帧中对应的深度信息和色彩信息进行排序，从而可以实现对三维模型的色彩还原，且色彩还原的精度较高。

在此基础上，本发明实施例提供的方法还可以利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。

第六方面，本发明实施例提供一种三维建模的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述第五方面的方法的步骤。

第七方面，本发明实施例提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第五方面的方法的步骤。

第八方面，本发明实施例提供一种三维建模的装置，该装置包括：

图像获取模块，用于获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；

特征点确定模块，用于根据前N帧所述图像确定目标物体的特征点；

三维建模模块，用于利用所述目标物体的特征点建立所述目标物体的三维模型；

特征点排序模块，用于确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

色彩信息查找模块，用于根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

色彩还原模块，用于利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

本发明实施例提供的装置，通过对特征点的深度信息和色彩信息进行排序，从而可以实现对三维模型的色彩还原，且色彩还原的精度较高。

在此基础上，本发明实施例提供的装置还可以包括目标跟踪模块，用于利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。

附图说明

图1为本发明实施例提供的一种三维建模方法流程图；

图2为本发明实施例提供的另一种三维建模方法流程图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明实施例的技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明实施例技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

本发明实施例提供的方法可以应用于多种硬件系统的应用场景。若以图像采集设备来划分应用场景，本发明实施例提供的方法适用于基于单台图像采集设备采集到的图像进行三维建模，本发明实施例提供的方法也适用于基于多台图像采集设备采集到的图像进行三维建模。其中，上述图像采集设备能够获取深度信息，可以是单目摄像机，也可以是多目摄像机，可以是独立的摄像机，也可以是其他电子设备的图像采集组件(例如智能手机的摄像头)，可以是采用3D结构光的摄像机，也可以是采用ToF(Time Of Flight，飞行时间)技术的摄像机。优选地，本发明实施例所使用的图像采集设备为RGB-D摄像机。

第一方面，本发明实施例提供一种三维建模的方法，请参考图1，包括：

步骤101、获取图像采集设备实时采集到的包含目标物体的图像。

本发明实施例中，图像采集设备采集到的图像包括深度信息，还包括图像信息(例如色彩信息)，以RGB-D摄像机为例，其采集到的图像包括色彩图像和深度图像，色彩图像与深度图像的分辨率相同，相同像素点的色彩信息与深度信息匹配。

步骤102、根据前N帧图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型。

其中，N为不小于1的整数，该步骤即利用图像采集设备实时采集到的前N帧图像对目标物体进行初始建模。目标物体在初始建模所利用到的图像中的可见部分称为初始已知部分，目标物体在初始建模所利用到的图像中的不可见部分称为初始未知部分。

优选地，图像采集设备采集到的实时图像按照预定的缓存格式进行缓存，本发明实施例不限定具体的缓存格式，例如，可以以队列的方式进行缓存，也可以以栈的方式进行缓存。本发明实施例提供的方法被触发后，从缓存中读取预定数量的图像用于对目标物体进行三维建模。

三维建模即利用读取到的前N帧图像确定目标物体的特征点，初始已知部分对应的每个特征点在图像中对应有图像点，根据这些图像点的信息(例如深度信息、色彩信息、图像点坐标信息等)对初始已知部分对应的特征点赋值，并利用目标物体的初始已知部分对应的特征点建立目标物体的初始已知部分的三维模型。

本发明实施例中，根据图像的深度信息可以对摄像机进行标定，进而可以根据标定结果确定目标物体的特征点。

缓存中实时更新图像，即有图像被读取后，则更新相同数量的图像到缓存中。

步骤103、将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型。

本发明实施例中，模型匹配的实现方式有多种，优选地，通过人工智能算法进行匹配。即，利用已知的完整三维模型作为样本训练模型库。本发明实施例不对训练模型库所使用的算法进行具体限定。

通过将初始已知部分的三维模型与模型库进行匹配，可以预测目标物体的初始未知部分的三维模型。一种实现方式中，匹配结果即为目标物体的初始未知部分的三维模型，相应的，模型库中将完整三维模型进行若干分类，其中一个特殊分类为对称模型分类，即若初始已知部分的三维模型与已知模型库中的其他分类均不匹配，则将其归为对称模型分类，该分类的匹配结果为对称匹配，即目标物体被认为是对称物体，将初始已知部分的三维模型进行对称变换后作为其初始未知部分的三维模型。另一种实现方式中，匹配结果可能为匹配失败，这种情况下，认为目标物体为对称物体，将初始已知部分的三维模型进行对称变换后作为其初始未知部分的三维模型。

本发明实施例中，可以进一步根据目标物体的初始已知部分的三维模型和初始未知部分的三维模型获得目标物体的初始完整三维模型。其中，可以为目标物体的初始未知部分分配存储空间，将其对应的特征点的信息保存在该存储空间中，而非保存在通用库中。

步骤104、利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。

更具体的，其实现方式可以但不仅限于是：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。

本发明实施例提供的方法，利用实时获取的图像建立目标物体的初始已知部分的三维模型，进而基于初始已知部分的三维模型与模型库的匹配结果，可以猜想目标物体的初始未知部分的模型，而无需对目标物体进行全角度拍摄后才能建立完整的三维模型，因此大大节省了运算量及运算时间。

在上述方法实施例中，其建模方式为动态建模，即可以对目标物体进行跟踪，从而动态更新模型。

仍以上述缓存方式为例，实时读取缓存中的图像，通过特征点匹配的方式对目标物体进行跟踪。

本发明实施例中，由于图像采集设备的移动或者目标物体的移动，目标物体的位置和姿态可能发生改变，因此，需要根据跟踪结果对目标物体的三维模型进行更新。

在此基础上，更具体的，在目标跟踪的过程中，若目标物体的初始未知部分转换为了已知部分，那么根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。

在图像采集设备移动或者目标物体移动过程中，目标物体的未知部分可能会转换为已知部分从而被图像采集设备拍摄到，这种情况下，可以利用采集到的已知部分的模型更新之前猜想得到的模型，从而提高模型的精度。

在上述任意方法实施例的基础上，上述步骤104的实现方式有多种，例如，利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。

本发明实施例提供的方法，仅对动态体进行更新，可以进一步提高动态建模的处理效率并降低运算量。

在上述任意方法实施例的基础上，所述目标物体的图像还包括色彩信息，该方法还包括：

确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；

按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

本发明实施例提供的方法，对模型中各个特征点的色彩信息和深度信息进行排序，根据排序结果对三维模型进行色彩还原，从而提高色彩还原的精度。

在上述任意方法实施例的基础上，该方法还包括：

获取所述目标物体的完整三维模型并输出。

更优选的，将目标物体的完整三维模型处理为通用格式后输出。

其中，目标物体的完整三维模型包括初始完整三维模型和实时更新的完整三维模型。

下面以一具体应用场景为例，对本发明实施例提供的具体实现方式进行详细说明。

在该应用场景中，智能移动终端包括RGB-D摄像头、处理器和存储器。

其中，RGB-D摄像头将实时采集到的图像缓存到存储器中，处理器对RGB-D摄像头采集到的色彩图像中的色彩信息和深度图像中的深度信息进行匹配；

处理器读取缓存中的图像，根据缓存中的图像对目标物体进行三维建模，得到初始已知部分的三维模型，该初始已知部分的三维模型包括目标物体的初始已知部分对应的特征点构成的点云；

处理器将初始已知部分的三维模型与模型库进行匹配，得到目标物体的初始未知部分的三维模型，该初始未知部分的三维模型包括目标物体的初始未知部分对应的特征点构成的点云。

处理器对当前的初始已知部分的三维模型中的特征点进行赋值，并将其标记为赋值状态，处理器对当前的初始未知部分的三维模型中的特征点标记为未赋值状态。

处理器继续读取缓存中的图像，利用读取到的图像对目标物体进行跟踪，根据跟踪结果对目标物体的三维模型进行更新。

上述处理过程中，具体的，处理器定标当前目标物体，以目标物体为参照物进行空间追踪，反向定标当前摄像头拍摄位置及角度，并记录。

在当前摄像头移动过程中，或者当前目标物体活动过程中，摄像头实时采集多帧目标物体的图像，通过帧变化，还原目标物体的初始状态，进行动态体判断追踪。即，如果目标物体的部分位置变化，则排除未变化部分(即静态体)，提取目标物体动态变化的部分(即动态体)进行位置动作判断，对于不规则形状的动态体，将其与数据库中存储的数据进行匹配，从而猜想还原目标物体的初始未知部分，并标记误差，作为后续更正；处理器继续读取实时采集图像的过程中，将标记未赋值点部分进行赋值(即根据后续采集到的图像，由初始未知部分转换为已知部分)，还原数值不作为通用库中的数据更新，作为新创建数据更新；初始未知部分转换为已知部分后，将对应的特征点标记为已赋值点，经过反复更新数值及对目标物体推进放大的部分数据采集更新，可逐渐提高目标物体的三维模型精度。

另一方面，处理器对目标物体的三维模型进行色彩还原。具体的，处理器获取目标物体的特征点对应坐标处的深度信息及深度信息匹配的当前色彩信息，并转化为可用于模型的uv坐标，通过当前每帧图像的特征点所匹配的深度信息还原模型本身，还原过程中，需要判断当前模型中特征点的状态是否为已赋值状态，如当前模型的特征点为已赋值状态，判断当前状态是否发生变化，未发生变化的部分，贴图区域不进行更新，已发生变化部分，通过匹配深度值，计算当前深度值位置进行更新。

模型的特征点在采集中处于无序列状态，需要重新计算序列，才可以重新跟踪特征点，重新组合序列根据需求确定精度，不超过需求精度最大值，进行排序重组。在对应了深度信息后，需要根据已有模型更新后的深度信息，对当前采集部分深度信息进行重新组合，并对特征点重新排序。并将重新排列后的特征点序列赋值模型数据，对应颜色部分更新完毕。

采集追踪模型过程中，可通过采集多个帧的图形数据，进行位置计算，并辅助当前模型数据进行更新，使模型精度提升。

色彩数据在采集完成以后，根据模型及动作变化更新，追踪结束后，根据色彩坐标值，获取色彩图形范围，并重新提取范围颜色，将所有部分范围颜色进行组合，合成模型颜色部分。并作为建模贴图更新存储。

本发明实施例提供的方法，在完成三维建模后，可以实时输出给本地的显示屏，也可以实时传输给其他电子设备。

本发明实施例不对模型输出的实现方式进行具体限定。优选地，采用通用格式进行输出。更具体的，将已赋值数据进行存储，并对数据库进行更新后，导出已成型建模，需要所有序列有序排列，并分割非建模部分，(如环境深度值影响部分)并通过相同追踪点(重建模型部分，相同的序列位置)创建可追踪部分。记录动作数据，实现通用追踪效果，及通用贴图。模型可根据需求转换任意通用格式导出，记录数据部分为结构体，同时存储深度及颜色两部分数据。

第二方面，本发明实施例提供一种三维建模的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意方法实施例的步骤。

第三方面，本发明实施例提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任意方法实施例的步骤。

第四方面，本发明实施例提供一种三维建模的装置，该装置包括：

图像获取模块，用于获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；

模型建立模块，用于根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；

模型猜想模块，用于将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；

目标跟踪模块，用于利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。

本发明实施例提供的装置，利用实时获取的图像建立目标物体的初始已知部分的三维模型，进而基于初始已知部分的三维模型与模型库的匹配结果，可以猜想目标物体的初始未知部分的模型，而无需对目标物体进行全角度拍摄后才能建立完整的三维模型，因此大大节省了运算量及运算时间。

在上述装置实施例中，其建模方式为动态建模，即可以对目标物体进行跟踪，从而动态更新模型。相应的，本发明实施例提供的装置中，模型建立模块用于：根据前N帧所述图像确定所述目标物体的特征点；根据前N帧所述图像中对应的图像点信息对所述目标物体的初始已知部分对应的特征点赋值，并利用所述目标物体的初始已知部分对应的特征点建立所述目标物体的初始已知部分的三维模型；目标跟踪模块用于：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。

在此基础上，更具体的，所述目标跟踪模块具体用于：

根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。

在图像采集设备移动或者目标物体移动过程中，目标物体的初始未知部分可能会转换为已知部分从而被图像采集设备拍摄到，这种情况下，可以利用变换后的已知部分的模型更新之前猜想得到的模型，从而提高模型的精度。

在上述任意方法实施例的基础上，所述目标跟踪模块具体用于：

利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；

对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。

本发明实施例提供的装置，仅对动态体进行更新，可以进一步提高动态建模的处理效率并降低运算量。

在上述任意装置实施例的基础上，所述目标物体的图像还包括色彩信息，该装置还包括色彩还原模块，用于：

确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；

按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

本发明实施例提供的装置，对模型中各个特征点进行排序，进而对特征点在各帧中对应的色彩信息和深度信息进行排序，根据排序结果对三维模型进行色彩还原，从而提高色彩还原的精度。

在上述任意装置实施例的基础上，该装置还包括输出模块，用于：

获取所述目标物体的完整三维模型并输出。

第五方面，本发明实施例提供一种三维建模的方法，如图2所示，包括：

步骤201、获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；

步骤202、根据前N帧所述图像确定目标物体的特征点；

步骤203、利用所述目标物体的特征点建立所述目标物体的三维模型；

本发明实施例不对三维建模的具体实现方式进行限定。

可采用现有任意的三维建模方式，也可以采用上述方法实施例提供的建模方式。

步骤204、确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；

其中，可以由用户指定特征点的顺序，也可以按照预定的规则自动确定特征点的顺序。

步骤205、按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

步骤206、根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

步骤207、利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

本发明实施例提供的方法，通过对特征点的深度信息和色彩信息进行排序，从而可以实现对三维模型的色彩还原，且色彩还原的精度较高。

在此基础上，本发明实施例提供的方法还可以利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。

本发明实施例中，上述色彩还原过程以及三维建模过程的具体实现方式可以参照前述实施例的描述，此处不再赘述。

第六方面，本发明实施例提供一种三维建模的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述第五方面的方法的步骤。

第七方面，本发明实施例提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第五方面的方法的步骤。

第八方面，本发明实施例提供一种三维建模的装置，该装置包括：

图像获取模块，用于获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；

特征点确定模块，用于根据前N帧所述图像确定目标物体的特征点；

三维建模模块，用于利用所述目标物体的特征点建立所述目标物体的三维模型；

特征点排序模块，用于确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

色彩信息查找模块，用于根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

色彩还原模块，用于利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

本发明实施例提供的装置，通过对特征点的深度信息和色彩信息进行排序，从而可以实现对三维模型的色彩还原，且色彩还原的精度较高。

在此基础上，本发明实施例提供的装置还可以包括目标跟踪模块，用于利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种三维建模的方法，其特征在于，包括：

获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；

根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；

将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；

利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。

2.根据权利要求1所述的方法，其特征在于，所述利用前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型，包括：根据前N帧所述图像确定所述目标物体的特征点；根据前N帧所述图像中对应的图像点信息对所述目标物体的初始已知部分对应的特征点赋值，并利用所述目标物体的初始已知部分对应的特征点建立所述目标物体的初始已知部分的三维模型；

所述利用前N帧所述图像之后图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新，包括：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。

3.根据权利要求2所述的方法，其特征在于，所述根据跟踪结果对所述目标物体的初始未知部分对应的特征点赋值，包括：

根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新，包括：

利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；

对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。

5.根据权利要求2或3所述的方法，其特征在于，所述目标物体的图像还包括色彩信息，该方法还包括：

确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；

按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

6.根据权利要求1～3任一项所述的方法，其特征在于，该方法还包括：

获取所述目标物体的完整三维模型并输出。

7.一种三维建模的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现权利要求1～6任一项所述方法的步骤。

8.一种三维建模的方法，其特征在于，包括：

获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；

根据前N帧所述图像确定目标物体的特征点；

利用所述目标物体的特征点建立所述目标物体的三维模型；

确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；

按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；

根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；

利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。

9.根据权利要求8所述的方法，其特征在于，该方法还包括：

利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。

10.一种三维建模的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现权利要求8或9所述方法的步骤。

Images