CN104517316B - 一种三维物体建模方法及终端设备 - Google Patents

Abstract

本发明实施例提供一种三维物体建模方法及终端设备，其中方法包括：获取对需要建模的三维物体进行环绕拍摄时，所采集到的多帧图像；确定各帧图像对应的所述三维物体的haar特征角点；根据相邻前后帧图像对应的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模。本发明可在多数终端设备上进行普及，可具有较高的普及度。

Description

一种三维物体建模方法及终端设备

技术领域

本发明涉及建模技术领域，具体涉及一种三维物体建模方法及终端设备。

背景技术

基于自然界存在的物体都可以用三维模型表示的原理，三维物体建模是指在终端设备上通过建立三维模型，还原实际三维物体的技术。

目前在终端设备上实现三维物体建模的方式主要为：使用具有多个摄像头的终端设备，同时拍摄固定多角度的物体图像，从而提取所拍摄的多帧图像里面的三维点云，进行三维物体建模，在终端设备上进行三维多角度的物体展示。

可以看出，现有在终端设备上实现三维物体建模的方式存在明显的缺点：需要采用具有多个摄像头的终端设备，同时拍摄固定多角度的物体图像，而普通的终端设备一般并不具有多个摄像头，现有的在终端设备上实现三维物体建模的方式，对于终端设备的要求较高，因此普及度较低，并无法在多数终端设备上进行普及。

发明内容

有鉴于此，本发明实施例提供一种三维物体建模方法及终端设备，以解决现有在终端设备上实现三维物体建模的方式，需要采用具有多个摄像头的终端设备实现，所带来的普及度较低，并无法在多数终端设备上进行普及的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种三维物体建模方法，应用于终端设备，所述方法包括：

获取对需要建模的三维物体进行环绕拍摄时，所采集到的多帧图像；

确定各帧图像对应的所述三维物体的haar特征角点；

根据相邻前后帧图像对应的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；

选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模。

其中，所述确定各帧图像对应的所述三维物体的haar特征角点包括：

对于多帧图像中的第一帧图像，以设定中心区域为起始，作Laplace of Guassian算子处理，得到第一帧图像的中心区域物体的轮廓；

提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到第一帧图像对应的三维物体的haar特征角点；

对于多帧图像中的其他帧图像，相邻帧图像的后一帧图像对应的三维物体的haar特征角点，由对前一帧图像对应的三维物体的haar特征角点进行设定范围的收敛处理得到。

其中，所述确定各帧图像对应的所述三维物体的haar特征角点包括：

对于多帧图像的每一帧图像，以图像的设定中心区域为起始，作Laplace ofGuassian算子处理，得到图像中心区域物体的轮廓，提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到各帧图像对应的三维物体的haar特征角点。

其中，所述三维物体建模方法还包括：

以第一帧图像所估计出的物体区域进行子区域划分，确定各子区域的haar特征角点的数量；

以第一帧图像所估计出的物体区域中各子区域的haar特征角点的数量为标准，对其他帧图像所估计的物体区域进行子区域分割，以使得其他帧图像所估计的物体区域中各子区域的haar特征角点的数量，与第一帧图像相应。

其中，所述确定各帧图像对应的空间位置包括：

对于所确定的各帧图像对应的三维物体的haar特征角点，在相邻前后帧图像中，以前帧图像的haar特征角点为种子点，在后帧图像中搜索所述种子点的位置；

以前帧图像中所述种子点的位置和所述种子点在后帧图像中的位置，确定所述种子点在前后帧图像之间的位移；

根据所述种子点在前后帧图像之间的位移，确定前后帧图像之间的位移；

根据前后帧图像之间的位移及终端设备拍摄三维物体对应的焦距，确定前帧图像对应的空间位置。

其中，所述各帧图像对应的空间位置包括：以第一帧图像对应的空间位置为角度零点时，各帧图像所对应的角度；

所述选取空间位置满足预定条件的若干帧图像包括：

确定各帧图像对应的角度，选取设定角度的若干帧图像；

所述将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模包括：

以选取的若干帧图像对应的haar特征角点，为所述三维物体进行建模的角点，进行三维物体的曲面重建，组成一系列的三维展示结果帧率，实现三维物体的建模。

其中，所述进行三维物体的曲面重建包括：

搜索每一个散乱haar特征角点的邻近点集，并估计出各散乱haar特征角点的法矢和切平面；

将每一个散乱haar特征角点及其邻近点集投影到切平面上，运用Delaunay三角剖分算法得到点与点之间的拓扑连接关系，最后将剖分后的连接关系映射回三维空间中，形成haar特征角点及邻近点集的邻近点的空间三角剖分，生成三维物体表面在haar特征角点的局部三角网格；

将每一个散乱haar特征角点及其邻近点的拓扑连接拼接成一个整体的三维网格，实现三维物体的曲面重建。

本发明实施例还提供一种终端设备，包括三维物体建模装置，所述三维物体建模装置包括：

图像获取模块，用于获取对需要建模的三维物体进行环绕拍摄时，所采集到的多帧图像；

角点确定模块，用于确定各帧图像对应的所述三维物体的haar特征角点；

位置确定模块，用于根据相邻前后帧图像对应的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；

建模模块，用于选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模。

其中，所述角点确定模块包括：

轮廓提取单元，用于对于多帧图像中的第一帧图像，以设定中心区域为起始，作Laplace of Guassian算子处理，得到第一帧图像的中心区域物体的轮廓；

角点提取单元，用于提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到第一帧图像对应的三维物体的haar特征角点；

收敛处理单元，用于对于多帧图像中的其他帧图像，相邻帧图像的后一帧图像对应的三维物体的haar特征角点，由对前一帧图像对应的三维物体的haar特征角点进行设定范围的收敛处理得到。

其中，位置确定模块可以包括：

种子点搜索单元，用于对于所确定的各帧图像对应的三维物体的haar特征角点，在相邻前后帧图像中，以前帧图像的haar特征角点为种子点，在后帧图像中搜索所述种子点的位置；

种子点位移确定单元，用于以前帧图像中所述种子点的位置和所述种子点在后帧图像中的位置，确定所述种子点在前后帧图像之间的位移；

图像位移确定单元，用于根据所述种子点在前后帧图像之间的位移，确定前后帧图像之间的位移；

图像空间位置确定单元，用于根据前后帧图像之间的位移及终端设备拍摄三维物体对应的焦距，确定前帧图像对应的空间位置。

基于上述技术方案，本发明实施例提供的三维物体建模方法，可对需要建模的三维物体进行环绕拍摄，获取到对需要建模的三维物体进行环绕拍摄时，所采集的多帧图像；确定各帧图像对应的三维物体的haar特征角点；根据相邻前后帧图像的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；从而选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模，实现对三维物体的建模目的。可见，本发明实施例提供的三维物体建模方法，可采用单独的一个摄像头对需要建模的三维物体进行环绕拍摄，通过所采集的多帧图像，进行三维物体的haar特征角点提取，各帧图像对应的空间位置的确定，选取空间位置满足预定条件的若干帧图像对应的haar特征角点进行三维物体的三维点云建模，实现对三维物体的建模；由于本发明实施例提供的三维物体建模方法对于终端设备仅有单独的一个摄像头的要求，因此可在多数终端设备上进行普及，可具有较高的普及度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的三维物体建模方法的流程图；

图2为LoG算子模版的示意图；

图3为本发明实施例提供的确定各帧图像对应的三维物体的haar特征角点的方法流程图；

图4为本发明实施例提供的确定各帧图像对应的空间位置的方法流程图；

图5为本发明实施例提供的三维点云采集及建模的方法流程图；

图6为本发明实施例提供的曲面重建的方法流程图；

图7为本发明实施例提供的三维物体建模方法的另一流程图；

图8为本发明实施例提供的终端设备的结构框图；

图9为本发明实施例提供的角点确定模块的结构框图；

图10为本发明实施例提供的角点确定模块的另一结构框图；

图11为本发明实施例提供的终端设备的另一结构框图；

图12为本发明实施例提供的位置确定模块的结构框图；

图13为本发明实施例提供的建模模块的结构框图；

图14为本发明实施例提供的曲面重建建模单元的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的三维物体建模方法的流程图，该方法可应用于终端设备，参照图1，该方法可以包括：

步骤S100、获取对需要建模的三维物体进行环绕拍摄时，所采集到的多帧图像；

可选的，终端设备可设置有至少一个摄像头，本发明实施例可采用终端设备的一个摄像头对需要建模的三维物体进行环绕拍摄，从而获取到摄像头在环绕三维物体拍摄过程中所拍摄采集到的多帧图像。

步骤S110、确定各帧图像对应的所述三维物体的haar特征角点；

可选的，本发明实施例可以图像中心区域物体作为需要建模的三维物体的一个平面，若一帧图像中有多个中心物体被检测到，则以最大的中心物体作为需要建模的三维物体的一个平面；

可选的，本发明实施例可对图像作Laplace of Guassian(高斯拉普拉斯)算子处理，得到图像中的三维物体的一个平面的轮廓，提取三维物体的一个平面的轮廓中的haar特征角点，得到图像中三维物体的一个平面的haar特征角点。

Laplace of Guassian算子源于D.Marr计算视觉理论提出的边缘提取思想，首先对原始图像进行最佳平滑处理，最大程度抑制噪声，再对平滑后图像求取边缘，图2示出了典型的5*5的LoG算子模版，可参照；

haar特征角点提取，是一种图像特征点的提取方法，本质是提取图像里面明显局部特征点。

步骤S120、根据相邻前后帧图像对应的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；

可选的，在多帧图像中，本发明实施例可以前帧图像的haar特征角点为种子点，收敛搜索前帧图像的种子点在后帧图像中的位置，从而得到种子点的haar特征角点在前后帧图像的中的位移，由于多帧图像为环绕拍摄三维物体所得到，因此根据位移和焦距(终端设备环绕拍摄三维物体时对应的焦距)即可计算出各帧图像对应的空间位置(该帧图像拍摄时所处于的位置)，以第一帧图像对应的空间位置为角度零点，得到其他各帧图像对应的角度(即其他帧图像拍摄时的位置，与第一帧图像拍摄时的位置间的角度)。

可选的，本发明实施例可采用NNF匹配算法，衡量多帧图像中的大位移patch之间的相似度，根据前后帧图像纹理相似度来判断匹配度，从而匹配计算不同帧图像的位移；

NNF匹配算法(大位移跟踪算法)，是基于全图的领网络场来搜索不同帧中的图像特征，从而选择何时偏移光流帧率的方法。

步骤S130、选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模。

可选的，本发明实施例可选取设定角度的图像，选择环绕三维物体的不同角度的角点，进行三维物体的三维点云建模，根据空间逼近(Approximation)法重建曲面，组成一系列的三维展示结果帧率，实现三维物体的建模；

可选的，在选取设定角度的图像时，本发明实施例可以均匀角度进行图像的选择，以通过环绕拍摄场景下图像的平均选择，实现三维物体不同角度的边缘点的展示。

本发明实施例提供的三维物体建模方法，可对需要建模的三维物体进行环绕拍摄，获取到对需要建模的三维物体进行环绕拍摄时，所采集的多帧图像；确定各帧图像对应的三维物体的haar特征角点；根据相邻前后帧图像的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；从而选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模，实现对三维物体的建模目的。可见，本发明实施例提供的三维物体建模方法，可采用单独的一个摄像头对需要建模的三维物体进行环绕拍摄，通过所采集的多帧图像，进行三维物体的haar特征角点提取，各帧图像对应的空间位置的确定，选取空间位置满足预定条件的若干帧图像对应的haar特征角点进行三维物体的三维点云建模，实现对三维物体的建模；由于本发明实施例提供的三维物体建模方法对于终端设备仅有单独的一个摄像头的要求，因此可在多数终端设备上进行普及，可具有较高的普及度。

可选的，本发明实施例确定各帧图像对应的三维物体的haar特征角点的方式可以为：对图像进行中心区域物体(该中心区域物体对应三维物体的一个平面)的轮廓估计，提取所估计的轮廓中的haar特征角点，将提取的haar特征角点作为图像对应的三维物体的haar特征角点。

其中一种具体实现方式为：由于多帧图像为对需要建模的三维物体进行环绕拍摄所采集到的，因此多帧图像中后一帧图像与前一帧图像的位移差异较小，对于后一帧图像对应的三维物体的haar特征角点的检测，可在前一帧图像对应的haar特征角点的基础上作小范围收敛得到。

图3示出了本发明实施例提供的确定各帧图像对应的三维物体的haar特征角点的方法流程图，参照图3，该方法可以包括：

步骤S200、对于多帧图像中的第一帧图像，以设定中心区域为起始，作Laplace ofGuassian算子处理，得到第一帧图像的中心区域物体的轮廓；

可选的，设定中心区域可以为图像的中间25％区域。

步骤S210、提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到第一帧图像对应的三维物体的haar特征角点；

通过进行边缘点去除处理可从规避掉一些拍摄场景中可能对三维物体产生误导的物体或者区域。

步骤S220、对于多帧图像中的其他帧图像，相邻帧图像的后一帧图像对应的三维物体的haar特征角点，由对前一帧图像对应的三维物体的haar特征角点进行设定范围的收敛处理得到。

可选的，为了使得所得到的其他帧图像对应的三维物体的haar特征角点的分布，与第一帧图像中的三维物体的haar特征角点的分布相应；本发明实施例可以第一帧图像所估计出的物体区域(即中心区域物体所在的区域)进行子区域划分，确定各子区域的haar特征角点的数量，以第一帧图像所估计出的物体区域中各子区域的haar特征角点的数量为标准，对其他帧图像所估计的物体区域进行子区域分割，以使得其他帧图像所估计的物体区域中各子区域的haar特征角点的数量，与第一帧图像相应。

可选的，本发明实施例也可以对多帧图像的每一帧图像作中心区域物体的轮廓估计，提取所估计的轮廓中的haar特征角点，将提取的haar特征角点作为各帧图像对应的三维物体的haar特征角点。具体的，对于多帧图像的每一帧图像，本发明实施例可以图像的设定中心区域(图像的中间25％区域)为起始，作Laplace of Guassian算子处理，得到图像中心区域物体的大概轮廓，提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，规避掉一些可能误导的物体或者区域，从而得到各帧图像对应的三维物体的haar特征角点。

可选的，在确定各帧图像对应的空间位置时，由于环绕拍摄场景下，前后帧图像的位移较小，本发明实施例可在一个小位移里面以前帧图像的haar特征角点为种子点，收敛搜索种子点在后帧图像的位置，从而得到前后帧图像之间的种子点位移，通过得到的种子点位移可以计算出前后帧图像的位移，再通过图像的位移和焦距可计算出前帧图像对应的空间位置；对于各帧图像均作如此处理，则可得到各帧图像对应的空间位置；进一步，确定出以第一帧图像对应的空间位置为角度零点情况下的各帧图像对应的角度。

可选的，图4示出了本发明实施例提供的确定各帧图像对应的空间位置的方法流程图，参照图4，该方法可以包括：

步骤S300、对于所确定的各帧图像对应的三维物体的haar特征角点，在相邻前后帧图像中，以前帧图像的haar特征角点为种子点，在后帧图像中搜索所述种子点的位置；

步骤S310、以前帧图像中所述种子点的位置和所述种子点在后帧图像中的位置，确定所述种子点在前后帧图像之间的位移；

步骤S320、根据所述种子点在前后帧图像之间的位移，确定前后帧图像之间的位移；

步骤S330、根据前后帧图像之间的位移及终端设备拍摄三维物体对应的焦距，确定前帧图像对应的空间位置。

对多帧图像均作如图4所示处理，则可得到各帧图像对应的空间位置。

可选的，在本发明实施例中，图像对应的空间位置可以表示为以第一帧图像对应的空间位置为角度零点情况下，各帧图像所对应的角度。图5示出了三维点云采集及建模的方法流程图，参照图5，该方法可以包括：

步骤S400、确定各帧图像对应的角度，选取设定角度的若干帧图像；

可选的，本发明实施例可以均匀的角度进行若干帧图像的选取。

步骤S410、以选取的若干帧图像对应的haar特征角点，为所述三维物体进行建模的角点，进行三维物体的曲面重建，组成一系列的三维展示结果帧率，实现三维物体的建模。

可选的，在进行三维物体的曲面重建时，本发明实施例可采用三维点云局部Delaunay三角剖分算法实现；图6示出了曲面重建的方法流程图，参照图6，该方法可以包括：

步骤S500、搜索每一个散乱haar特征角点的邻近点集，并估计出各散乱haar特征角点的法矢和切平面；

由于图像是环绕三维物体进行拍摄所采集的，因此选择不同帧的含义其实是选择一个空间物体的合适角度的环绕帧，即根据三维空间不同角度(比如选择出环绕180度，每环绕30度的帧图像)的帧率。本发明实施例可以中心物体所提取的haar特征角点，作为三维物体的种子角点，在它附近搜索散落的次级边缘特征点；即对于若干帧图像而言，可以中心物体所提取的haar特征角点作为三维物体的种子角点，在相邻帧图像的haar特征角点中搜索该种子角点的散落的次级边缘特征点。

步骤S510、将每一个散乱haar特征角点及其邻近点集投影到切平面上，运用Delaunay三角剖分算法得到点与点之间的拓扑连接关系，最后将剖分后的连接关系映射回三维空间中，形成haar特征角点及邻近点集的邻近点的空间三角剖分，生成三维物体表面在haar特征角点的局部三角网格；

可选的，Delaunay三角剖分算法可选为2D Delaunay三角剖分算法

步骤S520、将每一个散乱haar特征角点及其邻近点的拓扑连接拼接成一个整体的三维网格，实现三维物体的曲面重建。

可选的，由于对三维物体进行环绕拍摄时，用户自主采集的多帧图像进行三维建模的效果可能并不是最佳，因此本发明实施例可通过NNF大位移的光流算法反馈的方向，进行环绕拍摄方向的提示。具体的，用户可先围绕三维物体进行环绕拍摄，终端设备可根据所获取的围绕三维物体进行环绕拍摄的图像，进行NNF大位移的光流算法的计算，得到NNF大位移的光流算法反馈的方向，从而输出该方向以提示用户环绕拍摄的方向；用户根据提示的环绕拍摄的方向，所拍摄获取的多帧图像，可作为图1所示方法中，终端设备进行三维物体建模方法过程中，所获取的对需要建模的三维物体进行环绕拍摄时，所采集到的多帧图像。

下面对本发明实施例提供的三维物体建模方法的一个优选流程进行介绍，图7为本发明实施例提供的三维物体建模方法的另一流程图，参照图7，该方法可以包括：

步骤S600、环绕需要建模的三维物体进行拍摄，得到多帧图像；

可选的，步骤S600可通过终端设备输出的提示方向进行三维物体的环绕拍摄；显然，若用户首次环绕需要建模的三维物体进行拍摄所得到的多帧图像，可满足后续计算要求，也可不输出提示方向。

步骤S610、对于第一帧图像，以中间25％区域为起始，作Laplace of Guassian算子处理，得到第一帧图像的中心区域物体的轮廓，提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到第一帧图像对应的三维物体的haar特征角点；

步骤S620、对于多帧图像中的其他帧图像，相邻帧图像的后一帧图像对应的三维物体的haar特征角点，由对前一帧图像对应的三维物体的haar特征角点进行设定范围的收敛处理得到；

具体的，第二帧图像的haar特征角点可由对第一帧图像的haar特征角点进行设定范围的收敛处理得到，第三帧图像的haar特征角点可由对第二帧图像的haar特征角点进行设定范围的收敛处理得到，以此类推。

步骤S630、对于所确定的各帧图像中三维物体的haar特征角点，在相邻前后帧图像中，以前帧图像的haar特征角点为种子点，在后帧图像中搜索所述种子点的位置；

步骤S640、以前帧图像中所述种子点的位置和所述种子点在后帧图像中的位置，确定所述种子点在前后帧图像之间的位移，根据所述种子点在前后帧图像之间的位移，确定前后帧图像之间的位移，根据前后帧图像之间的位移及终端设备拍摄三维物体对应的焦距，确定前帧图像对应的空间位置，对于各帧图像作上述处理，得到各帧图像对应的空间位置；以第一帧图像对应的空间位置为角度零点，确定各帧图像对应的角度；

步骤S650、以均匀的角度，选取设定角度的若干帧图像；

步骤S660、对于该若干帧图像，搜索每一个散乱haar特征角点的邻近点集，并估计出各散乱haar特征角点的法矢和切平面；

步骤S670、将每一个散乱haar特征角点及其邻近点集投影到切平面上，运用2DDelaunay三角剖分算法得到点与点之间的拓扑连接关系，将剖分后的连接关系映射回三维空间中，形成haar特征角点及邻近点集的邻近点的空间三角剖分，生成三维物体表面在haar特征角点的局部三角网格；

步骤S680、将每一个散乱haar特征角点及其邻近点的拓扑连接拼接成一个整体的三维网格，实现三维物体的曲面重建，根据三维物体的曲面重建进行三维模型还原，并进行三维模型的展示。

本发明实施例提供的三维物体建模方法对于终端设备仅有单独的一个摄像头的要求，因此可在多数终端设备上进行普及，可具有较高的普及度。

下面对本发明实施例提供的终端设备进行介绍，下文描述的终端设备具有三维物体建模装置，该三维物体建模装置可以为能够执行上文描述的三维物体建模方法的功能模块架构，下文描述内容可与上文描述的三维物体建模方法相互对应参照。

图8为本发明实施例提供的终端设备的结构框图，该终端设备可以包括三维物体建模装置，参照图8，该三维物体建模装置可以包括：

图像获取模块100，用于获取对需要建模的三维物体进行环绕拍摄时，所采集到的多帧图像；

角点确定模块200，用于确定各帧图像对应的所述三维物体的haar特征角点；

位置确定模块300，用于根据相邻前后帧图像对应的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；

建模模块400，用于选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模。

可选的，图9示出了角点确定模块200的一种可选结构，参照图9，角点确定模块200可以包括：

轮廓提取单元210，用于对于多帧图像中的第一帧图像，以设定中心区域为起始，作Laplace of Guassian算子处理，得到第一帧图像的中心区域物体的轮廓；

角点提取单元211，用于提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到第一帧图像对应的三维物体的haar特征角点；

收敛处理单元212，用于对于多帧图像中的其他帧图像，相邻帧图像的后一帧图像对应的三维物体的haar特征角点，由对前一帧图像对应的三维物体的haar特征角点进行设定范围的收敛处理得到。

可选的，图10示出了本发明实施例提供的角点确定模块200的另一种可选结构，参照图10，角点确定模块200可以包括：

确定执行单元220，用于对于多帧图像的每一帧图像，以图像的设定中心区域为起始，作Laplace of Guassian算子处理，得到图像中心区域物体的轮廓，提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到各帧图像对应的三维物体的haar特征角点。

可选的，图11示出了本发明实施例提供的终端设备的另一结构框图，结合图10和图11所示，该终端设备所包括的三维物体建模装置还可以包括：

角点对应模块500，用于以第一帧图像所估计出的物体区域进行子区域划分，确定各子区域的haar特征角点的数量；以第一帧图像所估计出的物体区域中各子区域的haar特征角点的数量为标准，对其他帧图像所估计的物体区域进行子区域分割，以使得其他帧图像所估计的物体区域中各子区域的haar特征角点的数量，与第一帧图像相应。

可选的，图12示出了本发明实施例提供的位置确定模块300的一种可选结构，参照图12，位置确定模块300可以包括：

种子点搜索单元310，用于对于所确定的各帧图像对应的三维物体的haar特征角点，在相邻前后帧图像中，以前帧图像的haar特征角点为种子点，在后帧图像中搜索所述种子点的位置；

种子点位移确定单元311，用于以前帧图像中所述种子点的位置和所述种子点在后帧图像中的位置，确定所述种子点在前后帧图像之间的位移；

图像位移确定单元312，用于根据所述种子点在前后帧图像之间的位移，确定前后帧图像之间的位移；

图像空间位置确定单元313，用于根据前后帧图像之间的位移及终端设备拍摄三维物体对应的焦距，确定前帧图像对应的空间位置。

可选的，各帧图像对应的空间位置包括：以第一帧图像对应的空间位置为角度零点时，各帧图像所对应的角度；图13示出了本发明实施例提供的建模模块400的一种可选结构，参照图13，建模模块400可以包括：

角度选择单元410，用于确定各帧图像对应的角度，选取设定角度的若干帧图像；

曲面重建建模单元420，用于以选取的若干帧图像对应的haar特征角点，为所述三维物体进行建模的角点，进行三维物体的曲面重建，组成一系列的三维展示结果帧率，实现三维物体的建模。

可选的，图14示出了曲面重建建模单元420的一种可选结构，参照图14，曲面重建建模单元420可以包括：

搜索估计子单元421，用于搜索每一个散乱haar特征角点的邻近点集，并估计出各散乱haar特征角点的法矢和切平面；

投影生成子单元422，用于将每一个散乱haar特征角点及其邻近点集投影到切平面上，运用Delaunay三角剖分算法得到点与点之间的拓扑连接关系，最后将剖分后的连接关系映射回三维空间中，形成haar特征角点及邻近点集的邻近点的空间三角剖分，生成三维物体表面在haar特征角点的局部三角网格；

拼接子单元423，用于将每一个散乱haar特征角点及其邻近点的拓扑连接拼接成一个整体的三维网格，实现三维物体的曲面重建。

本发明实施例提供的终端设备可采用单独的一个摄像头实现三维物体建模，本发明实施例提供的三维物体建模方法可在多数终端设备上进行普及，可具有较高的普及度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维物体建模方法，其特征在于，应用于终端设备，所述方法包括：

获取所述终端设备的至少一个摄像头对需要建模的三维物体进行环绕拍摄时，所采集到的多帧图像；

确定各帧图像对应的所述三维物体的haar特征角点；

根据相邻前后帧图像对应的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；

选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模。

2.根据权利要求1所述的三维物体建模方法，其特征在于，所述确定各帧图像对应的所述三维物体的haar特征角点包括：

对于多帧图像中的第一帧图像，以设定中心区域为起始，作Laplace of Guassian算子处理，得到第一帧图像的中心区域物体的轮廓；

提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到第一帧图像对应的三维物体的haar特征角点；

对于多帧图像中的其他帧图像，相邻帧图像的后一帧图像对应的三维物体的haar特征角点，由对前一帧图像对应的三维物体的haar特征角点进行设定范围的收敛处理得到。

3.根据权利要求1所述的三维物体建模方法，其特征在于，所述确定各帧图像对应的所述三维物体的haar特征角点包括：

对于多帧图像的每一帧图像，以图像的设定中心区域为起始，作Laplace of Guassian算子处理，得到图像中心区域物体的轮廓，提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到各帧图像对应的三维物体的haar特征角点。

4.根据权利要求2或3所述的三维物体建模方法，其特征在于，还包括：

以第一帧图像所估计出的物体区域进行子区域划分，确定各子区域的haar特征角点的数量；

以第一帧图像所估计出的物体区域中各子区域的haar特征角点的数量为标准，对其他帧图像所估计的物体区域进行子区域分割，以使得其他帧图像所估计的物体区域中各子区域的haar特征角点的数量，与第一帧图像相应。

5.根据权利要求1所述的三维物体建模方法，其特征在于，所述确定各帧图像对应的空间位置包括：

对于所确定的各帧图像对应的三维物体的haar特征角点，在相邻前后帧图像中，以前帧图像的haar特征角点为种子点，在后帧图像中搜索所述种子点的位置；

以前帧图像中所述种子点的位置和所述种子点在后帧图像中的位置，确定所述种子点在前后帧图像之间的位移；

根据所述种子点在前后帧图像之间的位移，确定前后帧图像之间的位移；

根据前后帧图像之间的位移及终端设备拍摄三维物体对应的焦距，确定前帧图像对应的空间位置。

6.根据权利要求1或5所述的三维物体建模方法，其特征在于，所述各帧图像对应的空间位置包括：以第一帧图像对应的空间位置为角度零点时，各帧图像所对应的角度；

所述选取空间位置满足预定条件的若干帧图像包括：

确定各帧图像对应的角度，选取设定角度的若干帧图像；

所述将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模包括：

以选取的若干帧图像对应的haar特征角点，为所述三维物体进行建模的角点，进行三维物体的曲面重建，组成一系列的三维展示结果帧率，实现三维物体的建模。

7.根据权利要求6所述的三维物体建模方法，其特征在于，所述进行三维物体的曲面重建包括：

搜索每一个散乱haar特征角点的邻近点集，并估计出各散乱haar特征角点的法矢和切平面；

将每一个散乱haar特征角点及其邻近点集投影到切平面上，运用Delaunay三角剖分算法得到点与点之间的拓扑连接关系，最后将剖分后的连接关系映射回三维空间中，形成haar特征角点及邻近点集的邻近点的空间三角剖分，生成三维物体表面在haar特征角点的局部三角网格；

将每一个散乱haar特征角点及其邻近点的拓扑连接拼接成一个整体的三维网格，实现三维物体的曲面重建。

8.一种终端设备，其特征在于，包括三维物体建模装置，所述三维物体建模装置包括：

图像获取模块，用于获取所述终端设备的至少一个摄像头对需要建模的三维物体进行环绕拍摄时，所采集到的多帧图像；

角点确定模块，用于确定各帧图像对应的所述三维物体的haar特征角点；

位置确定模块，用于根据相邻前后帧图像对应的所述haar特征角点的位置关系，确定各帧图像对应的空间位置；

建模模块，用于选取空间位置满足预定条件的若干帧图像，将所述若干帧图像对应的haar特征角点确定为所述三维物体进行建模的角点，依据所述三维物体进行建模的角点进行三维物体建模。

9.根据权利要求8所述的终端设备，其特征在于，所述角点确定模块包括：

轮廓提取单元，用于对于多帧图像中的第一帧图像，以设定中心区域为起始，作Laplace of Guassian算子处理，得到第一帧图像的中心区域物体的轮廓；

角点提取单元，用于提取出所得到的中心区域物体的轮廓中的haar特征角点，并进行边缘点去除处理，得到第一帧图像对应的三维物体的haar特征角点；

收敛处理单元，用于对于多帧图像中的其他帧图像，相邻帧图像的后一帧图像对应的三维物体的haar特征角点，由对前一帧图像对应的三维物体的haar特征角点进行设定范围的收敛处理得到。

10.根据权利要求8或9所述的终端设备，其特征在于，位置确定模块可以包括：

种子点搜索单元，用于对于所确定的各帧图像对应的三维物体的haar特征角点，在相邻前后帧图像中，以前帧图像的haar特征角点为种子点，在后帧图像中搜索所述种子点的位置；

种子点位移确定单元，用于以前帧图像中所述种子点的位置和所述种子点在后帧图像中的位置，确定所述种子点在前后帧图像之间的位移；

图像位移确定单元，用于根据所述种子点在前后帧图像之间的位移，确定前后帧图像之间的位移；

图像空间位置确定单元，用于根据前后帧图像之间的位移及终端设备拍摄三维物体对应的焦距，确定前帧图像对应的空间位置。