CN110930503B - 一种服装三维模型建立方法、系统、存储介质及电子设备 - Google Patents

Abstract

本发明提供了一种服装三维模型建立方法、系统、存储介质及电子设备，其方法包括：拍摄一组着装状态下服装表面的图像序列，该图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度；对所述图像序列进行目标识别，得到含有服装信息的目标点坐标，根据所述目标点坐标对所述图像序列进行裁剪得到目标图像序列；对所述目标图像序列进行迭代计算得到服装稀疏点云；对所述服装稀疏点云进行稠密重建；若所述服装稠密点云生成的三维模型中存在孔洞，则对孔洞进行点云插值得到完整的服装三维模型。本发明有效提高特征点匹配的精度，在进行服装三维模型重建的过程中能够获得更好的服装细节。

Description

一种服装三维模型建立方法、系统、存储介质及电子设备

技术领域

本发明涉及计算机图像处理领域，尤指一种服装三维模型建立方法、系统、存储介质及电子设备。

背景技术

伴着虚拟技术的发展，服装的三维重建在游戏角色构建、网购等领域有了新的应用。现有服装三维重建分为如下几类：(1)几何法：根据物体都是由许多微小的几何体构成原理，此类方法常见的有CAD、Maya。(2)硬件设备：使用硬件设备从而获取物体深度信息，常见的此类服装三维重建方法有Li-Dar、Kinect。(3)相机多视角：利用多个相机获取物体不同角度的信息，常见的此类方法有单目多视角、双目多视角。

但是，上述方法存在以下问题，几何法的服装三维重建往往需要较为熟练的软件操作人员耗费较长时间；硬件设备较为昂贵，也不便携带，虽然能够较快获取物体信息，但适用范围有限；相机多视角中，双目多视角需要较多摄像机，操作起来较为繁琐，传统单目多视角需要拍摄较多图像，无关信息较多，且服装重建过程较长。

发明内容

本发明的目的是提供一种服装三维模型建立方法、系统、存储介质及电子设备，实现有效提高特征点匹配的精度，在进行服装三维模型重建的过程中能够获得更好的服装细节。

本发明提供的技术方案如下：

本发明提供一种服装三维模型建立方法，包括：

获取对着装状态下服装表面进行拍摄的一组图像序列，所述图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度；

对所述图像序列进行目标识别，得到含有服装信息的目标点坐标，根据所述目标点坐标对所述图像序列进行裁剪得到目标图像序列；

对所述目标图像序列进行迭代计算得到服装稀疏点云；

对所述服装稀疏点云进行稠密重建得到服装稠密点云；

若所述服装稠密点云中存在孔洞，则对所述服装稠密点云进行点云插值得到服装三维模型。

进一步的，对所述目标图像序列进行迭代计算得到服装稀疏点云具体包括：

计算所述目标图像序列中任意两幅相邻图像的匹配点；

选取匹配点最多的两幅相邻图像作为初始图像对，对所述初始图像对进行处理得到初始服装三维点云；

获取所述初始图像对的相邻图像进行处理，更新所述初始服装三维点云得到中间服装三维点云；

逐一获取所述目标图像序列中当前处理的图像的相邻图像进行迭代，直至目标图像序列中所有的图像完成迭代，得到服装稀疏点云。

进一步的，计算所述目标图像序列中任意两幅相邻图像的匹配点具体包括：

选取所述目标图像序列中任意一副图像，通过高斯滤波器构建选取的图像的尺度空间；

从所述尺度空间中提取极值点，并剔除边缘效应特征点；

根据图像局部梯度信息计算主方向，生成描述子；

当两个描述子之间的欧式距离大于预设阈值时，所述两个描述子相互粗匹配；

对粗匹配的描述子进行提纯得到匹配点。

进一步的，若所述服装稠密点云中存在孔洞，则对所述服装稠密点云进行点云插值得到服装三维模型具体包括：

检测所述服装稠密点云中的孔洞；

若所述服装稠密点云中存在孔洞，则选取任意一个孔洞，获取孔洞边界信息；

根据所述孔洞边界信息计算目标边界点以及边界边平均长度，所述目标边界点为相邻边界边的夹角最小的点；

计算所述目标边界点的两个相邻边界点之间的目标距离；

当所述目标距离的一半小于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，形成一个三角形填充所述孔洞；

当所述目标距离的一半大于等于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，同时连接所述目标边界点与所述目标边界边的中点，形成两个三角形填充所述孔洞；

更新所述孔洞的孔洞边界信息，再次选取新的目标边界点以及边界边平均长度进行填充，直至所述孔洞填充完毕。

本发明还提供一种服装三维模型建立系统，包括：

图像获取模块，获取对着装状态下服装表面进行拍摄的一组图像序列，所述图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度；

目标识别模块，对所述图像获取模块获取的所述图像序列进行目标识别，得到含有服装信息的目标点坐标，根据所述目标点坐标对所述图像序列进行裁剪得到目标图像序列；

计算模块，对所述目标识别模块得到的所述目标图像序列进行迭代计算得到服装稀疏点云；

稠密重建模块，对所述计算模块得到的所述服装稀疏点云进行稠密重建得到服装稠密点云；

插值模块，若所述服装稠密点云中存在孔洞，则对所述稠密重建模块得到的所述服装稠密点云进行点云插值得到服装三维模型。

进一步的，所述计算模块具体包括：

匹配点计算单元，计算所述目标图像序列中任意两幅相邻图像的匹配点；

计算单元，选取所述匹配点计算单元计算的匹配点最多的两幅相邻图像作为初始图像对，对所述初始图像对进行处理得到初始服装三维点云；

所述计算单元，获取所述初始图像对的相邻图像进行处理，更新所述初始服装三维点云得到中间服装三维点云；

所述计算单元，逐一获取所述目标图像序列中当前处理的图像的相邻图像进行迭代，直至目标图像序列中所有的图像完成迭代，得到服装稀疏点云。

进一步的，所述匹配点计算单元具体包括：

空间构建子单元，选取所述目标图像序列中任意一副图像，通过高斯滤波器构建选取的图像的尺度空间；

提取子单元，从所述空间构建子单元得到的所述尺度空间中提取极值点，并剔除边缘效应特征点；

生成子单元，对所述提取子单元得到的极值点根据图像局部梯度信息计算主方向，生成描述子；

匹配子单元，当所述生成子单元生成的两个描述子之间的欧式距离大于预设阈值时，所述两个描述子相互粗匹配；

提纯子单元，对所述匹配子单元粗匹配的描述子进行提纯得到匹配点。

进一步的，所述插值模块具体包括：

检测单元，检测所述服装稠密点云中的孔洞；

信息获取单元，若所述检测单元检测到所述服装稠密点云中存在孔洞，则选取所述检测单元得到的任意一个孔洞，获取孔洞边界信息；

参数计算单元，根据所述信息获取单元获取的所述孔洞边界信息计算目标边界点以及边界边平均长度，所述目标边界点为相邻边界边的夹角最小的点；

所述参数计算单元，计算所述目标边界点的两个相邻边界点之间的目标距离；

填充单元，当所述参数计算单元得到的所述目标距离的一半小于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，形成一个三角形填充所述孔洞；

所述填充单元，当所述参数计算单元得到的所述目标距离的一半大于等于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，同时连接所述目标边界点与所述目标边界边的中点，形成两个三角形填充所述孔洞；

处理单元，根据所述所述填充单元的填充结果更新所述孔洞的孔洞边界信息，再次选取新的目标边界点以及边界边平均长度进行填充，直至所述孔洞填充完毕。

本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的任一项方法。

本发明还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的任一项方法。

通过本发明提供的一种服装三维模型建立方法、系统、存储介质及电子设备，有效提高特征点匹配的精度，在进行服装三维模型重建的过程中能够获得更好的服装细节。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种服装三维模型建立方法、系统、存储介质及电子设备的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种服装三维模型建立方法的一个实施例的流程图；

图2是本发明中利用Mask R-CNN算法进行目标识别的流程图；

图3是本发明一种服装三维模型建立方法的另一个实施例的流程图；

图4是本发明中生成描述子的示意图；

图5是本发明一种服装三维模型建立方法的另一个实施例的流程图；

图6是本发明一个三角形填充孔洞的示意图；

图7是本发明两个个三角形填充孔洞的示意图；

图8是本发明一种服装三维模型建立系统的一个实施例的结构示意图。

具体实施方式

为了能够更加清楚地说明本发明实施例或现有技术中的技术方案，下面将对照说明书附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并且获得其他的实施方式。

为了使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

本发明的一个实施例，如图1所示，一种服装三维模型建立方法，包括：

S100获取对着装状态下服装表面进行拍摄的一组图像序列，所述图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度；

S200对所述图像序列进行目标识别，得到含有服装信息的目标点坐标，根据所述目标点坐标对所述图像序列进行裁剪得到目标图像序列；

S300对所述目标图像序列进行迭代计算得到服装稀疏点云；

S400对所述服装稀疏点云进行稠密重建得到服装稠密点云；

S500若所述服装稠密点云中存在孔洞，则对所述孔洞进行点云插值得到服装三维模型。

具体的，本实施例中，服装二维图像的获取是服装三维重建的第一步，一般情况下，单张图像仅包含服装的部分信息，由于视角和遮挡的原因，导致图像无法清晰完整的包含服装表面所有信息，为了获得更加丰富的信息量就需要对服装表面进行多角度拍摄。单张图像仅包含服装的部分信息，为了获得更加丰富的信息就需要对服装表面进行拍摄获得一组图像序列。获取对着装状态下服装表面进行拍摄的一组图像序列，图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度。例如，当采取SIFT算法作为特征点匹配时，由于SIFT算法本身特点，当相邻两幅图像角度超过30度时，匹配效果会降低。从而拍摄的图像序列至少是12幅。

在服装拍摄的过程中，无法保证相机每次都处于平稳的拍摄状态，有时可能会有些许抖动，导致获取的图像出现模糊的现象，从而影响后续的各种操作。为了提高整个系统重建的精度，服装三维重建之前需要对服装图像先进行预处理---去抖动。图像去抖动就是采用一定的算法对图像进行清晰度还原。

获取的图像序列中会包含大量和服装无关的场景，从而加大图像在特征点提取和匹配中所花时间，因此，对图像序列进行目标识别，得到含有服装信息的目标点坐标，然后根据目标点坐标对图像序列进行裁剪得到目标图像序列。例如，如图2所示，利用Mask R-CNN算法检测图像中服装的坐标信息，将得到的图像序列输入到一个训练好的ResNeXt神经网络中获得对应的feature map；在feature map中的每一像素点设定预设个ROI(Regionsofinterest)值,从而获得更多的ROI；进一步将这些ROI送入RPN网络进行二值分类和BB回归，从而过滤掉一部分ROI；紧接着对剩余的ROI进行ROIAlign操作；最后对ROI进行分类、BB回归以及MASK的生成，从而得到含有服装信息的位置坐标即目标坐标点。

对目标图像序列进行特征点检测和特征点匹配，迭代计算得到服装稀疏点云，然后对服装稀疏点云进行稠密重建得到服装稠密点云，最后对服装稠密点云进行点云插值得到服装三维模型。

其中，服装的稠密重建是使用多视角密集匹配实现(CMVS/PMVS)服装的稠密点云。CMVS(clustering multi-view stereo)通过对图像中聚簇分类可以优化SFM的输入。减少重建过程的运算量同时提高重建准确度。进一步PMVS根据分类后的图像序列和SFM算法过程中求解出的投影矩阵，利用稀疏点云重构结果将点云向周围进行漫射，得到定向点云，同时利用局部广度一致性和全局可见性约束经过匹配、扩展、过滤等过程完成稠密重建过程，建立稠密点云模型。

PVMS(patchbasedmulti-view stereo software，面片重构方法)作为区域增长的方法：先通过匹配在图像中采用Harris角点算法和高斯金字塔算法搜索图像特征t,在其它图像中搜索与t相匹配的图像特征t’,形成一个匹配子集T,利用点对(t,t’)构成三维点云，由点云再生成稀疏面片，然后将其保存在覆盖图像的网格中；然后是扩展，通过迭代算法在已经生成的稀疏面片邻近的空区域中，重复使用点云再生成新的面片，增加重构点的密度，获得稠密点云；最后是过滤，剔除扩展好之后得到的稠密点云中的错误点。扩展和滤波步骤是交替迭代进行，最终得到服装三维稠密点云模型。

检测服装稀疏点云中低于预设密度的目标点云区域，在目标点云区域建立微切平面，从而进行点云插值，最终得到服装三维稠密点云模型。

本发明设定获取的图像序列的任意两幅相邻图像的预设角度，从而在减少待分析的图像数量的同时保证有足够的图像用于图像检测。其次，对图像序列进行目标识别，减少图像中与服装无关的干扰，减小数据处理量，提高系统处理速度。

本发明的另一个实施例，是上述的实施例的优化实施例，如图3所示，本实施例与上述的实施例相比，主要改进在于，S300对所述目标图像序列进行迭代计算得到服装稀疏点云具体包括：

S311选取所述目标图像序列中任意一副图像，通过高斯滤波器构建选取的图像的尺度空间；

S312从所述尺度空间中提取极值点，并剔除边缘效应特征点；

S313根据图像局部梯度信息计算主方向，生成描述子；

S314当两个描述子之间的欧式距离大于预设阈值时，所述两个描述子相互粗匹配；

S315对粗匹配的描述子进行提纯得到匹配点；

S320计算所述目标图像序列中任意两幅相邻图像的匹配点；

S330选取匹配点最多的两幅相邻图像作为初始图像对，对所述初始图像对进行处理得到初始服装三维点云；

S340获取所述初始图像对的相邻图像进行处理，更新所述初始服装三维点云得到中间服装三维点云；

S350逐一获取所述目标图像序列中当前处理的图像的相邻图像进行迭代，直至目标图像序列中所有的图像完成迭代，到服装稀疏点云。

具体的，本实施例中，获取对着装状态下服装表面进行拍摄的一组图像序列，图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度。获取的图像序列中会包含大量和服装无关的场景，从而加大图像在特征点提取和匹配中所花时间，因此，对图像序列进行目标识别，得到含有服装信息的目标点坐标，然后根据目标点坐标对图像序列进行裁剪得到目标图像序列。

选取目标图像序列中任意一副图像，计算这幅图像的高斯滤波器G(a，b，σ，)，

其中，a、b分别代表图像内像素的空间坐标，σ表示为尺度空间因子，其值越小，表示图像越平滑，对应的图像尺度也就越小。根据σ的取值不同，从而得到一组尺度空间。通过高斯滤波器构建选取的图像的尺度空间I(a,b,σ)，I(a,b,σ)＝G(a,b,σ)*M(a,b)，其中，M(a,b)表示为原图像，*表示卷积运算。图像的尺度空间是模仿人眼看物体从近到远的过程。之后对尺度空间的图像进行降采样处理得到原来图像大小二分之一的一组尺度空间，然后继续对降采样之后的尺度空间进行降采样多次，得到O层数据，其中O＝[log₂(min(a,b))]-3。最终得到O层高斯金字塔。为了使算法具有尺度不变性，还需对同一组中不同尺度大小的图像相邻相减得到高斯差分金字塔D(a,b,σ)，

D(a,b,σ)＝((G(a,b,kσ)-G(a,b,σ))*M(a,b))＝I(a,b,kσ)-L(a,b,σ)，其中，k为两相邻尺度空间倍数的常数。

提取DoG(Difference of Gaussian,高斯差分金字塔)极值点，在高斯差分金字塔中寻找极值。若高斯差分金字塔中某一层的一个尺度空间中，一个像素点的位置同时大于或者小于同一尺度中8个位置以及相邻上下两个尺度共18个点位置时，我们将该点称为极值点。进一步，我们将检测到的极值点做泰勒展开式，得到精准极值点位置。

之后，借助Hessian矩阵剔除上述提取的极值点中的边缘效应特征点，若高斯差分金字塔中对a,b的二阶偏导之和与a,b二阶混合偏导的差之间的比值小于给定的阈值，我们称该点为边缘点，应予以去除。

确定关键点的主方向，该关键点为上述去除边缘效应特征点之后剩余的极值点，以关键点为圆心，以该关键点所在的高斯图像的尺度的1.5倍为半径作圆，统计圆内所有的像素的梯度方向及其梯度幅值，根据统计到最多数据的值为该关键点的主方向。

根据关键点确定的主方向生成描述子，如图4所示，先将圆内的16个子区域旋转成和主方向一致。然后统计每个子区域中8个方向上的数值，依次组成一个含有128维度的向量。

计算任意两个描述子之间的欧式距离

其中，Mi＝(Mi1,…Mi128)为其中一幅图像中的某一描述子向量，Ni＝(Ni1…Ni128)为与该图像待匹配图像中的描述子向量。当欧式距离小于预设阈值时，判定相应的两个描述子相互粗匹配，也就是将两个描述子相互之间的欧式距离小于预设阈值的状态定义为粗匹配。由于粗匹配的过程中欧式距离只计算了两个向量之间的距离，但忽略了各个向量之间的相关性，所以在此过程会出现大量的误差匹配点，从而导致数据的冗余。加入切比雪夫距离并设定一定阈值作为约束从而过滤一部分误差匹配点，切比雪夫距离相比于欧式距离加入了更多维度的对比让得到的数据更加符合精确。进一步再引入余弦相似度作为匹配约束，根据余弦相似度检验粗匹配中的两个特征向量之间的相关性，任意两个描述子Xx(Xx1,Xx2,Xx3,Xx4,…Xx128)与Xy(Xy1,Xy2…,Xy128)的余弦相似度计算如下：

余弦值越接近0的时候，说明特征不相关，即为误差匹配点。最后通过Ransac作最后的提纯，得到最佳匹配点。

按照上述方法计算目标图像序列中任意两幅相邻图像的匹配点，选取匹配点最多的两幅相邻图像作为初始图像对。通过计算得到初始的相机运动轨迹以及服装表面的结构信息，同时通过两幅图像初始图像对之间的匹配对的三角测量可以得到初始服装三维点云，由于初始两幅图像视角有限，所以得到点云只是服装表面的一部分。然后逐步加入近邻的图像进行迭代计算得到更多的相机轨迹以及服装表面信息。最后通过束调整(bundleadjustment,BA)来进行参数优化得到服装稀疏点云。

对服装稀疏点云进行稠密重建得到服装稠密点云，最后对服装稠密点云进行点云插值得到服装三维模型。

本发明通过生成描述子进行粗匹配，然后再进行提纯从而计算图像的匹配点，进一步确保得到的匹配点的准确度，便于通过图像序列建立服装稀疏点云。

本发明的另一个实施例，是上述的实施例的优化实施例，如图5所示，本实施例与上述的实施例相比，主要改进在于，S500若所述服装稠密点云中存在孔洞，则对所述服装稠密点云进行点云插值得到服装三维模型具体包括：

S510检测所述服装稠密点云中的孔洞；

S520若所述服装稠密点云中存在孔洞，则选取任意一个孔洞，获取孔洞边界信息；

S530根据所述孔洞边界信息计算目标边界点以及边界边平均长度，所述目标边界点为相邻边界边的夹角最小的点；

S540计算所述目标边界点的两个相邻边界点之间的目标距离；

S550当所述目标距离的一半小于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，形成一个三角形填充所述孔洞；

S560当所述目标距离的一半大于等于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，同时连接所述目标边界点与所述目标边界边的中点，形成两个三角形填充所述孔洞；

S570更新所述孔洞的孔洞边界信息，再次选取新的目标边界点以及边界边平均长度进行填充，直至所述孔洞填充完毕。

具体的，本实施例中，获取对着装状态下服装表面进行拍摄的一组图像序列，图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度。获取的图像序列中会包含大量和服装无关的场景，从而加大图像在特征点提取和匹配中所花时间，因此，对图像序列进行目标识别，得到含有服装信息的目标点坐标，然后根据目标点坐标对图像序列进行裁剪得到目标图像序列。

对目标图像序列进行特征点检测和特征点匹配，迭代计算得到服装稀疏点云，然后对服装稀疏点云进行稠密重建得到服装稠密点云，经过以上稠密重建可以得到较为完好的服装三维模型，但是，由于服装极易褶皱的特点，使得服装表面有较多的孔洞，这些孔洞较多，但每个孔洞比较小。基于服装孔洞的这些特性，通过查找孔洞位置以及对位置的孔洞点进行插值，从而获得连续光滑的表面。

服装稠密点云为若干个三角网格建立而成，由于三角网格是由一系列顶点以及由这些顶点所构成的边构成，由三角面片可以得到网格的边。一般而言，一条边连接两个三角面片，这种边可以称为网格内部边，而如果某条边只连接一个三角面片，那么称这条边为网格边界边，所有的边界边按顺序连接之后就形成了网格的孔洞。

对服装稠密点云进行孔洞检测，如果检测到服装稠密点云中存在孔洞，则任意选取其中一个孔洞进行填充，作为解释说明，其余的孔洞填充方法完全相同。获取孔洞边界信息，包括边界点和边界边，根据孔洞边界信息计算目标边界点以及边界边平均长度，其中目标边界点为相邻边界边的夹角最小的边界点，即计算每个边界点的两条相邻边的夹角大小，其中最小夹角对应的边界点为目标边界点。

计算目标边界点的两个相邻边界点之间的目标距离，当目标距离的一半小于边界边平均长度，则连接目标边界点的两个相邻边界点作为目标边界边(图6中的虚线)，形成一个三角形填充孔洞，减少了原有的两条边界边，新增了一条新的边界边，如图6所示。当目标距离的一半大于等于边界边平均长度，则连接目标边界点的两个相邻边界点作为目标边界边，同时连接目标边界点与目标边界边的中点(图7中的虚线)，形成两个三角形填充孔洞，减少了原有的两条边界边，新增了两条新的边界边，增加了一个新的边界点，如图7所示。

按照上述填充孔洞之后孔洞对应的边界点和边界边发生变化，因此更新孔洞的孔洞边界信息，再次选取新的目标边界点以及边界边平均长度，按照上述步骤形成三角形进行填充，直至该孔洞填充完毕。重复步骤将服装稠密点云中所有的孔洞填充完毕。之后，可以通过最小二乘网格优化网格顶点的位置，生成高质量的光滑网格，最终得到服装三维模型。

本发明采用最小角度法进行网格修补，使得孔洞填充简单、健壮，之后通过最小二乘网格优化网格顶点的位置，最终得到高质量的服装三维模型。

本发明的一个实施例，如图8所示，一种服装三维模型建立系统1000，包括：

图像获取模块1100，获取对着装状态下服装表面进行拍摄的一组图像序列，所述图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度；

目标识别模块1200，对所述图像获取模块1100获取的所述图像序列进行目标识别，得到含有服装信息的目标点坐标，根据所述目标点坐标对所述图像序列进行裁剪得到目标图像序列；

计算模块1300，对所述目标识别模块1200得到的所述目标图像序列进行迭代计算得到服装稀疏点云；

所述计算模块1300具体包括：

匹配点计算单元1310，计算所述目标图像序列中任意两幅相邻图像的匹配点；

所述匹配点计算单元1310具体包括：

空间构建子单元1311，选取所述目标图像序列中任意一副图像，通过高斯滤波器构建选取的图像的尺度空间；

提取子单元1312，从所述空间构建子单元1311得到的所述尺度空间中提取极值点，并剔除边缘效应特征点；

生成子单元1313，对所述提取子单元1312得到的极值点根据图像局部梯度信息计算主方向，生成描述子；

匹配子单元1314，当所述生成子单元1313生成的两个描述子之间的欧式距离大于预设阈值时，所述两个描述子相互粗匹配；

提纯子单元1315，对所述匹配子单元1314粗匹配的描述子进行提纯得到匹配点；

计算单元1320，选取所述匹配点计算单元1310计算的匹配点最多的两幅相邻图像作为初始图像对，对所述初始图像对进行处理得到初始服装三维点云；

所述计算单元1320，获取所述初始图像对的相邻图像进行处理，更新所述初始服装三维点云得到中间服装三维点云；

所述计算单元1320，逐一获取所述目标图像序列中当前处理的图像的相邻图像进行迭代，直至目标图像序列中所有的图像完成迭代，得到服装稀疏点云；

稠密重建模块1400，对所述计算模块1300得到的所述服装稀疏点云进行稠密重建得到服装稠密点云；

插值模块1500，对所述稠密重建模块1400得到的所述服装稠密点云进行点云插值得到服装三维模型；

所述插值模块1500具体包括：

检测单元1510，检测所述服装稠密点云中的孔洞；

信息获取单元1520，若所述检测单元1510检测到所述服装稠密点云中存在孔洞，则选取所述检测单元1510得到的任意一个孔洞，获取孔洞边界信息；

参数计算单元1530，根据所述信息获取单元1520获取的所述孔洞边界信息计算目标边界点以及边界边平均长度，所述目标边界点为相邻边界边的夹角最小的点；

所述参数计算单元1530，计算所述目标边界点的两个相邻边界点之间的目标距离；

填充单元1540，当所述参数计算单元1530得到的所述目标距离的一半小于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，形成一个三角形填充所述孔洞；

所述填充单元1540，当所述参数计算单元1530得到的所述目标距离的一半大于等于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，同时连接所述目标边界点与所述目标边界边的中点，形成两个三角形填充所述孔洞；

处理单元1550，根据所述所述填充单元1540的填充结果更新所述孔洞的孔洞边界信息，再次选取新的目标边界点以及边界边平均长度进行填充，直至所述孔洞填充完毕。

具体地，本实施例中各模块的执行步骤在相应的方法实施例中以进行详细说明，因此不再进行一一解释。

本发明的一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一实施例中的所有方法步骤或部分方法步骤。

本发明实现上述的实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明的一个实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一实施例中的所有方法步骤或部分方法步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种服装三维模型建立方法，其特征在于，包括：

获取对着装状态下服装表面进行拍摄的一组图像序列，所述图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度；

对所述图像序列进行目标识别，得到含有服装信息的目标点坐标，根据所述目标点坐标对所述图像序列进行裁剪得到目标图像序列；

对所述目标图像序列进行迭代计算得到服装稀疏点云；

对所述服装稀疏点云进行稠密重建得到服装稠密点云；

若所述服装稠密点云中存在孔洞，则对所述孔洞进行点云插值得到服装三维模型；

对所述目标图像序列进行迭代计算得到服装稀疏点云具体包括：

计算所述目标图像序列中任意两幅相邻图像的匹配点；

选取匹配点最多的两幅相邻图像作为初始图像对，对所述初始图像对进行处理得到初始服装三维点云；

获取所述初始图像对的相邻图像进行处理，更新所述初始服装三维点云得到中间服装三维点云；

逐一获取所述目标图像序列中当前处理的图像的相邻图像进行迭代，直至目标图像序列中所有的图像完成迭代，得到服装稀疏点云；

计算所述目标图像序列中任意两幅相邻图像的匹配点具体包括：

选取所述目标图像序列中任意一副图像，通过高斯滤波器构建选取的图像的尺度空间；

从所述尺度空间中提取极值点，并剔除边缘效应特征点；

根据图像局部梯度信息计算主方向，生成描述子；

当两个描述子之间的欧式距离大于预设阈值时，所述两个描述子相互粗匹配；

对粗匹配的描述子进行提纯得到匹配点。

2.根据权利要求1所述的服装三维模型建立方法，其特征在于，若所述服装稠密点云中存在孔洞，则对所述孔洞进行点云插值得到服装三维模型具体包括：

检测所述服装稠密点云中的孔洞；

若所述服装稠密点云中存在孔洞，则选取任意一个孔洞，获取孔洞边界信息；

根据所述孔洞边界信息计算目标边界点以及边界边平均长度，所述目标边界点为相邻边界边的夹角最小的边界点；

计算所述目标边界点的两个相邻边界点之间的目标距离；

当所述目标距离的一半小于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，形成一个三角形填充所述孔洞；

当所述目标距离的一半大于等于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，同时连接所述目标边界点与所述目标边界边的中点，形成两个三角形填充所述孔洞；

更新所述孔洞的孔洞边界信息，再次选取新的目标边界点以及边界边平均长度进行填充，直至所述孔洞填充完毕。

3.一种服装三维模型建立系统，其特征在于，包括：

图像获取模块，获取对着装状态下服装表面进行拍摄的一组图像序列，所述图像序列的任意两幅相邻图像的拍摄角度小于等于预设角度；

目标识别模块，对所述图像获取模块获取的所述图像序列进行目标识别，得到含有服装信息的目标点坐标，根据所述目标点坐标对所述图像序列进行裁剪得到目标图像序列；

计算模块，对所述目标识别模块得到的所述目标图像序列进行迭代计算得到服装稀疏点云；

稠密重建模块，对所述计算模块得到的所述服装稀疏点云进行稠密重建得到服装稠密点云；

插值模块，若所述服装稠密点云中存在孔洞，则对所述稠密重建模块得到的所述服装稠密点云进行点云插值得到服装三维模型；

所述计算模块具体包括：

匹配点计算单元，计算所述目标图像序列中任意两幅相邻图像的匹配点；

计算单元，选取所述匹配点计算单元计算的匹配点最多的两幅相邻图像作为初始图像对，对所述初始图像对进行处理得到初始服装三维点云；

所述计算单元，获取所述初始图像对的相邻图像进行处理，更新所述初始服装三维点云得到中间服装三维点云；

所述计算单元，逐一获取所述目标图像序列中当前处理的图像的相邻图像进行迭代，直至目标图像序列中所有的图像完成迭代，得到服装稀疏点云；

所述匹配点计算单元具体包括：

空间构建子单元，选取所述目标图像序列中任意一副图像，通过高斯滤波器构建选取的图像的尺度空间；

提取子单元，从所述空间构建子单元得到的所述尺度空间中提取极值点，并剔除边缘效应特征点；

生成子单元，对所述提取子单元得到的极值点根据图像局部梯度信息计算主方向，生成描述子；

匹配子单元，当所述生成子单元生成的两个描述子之间的欧式距离大于预设阈值时，所述两个描述子相互粗匹配；

提纯子单元，对所述匹配子单元粗匹配的描述子进行提纯得到匹配点。

4.根据权利要求3所述的服装三维模型建立系统，其特征在于，所述插值模块具体包括：

检测单元，检测所述服装稠密点云中的孔洞；

信息获取单元，若所述检测单元检测到所述服装稠密点云中存在孔洞，则选取所述检测单元得到的任意一个孔洞，获取孔洞边界信息；

参数计算单元，根据所述信息获取单元获取的所述孔洞边界信息计算目标边界点以及边界边平均长度，所述目标边界点为相邻边界边的夹角最小的点；

所述参数计算单元，计算所述目标边界点的两个相邻边界点之间的目标距离；

填充单元，当所述参数计算单元得到的所述目标距离的一半小于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，形成一个三角形填充所述孔洞；

所述填充单元，当所述参数计算单元得到的所述目标距离的一半大于等于所述边界边平均长度，则连接所述目标边界点的两个相邻边界点作为目标边界边，同时连接所述目标边界点与所述目标边界边的中点，形成两个三角形填充所述孔洞；

处理单元，根据所述所述填充单元的填充结果更新所述孔洞的孔洞边界信息，再次选取新的目标边界点以及边界边平均长度进行填充，直至所述孔洞填充完毕。

5.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至2任一项所述的方法。

6.一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至2任一项所述的方法。

Images