CN110490973A - 一种模型驱动的多视图鞋模型三维重建方法 - Google Patents

Abstract

本发明提供一种模型驱动的多视图鞋模型三维重建方法，包括：选取初始模型；提取相同拍摄角度下的初始模型掩膜图像的轮廓与待恢复鞋图片掩膜的轮廓；获取单视图片网格变形结果；获取每一视图网格变形结果，进行联合优化获取变形最终结果；求取相同拍摄角度下鞋图片与模型图片的交集作为映射像素，将图像颜色反投影到该相机参数下所有可见顶点，通过计算重合部分取中位数并填充孔洞部分，得到最终纹理映射的鞋模型。本发明根据视频中人物的行走姿势预估出视频中鞋图片呈现角度，进而调整鞋模型到该角度产生相同角度鞋图片，是图像匹配的辅助工作，可大大减少了由于视角不同引起的误差，提高准确率。

Description

一种模型驱动的多视图鞋模型三维重建方法

技术领域

本发明涉及图像检索技术领域，具体而言，尤其涉及一种模型驱动的多视图鞋模型三维重建方法。

背景技术

利用多视图进行三维重建，现有技术包含三种方法：

(1)X恢复形状法。输入的是单视点的单幅或多幅图像,则主要通过图像的二维特征(用X表示)来推导出场景或物体的深度信息,这些二维特征包括明暗度、纹理、焦点、轮廓等。这种方法设备简单，使用单幅或少数几张图像就可以重建出物体的三维模型；但是通常要求的条件比较理想化,与实际应用情况不符，重建效果也一般。

(2)从运动恢复结构法SFM(Structure from Motion)。输入多视点的多幅图像，通过匹配不同图像中的相同特征点,利用匹配约束求取空间三维点的坐标信息,从而实现三维重建。这种方法可以满足大规模场景三维重建的需求，且在图像资源丰富的情况下重建效果较好，但是运算量较大,重建时间较长。

(3)利用深度学习进行三维重建的方法。输入一类物体的单视图图像和对应的深度信息或者网格，输入到网络中学习图像与对应网格或者对应深度信息的特征，进而生成模型，利用生成模型可进行该类物体单视图的三维重建。这种方法需要重建的物体类大量的图片和对应的网格或者深度信息，一般适用于桌子椅子之类简单物体，若不存在大量重建物体的图片与对应的网格和深度信息，人工标注过程繁重，且重建效果粗糙，重建周期漫长，且需要耗费大量人力物力。

在公安刑侦领域，刑侦人员一般是通过案发现场鞋印图片寻找到鞋样库中同款鞋，再通过鞋样库中几个固定角度鞋图片搜索监控视频中出现的任意角度鞋图片，查找嫌疑人。但是由于一双鞋呈现角度不同，姿态外形差距很大，造成匹配不准确。

发明内容

根据上述提出鞋样重建不准确的的技术问题，而提供一种模型驱动的多视图鞋模型三维重建方法。本发明主要利用多视图基于已有模型进行鞋的三维重建，为在视频中准确搜索到同款鞋做准备。

本发明采用的技术手段如下：

一种模型驱动的多视图鞋模型三维重建方法，步骤包括：

根据鞋图像估计相机外参数设置相机位置，以产生该相机参数下的模型图像；

提取模型图像与对应角度鞋图像的掩膜图像；

计算左脚外侧鞋图像与对应的模型图像的轮廓相似性来选取与待恢复鞋图片最相近的鞋模型作为初始模型；

提取单张模型掩膜图像轮廓与对应的鞋掩膜图像轮廓，计算两个图像轮廓点间的距离，并记录所述轮廓中每一个点的位置以及每个点的外法向量；

使用模型轮廓点与图像轮廓点间的距离与对应的外法线的点积项作为能量函数，依据最小化能量函数准则得到每个模型轮廓点变形到的图像轮廓点；

使用薄板样条方法将对应关系插值到整个边界中，根据能量最小化准则获取单视图片网格变形结果；

其余角度鞋图像根据上述单视图变形步骤得到每个视图网格变形结果，得到的每个网格变形结果根据拍摄角度设置置信度，联合优化最终网格变形结果；

使用鞋图像求取每张鞋图片与对应角度的模型图片的交集作为映射像素，设定连接顶点与相机的连线与相机平面之间的夹角大于阈值的顶点为可见顶点，将图像颜色反投影到该相机参数下所有可见顶点，通过计算重合部分取中位数并填充孔洞部分，得到最终纹理映射的鞋模型。

进一步地，所述鞋图像包含待恢复鞋图片左脚外侧图像与其他拍摄角度鞋图像；所述模型图像为在模型库中挑选出的最适合鞋模型的左脚外侧鞋模型图像与其他角度鞋模型图像。

进一步地，所述待恢复鞋图片中包括左脚外侧鞋图片，以及4到8张不同角度拍摄的鞋照片。

进一步地，所述相机参数包括外参数，所述外参数包括旋转向量rt＝(px,py,pz)，其中，px表示镜头不平移且绕x轴做的俯仰旋转角度；py表示镜头不平移且绕垂直轴y轴做的左右摇头旋转角度；pz表示镜头不平移且绕z轴做的顺时针或者逆时针旋转角度，且px,py,pz的取值范围均为[0,360°]；

所述旋转向量的估计包括：

分别以第一固定步长对px、py及pz进行采样提取鞋模型照片轮廓，基于Hu矩计算模型图片轮廓与鞋图片轮廓相似度，选取鞋模型轮廓中最相似的轮廓所对应的旋转向量作为每一张鞋图像的rt的粗略估计结果；

以rt的粗略估计结果为中心、以小于所述第一固定步长的第二固定步长向两侧各进行数值采样，得到的模型图片轮廓与鞋图片轮廓进行轮廓相似性运算，以轮廓相似度最好的模型图像对应的旋转向量作为每一张鞋图像rt的精确估计结果。

进一步地，所述外参数还包括平移向量t＝(tx、ty、tz)，其中tx表示沿着水平方向相机的移动距离；ty表示沿着垂直方向相机的移动距离；tz表示沿着前后方向相机的移动距离；

所述平移向量的估计包括：

以第三固定步长对平移向量进行调整，直至所呈现的模型图片轮廓与鞋图片轮廓大小完全一致，以此时的平移向量为该图片的平移向量。

较现有技术相比，本发明具有以下优点：

本发明可利用多视图基于已有模型进行鞋的三维重建，为在监控视频中准确搜索同款鞋做准备，可减少由于不同视角进行匹配而造成的误差，作为减少搜索误差的准备工作。

基于上述理由本发明可在刑侦技术等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2a为实施例中鞋图像示例。

图2b为本施例中模型图像示例。

图2c为本施例中轮廓图像示例。

图2d为本施例中变形图像示例。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种模型驱动的多视图鞋模型三维重建方法，步骤包括：

设置每张鞋图片的相机内参数，同时估计相机外参数。具体地，所述相机外参数包括旋转向量rt＝(px,py,pz)，其中，px表示镜头不平移且绕x轴做的俯仰旋转角度；py表示镜头不平移且绕垂直轴y轴做的左右摇头旋转角度；pz表示镜头不平移且绕z轴做的顺时针或者逆时针旋转角度，且px,py,pz的取值范围均为[0,360°]；

所述旋转向量的估计包括：

分别以第一固定步长对px、py及pz进行采样提取初始模型照片轮廓，选取初始模型轮廓中最相似的轮廓所对应的旋转向量作为每一张鞋图像的rt的粗略估计结果；

以rt的粗略估计结果为中心、以小于所述第一固定步长的第二固定步长向两侧各进行数值采样，得到的模型图片轮廓进行轮廓相似性运算，以轮廓相似度最好的图像对应的旋转向量作为每一张鞋图像rt的精确估计结果。

相机外参数还包括平移向量t＝(tx、ty、tz)，其中tx表示沿着水平方向相机的移动距离；ty表示沿着垂直方向相机的移动距离；tz表示沿着前后方向相机的移动距离；

所述平移向量的估计包括：

以第三固定步长对平移向量进行调整，直至所呈现的模型图片轮廓与鞋图片轮廓大小完全一致，以此时的平移向量为该图片的平移向量。

根据相机外参数调整初始模型角度得到初始模型掩膜图像；

计算左脚外侧鞋图像与对应的模型图像的轮廓相似性来选取与待恢复鞋图片最相近的鞋模型作为初始模型；

提取单张掩膜图像轮廓与对应角度的鞋掩膜图像轮廓，计算两个图像轮廓点间的距离，并记录所述轮廓中每一个点的位置以及每个点的外法向量；

使用模型轮廓点与图像轮廓点间的距离与对应的外法线的点积项作为能量函数，最小化能量函数得到模型轮廓点变形到的图像轮廓点；

使用薄板样条方法将对应关系插值到整个边界中，根据能量最小化准则获取单视图片网格变形结果；

其余角度鞋图像根据单视图变形步骤得到每个视图网格变形结果，得到的每个网格变形结果根据拍摄角度设置置信度，联合优化最终网格变形结果；

使用鞋图像求取每张鞋图片与对应角度的模型图片的交集作为映射像素，顶点与相机之间的连线与相机平面之间的夹角大于阈值的顶点为可见顶点，将图像颜色反投影到该相机参数下所有可见顶点，通过计算重合部分取中位数并填充孔洞部分，得到最终纹理映射的鞋模型。

下面通过一个具体的应用实例，对本发明的技术做进一步说明：

构建鞋模型图库

从3D网站获取20类形态不一的运动鞋或者皮鞋模型。同时，从网上抓取近万只鞋的鞋图片，每张图片中含有一只鞋，每只鞋含有左脚外侧图像和4到8张从各个角度拍摄的照片，构建鞋图库。对于模型库中的鞋模型，分别采集与鞋图片相同拍摄角度的鞋模型图像，相同拍摄角度的鞋图片与模型图片一一对应。

对每一张鞋图片进行相机外参数估计

1.固定每张鞋图片的相机内参数。相机参数包括相机的内参数向量和外参数向量，内参数向量由相机来决定的，不会因为外界环境而改变，包含焦距和畸变信息。由于鞋大多出现在鞋图片正中心位置，且鞋在图片中出现的尺寸较大，作为较佳的实施方式，设置拍摄鞋图片的相机内参矩阵相同且固定畸变向量k＝(0,0,0,0,0),焦距向量设置为经验值f＝(2664,2664)。

相机外参向量矩阵包含旋转向量rt＝(px,py,pz)

px表示镜头不平移，但是绕x轴做俯仰旋转；

py表示镜头不平移，但是绕垂直轴y轴做左右摇头旋转；

pz表示镜头不平移，但是绕z轴做顺时针(或者逆时针)旋转。

三个轴的平移向量t＝(tx、ty、tz)

tx表示沿着水平方向移动相机；

ty表示沿着垂直方向移动相机；

tz表示沿着前后方向移动相机

px,py,pz的取值范围是[0-360°]单位为角度，代表旋转角度范围。

2.进行相机外参数旋转向量的估计

作为本发明较佳的实施方式，px,py,pz分别以36°为步长进行采样，生成10*10*10张初始模型照片，提取初始模型照片轮廓，每一张鞋图片轮廓作为查询图像，在生成的1000张初始模型轮廓中查找最相似的轮廓所对应的旋转向量rt，作为每一张鞋图像的rt的粗略估计。

对于每一张鞋图片以上一步为每张鞋图片估计的粗略rt数值为中心，以π/25为步长向两侧各进行数值采样5次，得到旋转向量rt下的模型的图片轮廓，再次进行轮廓相似性度量，查找最相似的轮廓所对应的旋转向量rt，作为每一张鞋图像rt的精确估计。

3.进行相机外参数平移向量的估计

平移向量t(tx、ty、tz)分别代表相机在x轴y轴z轴上的移动距离，估计出每张鞋图片精确地旋转向量rt后，能够得到和拍摄鞋图片相同角度下的鞋模型图片，但是两者呈现的鞋大小还不一致，需要调整平移向量t来改变相机距离物体的远近，使得模型在此相机外参向量下所呈现的模型图片与鞋图片大小角度完全一致。对于每张鞋图片，平移向量数值以分别以0.2为步长进行调整，直至所呈现的模型图片轮廓与鞋图片轮廓大小完全一致。此时的平移向量为该图片的平移向量

寻找模型库中最适模型

利用opencv中matchShapes函数计算左脚外侧鞋图像与相对应的模型图像的轮廓相似性来选取与待恢复鞋图片最相近的鞋模型作为初始模型。

matchShapes()函数基于Hu矩计算轮廓相似度，结果越小匹配度越高。轮廓比较的方法公式如下：

和是A和B的Hu矩。

网格变形部分

1.由于从模型库中选取的初始模型与鞋图片外观相似，但不绝对一致，因此本部分将根据左脚外侧图片轮廓微调模型，使得模型与鞋图片外观尽可能一致。

2.对于模型H，利用左脚外侧图像估计出的相机外参数，调整模型至该角度下，得到模型的掩膜图像，在模型图掩膜图像边界与鞋图像掩膜图像边界(M^H/M^I)上，采样200/700个点{P^H/P^I}，对于边界点P_i ^H/P_j ^I,每一个点在图像中的位置记做p_i ^H/p_j ^I，每个点的外法向量记做n_i ^H/n_j ^I，这里所有的向量都为2D。

在输入图像(图2a)与模型图像(图2b)之间计算边界对应关系(图2c)，然后将对应项插值到整个头发区域，在此基础上计算初始模型的变形得到变形图(图2d)。

4.计算点到点的对应关系M({P^H}->{P^I})来匹配边界，E_P对每对对应位置和法线之间的距离进行惩罚

利用隐马尔科夫模型(HMM)框架下的维特比算法最小化Ep，把{P^H}和{P^I}把作为状态矩阵和观测矩阵，通过扩展成状态和观测，映射关系M({P^H}->{P^I})的结果是Trellistable的最优路径。在HMM框架中，将点和边缘匹配能量转换成发射和转移概率，并将初始状态设置最左侧点。

5.将对应关系插值到整个边界中

使用薄板样条(TPS)方法，经过全局平滑函数W(M^H->M^I)进一步将边界对应关系插入到掩膜图像M^H中，优化如下能量函数得到变形后位置

是点在I中的对应的位置，为根据映射关系M得到的在I中的位置坐标。

6.单视图三维网格变形

通过最小化以下能量将候选鞋模型H中的每个顶点v变形为v′：

v_H是H的顶点集，W(v_i)是v_i的对应位置，XY坐标由W弯曲，同时保持Z坐标不变。

Δ是基于余切公式的离散网格拉普拉斯算子，δ_i是原始模型H中顶点v_i的拉普拉斯坐标的大小。权重λ_s被设置为1。第一项通过W测量顶点位置与其变形目标之间的平方距离和，第二项是拉普拉斯正则化项，目的是保留原始形状的局部几何特征。使用不精确的牛顿高斯法可以使能量最小化。得到根据单视图图片进行网格变形的结果。

7.多视图三维网格变形

利用单视图进行网格变形的公式，对于多视图变形网格，同一个网格点在不同视图中变形后的位置可能不一样，这里根据侧视图更能反映一个鞋的网格结构，对于同一定点在不同视图中位置不统一，这里设置侧视图置信度较大，顶点的位置确定为根据侧视图变形后的位置。

纹理映射部分

1.根据每一张鞋图像估计的相机外参结果，设置相机位置，产生该相机参数下模型的图片，求取该鞋图片与模型图片的交集作为映射像素，顶点与相机之间的连线与相机平面之间的夹角大于阈值的顶点为可见顶点，利用openDR库函数，将图像颜色反投影到该相机参数下所有可见顶点，最后通过计算重合部分取中位数，孔洞部分填充，得到最终纹理映射的鞋模型。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种模型驱动的多视图鞋模型三维重建方法，其特征在于，步骤包括：

根据鞋图像估计相机外参数设置相机位置，以产生该相机参数下的模型图像；

提取模型图像与对应角度鞋图像的掩膜图像；

计算左脚外侧鞋图像与对应的模型图像的轮廓相似性来选取与待恢复鞋图片最相近的鞋模型作为初始模型；

提取单张模型掩膜图像轮廓与对应的鞋掩膜图像轮廓，计算两个图像轮廓点间的距离，并记录所述轮廓中每一个点的位置以及每个点的外法向量；

使用模型轮廓点与图像轮廓点间的距离与对应的外法线的点积项作为能量函数，依据最小化能量函数准则得到每个模型轮廓点变形到的图像轮廓点；

使用薄板样条方法将对应关系插值到整个边界中，根据能量最小化准则获取单视图片网格变形结果；

其余角度鞋图像根据上述单视图变形步骤得到每个视图网格变形结果，得到的每个网格变形结果根据拍摄角度设置置信度，联合优化最终网格变形结果；

使用鞋图像求取每张鞋图片与对应角度的模型图片的交集作为映射像素，设定连接顶点与相机的连线与相机平面之间的夹角大于阈值的顶点为可见顶点，将图像颜色反投影到该相机参数下所有可见顶点，通过计算重合部分取中位数并填充孔洞部分，得到最终纹理映射的鞋模型。

2.根据权利要求1所述的模型驱动的多视图鞋模型三维重建方法，其特征在于，所述鞋图像包含待恢复鞋图片左脚外侧图像与其他拍摄角度鞋图像；所述模型图像为在模型库中挑选出的最适合鞋模型的左脚外侧鞋模型图像与其他角度鞋模型图像。

3.根据权利要求1所述的模型驱动的多视图鞋模型三维重建方法，其特征在于，所述待恢复鞋图片中包括左脚外侧鞋图片，以及4到8张不同角度拍摄的鞋照片。

4.根据权利要求1所述的模型驱动的多视图鞋模型三维重建方法，其特征在于，所述相机参数包括外参数，所述外参数包括旋转向量rt＝(px,py,pz)，其中，px表示镜头不平移且绕x轴做的俯仰旋转角度；py表示镜头不平移且绕垂直轴y轴做的左右摇头旋转角度；pz表示镜头不平移且绕z轴做的顺时针或者逆时针旋转角度，且px,py,pz的取值范围均为[0,360°]；

所述旋转向量的估计包括：

分别以第一固定步长对px、py及pz进行采样提取鞋模型照片轮廓，基于Hu矩计算模型图片轮廓与鞋图片轮廓相似度，选取鞋模型轮廓中最相似的轮廓所对应的旋转向量作为每一张鞋图像的rt的粗略估计结果；

以rt的粗略估计结果为中心、以小于所述第一固定步长的第二固定步长向两侧各进行数值采样，得到的模型图片轮廓与鞋图片轮廓进行轮廓相似性运算，以轮廓相似度最好的模型图像对应的旋转向量作为每一张鞋图像rt的精确估计结果。

5.根据权利要求4所述的模型驱动的多视图鞋模型三维重建方法，其特征在于，所述外参数还包括平移向量t＝(tx、ty、tz)，其中tx表示沿着水平方向相机的移动距离；ty表示沿着垂直方向相机的移动距离；tz表示沿着前后方向相机的移动距离；

所述平移向量的估计包括：

以第三固定步长对平移向量进行调整，直至所呈现的模型图片轮廓与鞋图片轮廓大小完全一致，以此时的平移向量为该图片的平移向量。