CN112017276B - 一种三维模型构建方法、装置以及电子设备 - Google Patents
一种三维模型构建方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN112017276B CN112017276B CN202010870385.2A CN202010870385A CN112017276B CN 112017276 B CN112017276 B CN 112017276B CN 202010870385 A CN202010870385 A CN 202010870385A CN 112017276 B CN112017276 B CN 112017276B
- Authority
- CN
- China
- Prior art keywords
- model
- dimensional
- dimensional shoe
- models
- shoe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 61
- 230000000875 corresponding effect Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 44
- 230000002596 correlated effect Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 2
- 210000002683 foot Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000013519 translation Methods 0.000 description 10
- 210000000544 articulatio talocruralis Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 5
- 210000003371 toe Anatomy 0.000 description 5
- 210000001142 back Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请公开了一种三维模型构建方法、装置以及电子设备，涉及图像和深度学习技术领域，可应用于虚拟试鞋场景。具体实现方案为：进行鞋子分类得到N个类别；构建每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型；基于待试鞋子的二维图像、平均模型以及M个第一三维鞋子模型中每个第一三维鞋子模型与平均模型之间的残差，确定待试鞋子的目标三维鞋子模型，M为整数且M≤N。先需要进行鞋子分类，对每个不同类别建立第一三维鞋子模型，即考虑了不同类别鞋子的影响，而且还考虑了平均模型以及M个第一三维鞋子模型中每个第一三维鞋子模型与平均模型之间的残差，从而可提高目标三维鞋子模型的准确性。
Description
技术领域
本申请涉及计算机技术中的图像和深度学习技术领域，尤其涉及一种三维模型构建方法、装置以及电子设备。
背景技术
随着互联网技术的发展，线上购物日益成为一种主要购物方式，为消费者带来了方便。例如，消费者购买鞋类产品过程中，消费者浏览商家在线上展示的鞋类产品的图片，选择需要购买的鞋子。或者，有的商家上线鞋子的三维模型，消费者可通过浏览鞋子的三维模型，以选择需要购买的鞋子。
发明内容
本申请提供一种三维模型构建方法、装置和电子设备。
第一方面，本申请一个实施例提供一种三维模型构建方法，所述方法包括：
进行鞋子分类，得到N个类别，N为大于1的整数；
构建所述N个类别中每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型；
基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型，其中，所述平均模型为所述M个第一三维鞋子模型的平均模型，所述M为整数且M≤N。
本申请实施例的三维模型构建方法，由于不同类别鞋子之间的差异较大，首先需要进行鞋子分类，对每个类别建立对应的第一三维鞋子模型，得到N个第一三维鞋子模型，然后基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型，即在确定待试鞋子的目标三维鞋子模型过程中，首先需要进行分类，对每个不同类别建立第一三维鞋子模型，即考虑了不同类别鞋子的影响，而且还考虑了平均模型以及M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，从而可提高待试鞋子的目标三维鞋子模型的准确性。
第二方面，本申请一个实施例提供一种三维模型构建装置，所述装置包括：
分类模块，用于进行鞋子分类，得到N个类别，N为大于1的整数；
模型构建模块，用于构建所述N个类别中每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型；
确定模块，用于基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型，其中，所述平均模型为所述M个第一三维鞋子模型的平均模型，所述M为整数且M≤N。
本申请实施例的三维模型构建装置，由于不同类别鞋子之间的差异较大，首先需要进行鞋子分类，对每个类别建立对应的第一三维鞋子模型，得到N个第一三维鞋子模型，然后基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型，即在确定待试鞋子的目标三维鞋子模型过程中，首先需要进行分类，对每个不同类别建立第一三维鞋子模型，即考虑了不同类别鞋子的影响，而且还考虑了平均模型以及M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，从而可提高待试鞋子的目标三维鞋子模型的准确性。
第三方面，本申请一个实施例还提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请各实施例提供的方法。
第四方面，本申请一个实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请各实施例提供的方法。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请提供的一个实施例的三维模型构建方法的流程示意图之一；
图2是本申请提供的一个实施例的三维模型构建方法的流程示意图之二；
图3是本申请提供的一个实施例的三维模型构建方法的流程示意图之三；
图4是一个待试鞋子的二维图像的示意图；
图5是另一个待试鞋子的二维图像的示意图；
图6是本申请提供的一个实施例的三维模型构建装置的模块示意图之一；
图7是本申请提供的一个实施例的三维模型构建装置的模块示意图之二；
图8是本申请提供的一个实施例的三维模型构建装置的模块示意图之三；
图9是用来实现本申请实施例的三维模型构建方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，根据本申请的实施例，本申请提供一种三维模型构建方法，该方法包括：
步骤S101：进行鞋子分类，得到N个类别，N为大于1的整数。
该方法可应用于虚拟试鞋场景，例如，虚拟三维试鞋场景。不同类别的鞋子的形状可能存在差异，首先需要对鞋子进行分类，得到不同鞋子类别。例如，可根据鞋子的特征进行分类，特征可以包括但不限于功能、品牌(即对应所属厂商)等。以功能为例，可分为运动鞋、皮鞋、拖鞋、高跟鞋、板鞋等不同类别，以品牌为例，可分为不同品牌的类别。
步骤S102：构建N个类别中每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型。
针对每个类别，利用属于该类别的鞋子，构建该类别对应的第一三维鞋子模型，如此，可得到N个第一三维鞋子模型。需要说明的是，该类别的鞋子为该类别的典型鞋子，能表征该类别中大部分鞋子，其与该类别中大部分鞋子的形状比较相似。
步骤S103：基于待试鞋子的二维图像、平均模型以及N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，确定待试鞋子的目标三维鞋子模型。
其中，平均模型为M个第一三维鞋子模型的平均模型，M为整数且M≤N。
平均模型可表征N个第一三维鞋子模型(即M＝N)或N个第一三维鞋子模型中部分第一三维鞋子模型(即M＜N)的整体情况，在本实施例中，先获取待试鞋子的二维图像，例如，可以为通过摄像头采集的二维图像，或者通过扫描得到的待试鞋子的二维图像等。通过待试鞋子的二维图像、平均模型、M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，确定待试鞋子的目标三维鞋子模型。
需要说明的是，第一三维鞋子模型中包括多个顶点及其纹理坐标，N个第一三维鞋子模型的平均模型可以理解为对N个第一三维鞋子模型中的顶点坐标进行平均得到的平均模型，即N个第一三维鞋子模型的平均模型中的顶点为N个第一三维鞋子模型中顶点的平均值。例如，N个第一三维鞋子模型中每个第一三维鞋子模型对应有n个顶点，n为大于1的整数，对于每个顶点，计算N个第一三维鞋子模型的该顶点的平均值，得到n个顶点的平均值，得到的平均模型中包括n个顶点的平均值。N个第一三维鞋子模型中部分第一三维鞋子模型的平均模型可以理解为对部分第一三维鞋子模型中的顶点坐标进行平均得到的平均模型，即部分第一三维鞋子模型的平均模型中的顶点为部分第一三维鞋子模型中顶点的平均值。另外，第一三维鞋子模型与平均模型之间的残差，可以理解为，第一三维鞋子模型的顶点与平均模型的顶点之间的残差。
本申请实施例的三维模型构建方法，由于不同类别鞋子之间的差异较大，首先需要进行鞋子分类，对每个类别建立对应的第一三维鞋子模型，得到N个第一三维鞋子模型，然后基于待试鞋子的二维图像、平均模型以及N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，确定待试鞋子的目标三维鞋子模型，即在确定待试鞋子的目标三维鞋子模型过程中，首先需要进行分类，对每个不同类别建立第一三维鞋子模型，即考虑了不同类别鞋子的影响，而且还考虑了平均模型以及M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，从而可提高待试鞋子的目标三维鞋子模型的准确性。
在一个实施例中，确定待试鞋子的目标三维鞋子模型之后，还可以包括：获取用户脚部图像；将待试鞋子的目标三维鞋子模型投影到用户脚步图像，生成虚拟试鞋图像。
若用户线上进行虚拟试鞋，用户可在线上销售界面中确定待试鞋子，需要获取用户脚部图像，例如，可通过摄像头采集用户脚部图像，或通过扫描仪扫描用户脚步得到用户脚部图像。将待试鞋子的目标三维鞋子模型投影到用户脚步图像，生成虚拟试鞋图像并显示，如此，用户可查看试鞋效果，以便选择是否购买。
如图2所示，在一个实施例中，基于待试鞋子的二维图像、平均模型以及N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，确定待试鞋子的目标三维鞋子模型的步骤S103之前，还包括：
S104：基于迭代最近点ICP算法将N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐。
即基于ICP算法将N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐，以更新N个第一三维鞋子模型。即在本实施例中，在利用N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，确定待试鞋子的目标三维鞋子模型之前，先对N个第一三维鞋子模型进行更新，从而更新M个第一三维鞋子模型，同时，也实现平均模型的更新，后续在确定目标三维鞋子模型的过程中，使用的是更新后的平均模型以及更新后的M个第一三维鞋子模型的每个更新后的第一三维鞋子模型与更新后的平均模型之间的残差，即基于二维图像、N个更新后的第一三维鞋子模型的平均模型以及N个更新后的第一三维鞋子模型中M个更新后的第一三维鞋子模型的每个更新后的第一三维鞋子模型与N个更新后的第一三维鞋子模型的平均模型之间的残差，确定待试鞋子的目标三维鞋子模型。
ICP(Iterative Closest Point，迭代最近点)算法原理为通过旋转、平移使得两个点集之间的距离最小，在本实施例中，在N个第一三维鞋子模型与预设标准三维鞋子模型基础上，通过ICP算法可将N个第一三维鞋子模型中每个第一三维鞋子模型与预设标准三维鞋子模型对齐，得到N个更新后的第一三维鞋子模型，N个更新后的第一三维鞋子模型与预设标准三维鞋子模型具有匹配(例如，可以是相同)的朝向、位姿和顶点数，如此，N个更新后的第一三维鞋子模型具有较统一的朝向、位姿和顶点数，且N个更新后的第一三维鞋子模型中对应的顶点具有相同的语义。
即在本实施例中，确定待试鞋子的目标三维鞋子模型之前，基于迭代最近点ICP算法将N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐，从而更新N个第一三维鞋子模型，然后可基于二维图像、N个更新后的第一三维鞋子模型的平均模型以及N个更新后的第一三维鞋子模型中M个更新后的第一三维鞋子模型的每个更新后的第一三维鞋子模型与N个更新后的第一三维鞋子模型的平均模型之间的残差，确定待试鞋子的目标三维鞋子模型。即对不同类别的第一三维鞋子模型进行了对齐，是将N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐，使N个第一三维鞋子模型具有统一的朝向、位姿和顶点数，利用对齐后的M个第一三维鞋子模型以及对齐后的平均模型确定待试鞋子的目标三维鞋子模型，从而可提高确定的待试鞋子的目标三维鞋子模型的准确性。
如图3所示，在一个实施例中，基于迭代最近点ICP算法将N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐的步骤S104，包括：
S1041：基于ICP算法确定每个第一三维鞋子模型与预设标准三维鞋子模型之间的第一变换矩阵；
S1042：根据第一变换矩阵，对每个第一三维鞋子模型进行变换。
可以理解，通过ICP算法可找到一个变换矩阵使两个点集中一个点集基于该变化矩阵转换后与另一个点集之间距离最小，在本实施例中，通过ICP算法得到每个第一三维鞋子模型与预设标准三维鞋子模型之间的第一变换矩阵，每个第一三维鞋子模型分别对应一个第一变换矩阵，利用每个第一三维鞋子模型的第一变换矩阵，对对应的第一三维鞋子模型进行变换，以更新该第一三维鞋子模型，如此，可更新N个第一三维鞋子模型。然后，利用N个更新后的第一三维鞋子模型的平均模型、N个更新后的第一三维鞋子模型中M个更新后的第一三维鞋子模型的每个更新后的第一三维鞋子模型与N个更新后的第一三维鞋子模型的平均模型之间的残差，确定待试鞋子的目标三维鞋子模型，可提高待试鞋子的目标三维鞋子模型的准确性。
在一个实施例中，基于待试鞋子的二维图像、平均模型以及N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，确定待试鞋子的目标三维鞋子模型，包括：
确定N个第一三维鞋子模型中M个第一三维鞋子模型，其中，M个第一三维鞋子模型中任意两个第一三维鞋子模型之间的相似度小于预设相似度；
基于二维图像、M个第一三维鞋子模型的平均模型以及M个第一三维鞋子模型中每个第一三维鞋子模型与M个第一三维鞋子模型的平均模型之间的残差，确定待试鞋子的目标三维鞋子模型。
在本实施例中，对N个第一三维鞋子模型进行筛选，N个第一三维鞋子模型中相似度大于或等于预设相似度的模型，只保留一个，其余滤除，得到上述M个第一三维鞋子模型，利用筛选后得到的M个第一三维鞋子模型的平均模型、M个第一三维鞋子模型中每个第一三维鞋子模型与M个第一三维鞋子模型的平均模型之间的残差以及待试鞋子的二维图像，确定待试鞋子的目标三维鞋子模型即可，如此，可对N个第一三维鞋子模型中相似度大于或等于预设相似度的模型进行去重，利用去重后的M个第一三维鞋子模型的平均模型、M个第一三维鞋子模型中每个第一三维鞋子模型与M个第一三维鞋子模型的平均模型之间的残差，确定待试鞋子的目标三维鞋子模型，可减少计算量，提高待试鞋子的目标三维模型构建效率。
在一个实施例中，确定N个第一三维鞋子模型中M个第一三维鞋子模型，包括：
根据N个第一三维鞋子模型的类别中鞋子的属性参数，对N第一三维鞋子模型进行排序，得到N个排序后的第一三维鞋子模型；
将N个排序后的第一三维鞋子模型中排最前的第一三维鞋子模型添加至预设模型集合；
在N个排序后的第一三维鞋子模型中第i个第一三维鞋子模型与预设模型集合中的模型的相似度小于预设相似度的情况下，将第i个第一三维鞋子模型添加至预设模型集合，i为整数，且2≤i≤N；
其中，在N个排序后的第一三维鞋子模型与预设模型集合中的模型的相似度比较完毕后，得到的预设模型集合中包括M个第一三维鞋子模型。
上述属性参数可以包括但不限于销量、浏览量、收藏量、分享量等。先根据N个第一三维鞋子模型的类别中鞋子的属性参数从高到低的顺序，对N第一三维鞋子模型进行排序，得到N个排序后的第一三维鞋子模型。初始时，预设模型集合为空，先将N个排序后的第一三维鞋子模型排在第一的第一三维鞋子模型添加至预设模型集合，然后根据从高到低的顺序，依次将第一的第一三维鞋子模型与预设模型集合中的模型进行相似度匹配，只要第一三维鞋子模型与预设模型集合中的每个模型的相似度小于预设相似度，即可将该第一三维鞋子模型添加至预设模型集合中，更新预设模型集合中。直到对N个排序后的第一三维鞋子模型相似度匹配完毕，得到的预设模型集合中包括任意两个第一三维鞋子模型之间的相似度小于预设相似度的M个第一三维鞋子模型。
在本实施例中，利用N个第一三维鞋子模型的类别中鞋子的属性参数，对N第一三维鞋子模型进行了排序，在确定M第一三维鞋子模型过程中，按照排序后从高到低的顺序依次选择相似度小于预设性相似度的第一三维鞋子模型作为M个第一三维鞋子模型中的一个模型，若N第一三维鞋子模型存在相似度较高的模型，保留的第一三维鞋子模型为排序在前的，即保留的为属性参数较高的第一三维鞋子模型，提高模型筛选效率的同时，可使筛选得到的M个第一三维鞋子模型满足属性参数的要求，提高模型筛选灵活性。
在一个实施例中，目标三维鞋子模型与平均模型正相关，与第一误差系数向量的目标值正相关，与p个特征向量正相关；
其中，p为正整数，p个特征向量为协方差矩阵的p个特征值对应的特征向量，协方差矩阵对应q个特征值，q为正整数，p≤q，p个特征值大于q个特征值中除p个特征值之外的其他特征值，协方差矩阵中包括L个协方差，L为M*M，L个协方差根据M个第一三维鞋子模型与M个第一三维鞋子模型的平均模型之间的残差确定。
*表示乘号，需要说明的是，协方差表示的是两个变量的总体的误差，协方差矩阵为一个M*M的矩阵(M行M列)，L个协方差根据M个第一三维鞋子模型中每个第一三维鞋子模型分别与M个第一三维鞋子模型的平均模型之间的残差计算得到，即根据M个残差确定，其中，协方差矩阵包括第k第一三维鞋子模型与第w个第一三维鞋子模型之间的协方差，k和w均为整数，且1≤k≤M，1≤w≤M，在k＝w的情况下，对应的协方差即为方差，如此，k从1到M取值完毕，以及w从1到M取值完毕，即可得到M*M个协方差。
在本实施中，由于目标三维鞋子模型是根据待试鞋子的二维图像、平均模型、N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差确定的，第一误差系数向量的目标值根据待试鞋子的二维图像确定，目标三维鞋子模型可通过平均模型、第一误差系数向量的目标值以及p个特征向量表示，且与平均模型、第一误差系数向量的目标值以及p个特征向量均为正相关，可提高确定的目标三维模型的准确性。
在一个示例中，待试鞋子的目标三维鞋子模型通过以下方式表示：
其中，S为待试鞋子的目标三维鞋子模型，为平均模型，aj为第一误差系数向量中第j个系数的目标值，Vj为协方差矩阵的第j个特征值对应的第j个特征向量，第j个系数对应第j个特征值向量。
需要说明的是，可先计算平均模型将M个第一三维鞋子模型中每个第一三维鞋子模型分别减去平均模型/>得到M个第一三维鞋子模型中每个第一三维鞋子模型与平均模型/>的残差，即得到M个残差，根据M个残差，计算第k第一三维鞋子模型与第w个第一三维鞋子模型之间的协方差，1≤k≤M，1≤w≤M，从而可得到M*M个协方差，由M*M个协方差构成协方差矩阵。求解协防差矩阵的特征值，即得到q个特征值，每个特征值有对应的特征向量。取q个特征值中较大的p个特征值，即p个特征值大于q个特征值中除p个特征值之外的其他特征值，并取p个特征值对应的p个特征向量，利用平均模型、第一误差系数向量的目标值以及p个特征向量，确定该第一三维鞋子模型对应的目标三维鞋子模型。
在一个实施例中，在第一误差系数向量的目标值的基础上，投影点与第一关键点之间的差异最小；
其中，第一关键点为二维图像的关键点，投影点为初始三维鞋子模型的第二关键点在二维图像中的投影，投影点为通过变换参数对第二关键点进行变换得到的点，投影点还与平均模型、第一误差系数向量以及p个特征向量相关，初始三维鞋子模型与平均模型正相关，与第一误差系数向量正相关，与p个特征向量正相关。
对于待试鞋子的目标三维鞋子模型的确定过程中，首先，获取待试鞋子的二维图像，通过关键点检测算法检测二维图像的预定义的关键点，即第一关键点，数量可以为多个。另外，可预先确定初始三维鞋子模型，初始三维鞋子模型与平均模型正相关，与第一误差系数向量正相关，与p个特征向量正相关，从而，可获取初始三维鞋子模型的第二关键点，数量可以为多个，第二关键点可以理解为初始三维鞋子模型中顶点中的点。作为一个示例，关键点包括但不限于足趾、足跟、足底、足弓、足背、踝关节等，关键点检测算有多种，本申请实施例中不作限定。需要说明的是，第二关键点与第一关键点对应，例如，关键点采用于足趾、足跟、足底、足弓、足背和踝关节，则第一关键点包括二维图像中足趾、足跟、足底、足弓、足背和踝关节，第二关键点包括初始三维鞋子模型的足趾、足跟、足底、足弓、足背和踝关节。
可以理解，第一误差系数向量的目标值为第一误差系数向量的使投影点与第一关键点之间的差异最小的值，比如，假设第一误差系数向量为A，初始三维鞋子模型S0可通过以下方式表示：
Aj为第一误差系数向量A中第j个系数，弱放射变换的变换参数包括尺度参数、旋转矩阵参数和平移矩阵参数，第二关键点在二维图像上的投影点可表示为：
1≤j≤p，f为尺度参数，R为旋转矩阵参数，T平移矩阵参数，x为第二关键点，为x在二维图像上的投影点。第一关键点为x′，通过最小化/>与x′之间的差异求出Aj对应的目标值aj，即求解使/>与x′之间的差异最小时Aj对应的目标值，另外，在求解出/>与x′之间的差异最小时Aj向量对应的目标值aj时，还可得到尺度参数f对应的结果、R为旋转矩阵参数对应的结果以及T平移矩阵参数对应的结果。作为一个示例，可通过最小化二乘算法求解目标值aj，如此，目标值aj即为求解使/>与对应的x′之间的误差平方和最小时Aj对应的目标值。需要说明的是，将Aj对应的目标值aj代入初始三维鞋子模型S0中，得到的即是目标三维鞋子模型S，即在第一误差系数向量A的目标值的基础上，初始三维鞋子模型即为目标三维鞋子模型。
另外，在求解过程中，首先设定Aj的初始值、尺度参数的初始值、旋转矩阵参数的初始值以及平移矩阵参数的初始值，例如，Aj的初始值为p的平均值，如此，可先确定一个初始三维鞋子模型，可确定初始三维鞋子模型的第二关键点，从而可确定投影点，得到投影点与第一关键点之间的差异，然后根据投影点与第一关键点之间的差异可调整Aj的值，以及调整尺度参数、旋转矩阵参数以及平移矩阵参数的值，如此，初始三维鞋子模型随之更新，然后再根据更新后的初始三维鞋子模型的第二关键点在二维图像中的投影点与第一关键点之间的差异，调整Aj的值，以及调整尺度参数、旋转矩阵参数以及平移矩阵参数的值，如此循环迭代，直到初始三维鞋子模型的第二关键点在二维图像中的投影点与第一关键点之间的差异最小，此时，Aj的值即为Aj的目标值。
作为一个示例，关键点可采用足趾、足跟、足底、足弓、足背和踝关节，则第一关键点包括第一足跟、第一足底、第一足弓、第一足背和第一踝关节，第二关键点包括第二足跟、第二足底、第二足弓、第二足背和第二踝关节，对应在二维图像中的投影点包括第二足跟投影点、第二足底投影点、第二足弓投影点、第二足背投影点和第二踝关节投影点，则与对应的x′之间的误差平方和即为第一足跟与第二足跟投影点之间的误差平方、第一足底与第二足底投影点之间的误差平方、第一足弓与第二足弓投影点之间的误差平方、第一足背与第二足背投影点之间的误差平方以及第一踝关节与第二踝关节投影点之间的误差平方的和。
即本申请实施例的三维模型构建方法中，通过构建N个类别中每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型，基于二维图像、平均模型、M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，确定目标三维鞋子模型。另外，在确定目标三维鞋子模型的过程中，考虑到不同鞋子形状的影响，增加了第一误差系数向量，第一误差系数向量的目标值为能够使第二关键点在二维图像中的投影点与二维图像中的第一关键点之间的差异最小的值，如此，通过平均模型正相关、第一误差系数向量的目标值正相关以及p个特征向量表示的目标三维鞋子模型能较好地还原鞋子的姿态，提高目标三维鞋子模型的准确性。
另外，通过上述求解第一误差系数向量的目标值的同时，还能得到尺度参数f对应的目标结果、旋转矩阵参数R对应的目标结果以及平移矩阵参数T对应的目标结果，其为能够使第二关键点在二维图像中的投影点与二维图像中的第一关键点之间的差异最小的结果，可以理解，第一误差系数向量的目标值、尺度参数f对应的目标结果、R为旋转矩阵参数对应的目标结果以及T平移矩阵参数对应的目标结果为第一误差系数向量、尺度参数、旋转矩阵参数以及平移矩阵参数能够使投影点与二维图像中的第一关键点之间的差异最小的结果。如此，后续在生成虚拟试鞋图像过程中，利用尺度参数f对应的目标结果、R为旋转矩阵参数对应的目标结果以及T平移矩阵参数对应的目标结果对待试鞋子的目标三维鞋子模型进行变换，使待试鞋子的目标三维鞋子模型投影到用户脚步图像，生成虚拟试鞋图像，提高试鞋效果。
下面以一个具体实施例对上述方法的过程加以具体说明。
如图4所示，为一个待试鞋子的二维图像，如图5所示，为另一个待试鞋子的二维图像。
首先，以属性参数采用销量为例进行说明，首先进行鞋子分类，得到N个类别，然后构建N个类别中每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型。再对N个第一三维鞋子模型进行筛选，得到M个第一三维鞋子模型，具体地，首先定义一个空的预设模型集合，根据鞋子的销量从高到低的规则，对N个第一三维鞋子模型进行排序，将排序后的N个第一三维鞋子模型中鞋子的销量最高的添加到预设模型集合中，更新预设模型集合，后续按照排列顺序，依次判断每个第一三维鞋子模型与最新的预设模型集合中每个模型之间的相似度，若存在相似度大于预设相似度，表示预设模型集合已存在与当前判断的第一三维鞋子模型较相似，该第一三维鞋子模型不添加至预设模型集合，只有在第一三维鞋子模型与预设模型集合中每个模型之间的相似度均小于或等于预设相似度时，将该第一三维鞋子模型添加至预设模型集合，直到N个第一三维鞋子模型相似度比较完毕，得到的预设模型集合中包括M个第一三维鞋子模型，即M个第一三维鞋子模型中任意两个第一三维鞋子模型之间的相似度小于预设相似度。
然后通过ICP算法，将预设模型集合中M个第一三维鞋子模型与预先构建的预设标准三维鞋子模型进行对齐，更新M个第一三维鞋子模型，可使M个第一三维鞋子模型具有相同的朝向、位姿和顶点数，且每个顶点具有相同的语义信息等。
计算M个第一三维鞋子模型的平均模型然后将预设模型集合中第k(为整数，且k≤M)个第一三维鞋子模型减去平均模型/>得到第k个残差ΔSk，如此，对于每个第一三维鞋子模型进行上述处理，即得到M个残差。基于M个残差计算M*M个协方差，M*M个协方差构成协方差矩阵C，协方差矩阵C的前p大特征值{λ1,···λp}以及特征值对应的特征向量{V1,···,Vp}，λ1为第1个特征值，V1为特征值λ1对应的特征向量，λp为第p个特征值，,Vp为特征值λp对应的特征向量。
这样每一个鞋子的3D模型(三维鞋子模型)都可以通过如下式子进行表示：
aj为第一误差系数向量A中第j个系数Aj对应的目标值，对于不同的待试鞋子，第一误差系数向量A的目标值存在差异，如此，可根据不同待试鞋子的二维图像来确定对应的目标值。
例如，以图4中待试鞋子为例，获取待试鞋子的二维图像，通过关键点检测算法检测待试鞋子的二维图像的预定义的关键点，获得第一关键点，基于弱放射变换可将3D模型的第二关键点在该二维图像中的头点可通过如下公式获得：
考虑到不同鞋子形状的影响，增加了第一误差系数向量，通过最小化第二关键点在二维图像中的投影点与第一关键点之间的差异，求解出第一误差系数向量的目标值，第一误差系数向量的目标值即为能够使第二关键点在二维图像中的投影点与二维图像中的第一关键点之间的差异最小的值，例如，可通过最小化二乘求解。得到A的目标值后，即可将代入待试鞋子的3D模型的上述表达式中得到待试鞋子的目标三维鞋子模型，如此，得到的待试鞋子的目标三维鞋子模型能较好地还原鞋子的姿态，提高目标三维鞋子模型的准确性。图5中待试鞋子的目标三维鞋子模型的确定过程与上述图4中待试鞋子的目标三维鞋子模型过程类似，不同点在于二维图像的不同，在此不再赘述。
如图6所示，根据本申请的实施例，本申请还提供一种三维模型构建装置600，装置600包括：
分类模块601，用于进行鞋子分类，得到N个类别，N为大于1的整数；
模型构建模块602，用于构建N个类别中每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型；
确定模块603，用于基于待试鞋子的二维图像、平均模型以及N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，确定待试鞋子的目标三维鞋子模型，其中，平均模型为M个第一三维鞋子模型的平均模型，M为整数且M≤N。
如图7所示，在一个实施例中，该装置600还包括：
对齐模块604，用于基于迭代最近点ICP算法将N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐。
如图8所示，在一个实施例中，对齐模块604，包括：
矩阵确定模块6041，用于基于ICP算法确定N个第一三维鞋子中每个第一三维鞋子模型与预设标准三维鞋子模型之间的第一变换矩阵；
变换模块6042，用于对N个第一三维鞋子模型中每个第一三维鞋子模型进行变换。
在一个实施例中，确定模块，包括：
第一确定模块，用于确定N个第一三维鞋子模型中M个第一三维鞋子模型，其中，M个第一三维鞋子模型中任意两个第一三维鞋子模型之间的相似度小于预设相似度；
第二确定模块，用于基于二维图像、M个第一三维鞋子模型的平均模型以及M个第一三维鞋子模型中每个第一三维鞋子模型与M个第一三维鞋子模型的平均模型之间的残差，确定待试鞋子的目标三维鞋子模型。
在一个实施例中，第一确定模块，包括：
排序模块，用于根据N个第一三维鞋子模型的类别中鞋子的属性参数，对N第一三维鞋子模型进行排序，得到N个排序后的第一三维鞋子模型；
第一添加模块，用于将N个排序后的第一三维鞋子模型中排最前的第一三维鞋子模型添加至预设模型集合；
第二添加模块，用于在N个排序后的第一三维鞋子模型中第i个第一三维鞋子模型与预设模型集合中的模型的相似度小于预设相似度的情况下，将第i个第一三维鞋子模型添加至预设模型集合，i为整数，且2≤i≤N；
其中，在N个排序后的第一三维鞋子模型与预设模型集合中的模型的相似度比较完毕后，得到的预设模型集合中包括M个第一三维鞋子模型。
在一个实施例中，目标三维鞋子模型与平均模型正相关，与第一误差系数向量的目标值正相关，与p个特征向量正相关；
其中，p为正整数，p个特征向量为协方差矩阵的p个特征值对应的特征向量，协方差矩阵对应q个特征值，q为正整数，p≤q，p个特征值大于q个特征值中除p个特征值之外的其他特征值，协方差矩阵中包括L个协方差，L为M*M，L个协方差根据M个第一三维鞋子模型与M个第一三维鞋子模型的平均模型之间的残差确定。
在一个实施例中，在第一误差系数向量的目标值的基础上，投影点与第一关键点之间的差异最小；
其中，第一关键点为二维图像的关键点，投影点为初始三维鞋子模型的第二关键点在二维图像中的投影，投影点为通过变换参数对第二关键点进行变换得到的点，投影点还与平均模型、第一误差系数向量以及p个特征向量相关，初始三维鞋子模型与平均模型正相关，与第一误差系数向量正相关，与p个特征向量正相关。
上述各实施例的三维模型构建方法装置为实现上述各实施例的三维模型构建方法的装置，技术特征对应，技术效果对应，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的三维模型构建方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUM的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的三维模型构建方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的三维模型构建方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的三维模型构建方法对应的程序指令/模块(例如，附图6所示的分类模块601、模型构建模块602、确定模块603)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的三维模型构建方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据键盘显示的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至键盘显示的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
三维模型构建方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与键盘显示的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASMC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，由于不同类别鞋子之间的差异较大，首先需要进行鞋子分类，对每个类别建立对应的第一三维鞋子模型，得到N个第一三维鞋子模型，然后基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型，即在确定待试鞋子的目标三维鞋子模型过程中，首先需要进行分类，对每个不同类别建立第一三维鞋子模型，即考虑了不同类别鞋子的影响，而且还考虑了平均模型以及M个第一三维鞋子模型的每个第一三维鞋子模型与平均模型之间的残差，从而可提高待试鞋子的目标三维鞋子模型的准确性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种三维模型构建方法，其中，所述方法包括：
进行鞋子分类，得到N个类别，N为大于1的整数；
构建所述N个类别中每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型；
基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型，其中，所述平均模型为所述M个第一三维鞋子模型的平均模型，所述M为整数且M≤N；
其中，所述目标三维鞋子模型与所述平均模型正相关，与第一误差系数向量的目标值正相关，与p个特征向量正相关；
其中，p为正整数，所述p个特征向量为协方差矩阵的p个特征值对应的特征向量，所述协方差矩阵对应q个特征值，q为正整数，p≤q，所述p个特征值大于所述q个特征值中除所述p个特征值之外的其他特征值，所述协方差矩阵中包括L个协方差，L为M*M，所述L个协方差根据所述M个第一三维鞋子模型与所述M个第一三维鞋子模型的平均模型之间的残差确定；
其中，所述第一误差系数向量的目标值为使投影点与第一关键点之间的差异最小的值，所述第一关键点为所述二维图像的关键点，所述投影点为初始三维鞋子模型的第二关键点在所述二维图像中的投影，所述初始三维鞋子模型与所述平均模型正相关，与所述第一误差系数向量正相关，与所述p个特征向量正相关。
2.根据权利要求1所述的方法，其中，所述基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型之前，还包括：
基于迭代最近点ICP算法将所述N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐。
3.根据权利要求2所述的方法，其中，所述基于迭代最近点ICP算法将所述N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐，包括：
基于所述ICP算法确定所述N个第一三维鞋子中每个第一三维鞋子模型与所述预设标准三维鞋子模型之间的第一变换矩阵；
根据所述第一变换矩阵，对所述N个第一三维鞋子模型中每个第一三维鞋子模型进行变换。
4.根据权利要求1-3任一所述的方法，其中，所述基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型，包括：
确定所述N个第一三维鞋子模型中所述M个第一三维鞋子模型，其中，所述M个第一三维鞋子模型中任意两个第一三维鞋子模型之间的相似度小于预设相似度；
基于所述二维图像、所述M个第一三维鞋子模型的平均模型以及所述M个第一三维鞋子模型中每个第一三维鞋子模型与所述M个第一三维鞋子模型的平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型。
5.根据权利要求4所述的方法，其中，所述确定所述N个第一三维鞋子模型中所述M个第一三维鞋子模型，包括：
根据所述N个第一三维鞋子模型的类别中鞋子的属性参数，对所述N个第一三维鞋子模型进行排序，得到N个排序后的第一三维鞋子模型；
将所述N个排序后的第一三维鞋子模型中排最前的第一三维鞋子模型添加至预设模型集合；
在所述N个排序后的第一三维鞋子模型中第i个第一三维鞋子模型与所述预设模型集合中的模型的相似度小于所述预设相似度的情况下，将所述第i个第一三维鞋子模型添加至所述预设模型集合，i为整数，且2≤i≤N；
其中，在所述N个排序后的第一三维鞋子模型与所述预设模型集合中的模型的相似度比较完毕后，得到的所述预设模型集合中包括所述M个第一三维鞋子模型。
6.根据权利要求1所述的方法，其中，所述投影点为通过变换参数对所述第二关键点进行变换得到的点，所述投影点还与所述平均模型、所述第一误差系数向量以及所述p个特征向量相关。
7.一种三维模型构建装置，其中，所述装置包括：
分类模块，用于进行鞋子分类，得到N个类别，N为大于1的整数；
模型构建模块，用于构建所述N个类别中每个类别的第一三维鞋子模型，获得N个第一三维鞋子模型；
确定模块，用于基于待试鞋子的二维图像、平均模型以及所述N个第一三维鞋子模型中M个第一三维鞋子模型的每个第一三维鞋子模型与所述平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型，其中，所述平均模型为所述M个第一三维鞋子模型的平均模型，所述M为整数且M≤N；
其中，所述目标三维鞋子模型与所述平均模型正相关，与第一误差系数向量的目标值正相关，与p个特征向量正相关；
其中，p为正整数，所述p个特征向量为协方差矩阵的p个特征值对应的特征向量，所述协方差矩阵对应q个特征值，q为正整数，p≤q，所述p个特征值大于所述q个特征值中除所述p个特征值之外的其他特征值，所述协方差矩阵中包括L个协方差，L为M*M，所述L个协方差根据所述M个第一三维鞋子模型与所述M个第一三维鞋子模型的平均模型之间的残差确定；
其中，所述第一误差系数向量的目标值为使投影点与第一关键点之间的差异最小的值，所述第一关键点为所述二维图像的关键点，所述投影点为初始三维鞋子模型的第二关键点在所述二维图像中的投影，所述初始三维鞋子模型与所述平均模型正相关，与所述第一误差系数向量正相关，与所述p个特征向量正相关。
8.根据权利要求7所述的装置，其中，还包括：
对齐模块，用于基于迭代最近点ICP算法将所述N个第一三维鞋子模型与预设标准三维鞋子模型进行对齐。
9.根据权利要求8所述的装置，其中，所述对齐模块，包括：
矩阵确定模块，用于基于所述ICP算法确定所述N个第一三维鞋子中每个第一三维鞋子模型与所述预设标准三维鞋子模型之间的第一变换矩阵；
变换模块，用于对所述N个第一三维鞋子模型中每个第一三维鞋子模型进行变换。
10.根据权利要求7-9任一所述的装置，其中，所述确定模块，包括：
第一确定模块，用于确定所述N个第一三维鞋子模型中所述M个第一三维鞋子模型，其中，所述M个第一三维鞋子模型中任意两个第一三维鞋子模型之间的相似度小于预设相似度；
第二确定模块，用于基于所述二维图像、所述M个第一三维鞋子模型的平均模型以及所述M个第一三维鞋子模型中每个第一三维鞋子模型与所述M个第一三维鞋子模型的平均模型之间的残差，确定所述待试鞋子的目标三维鞋子模型。
11.根据权利要求10所述的装置，其中，所述第一确定模块，包括：
排序模块，用于根据所述N个第一三维鞋子模型的类别中鞋子的属性参数，对所述N个第一三维鞋子模型进行排序，得到N个排序后的第一三维鞋子模型；
第一添加模块，用于将所述N个排序后的第一三维鞋子模型中排最前的第一三维鞋子模型添加至预设模型集合；
第二添加模块，用于在所述N个排序后的第一三维鞋子模型中第i个第一三维鞋子模型与所述预设模型集合中的模型的相似度小于所述预设相似度的情况下，将所述第i个第一三维鞋子模型添加至所述预设模型集合，i为整数，且2≤i≤N；
其中，在所述N个排序后的第一三维鞋子模型与所述预设模型集合中的模型的相似度比较完毕后，得到的所述预设模型集合中包括所述M个第一三维鞋子模型。
12.根据权利要求7所述的装置，其中，所述投影点为通过变换参数对所述第二关键点进行变换得到的点，所述投影点还与所述平均模型、所述第一误差系数向量以及所述p个特征向量相关。
13.一种电子设备，其中，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任一所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010870385.2A CN112017276B (zh) | 2020-08-26 | 2020-08-26 | 一种三维模型构建方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010870385.2A CN112017276B (zh) | 2020-08-26 | 2020-08-26 | 一种三维模型构建方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017276A CN112017276A (zh) | 2020-12-01 |
| CN112017276B true CN112017276B (zh) | 2024-01-09 |
Family
ID=73503644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010870385.2A Active CN112017276B (zh) | 2020-08-26 | 2020-08-26 | 一种三维模型构建方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017276B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112562063A (zh) * | 2020-12-08 | 2021-03-26 | 北京百度网讯科技有限公司 | 用于对物体进行立体尝试的方法、装置、设备及存储介质 |
| CN113128601B (zh) * | 2021-04-22 | 2022-04-29 | 北京百度网讯科技有限公司 | 分类模型的训练方法和对图像进行分类的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1721275A1 (en) * | 2004-03-05 | 2006-11-15 | The Procter and Gamble Company | System and method of virtual modeling of thin materials |
| CN102214250A (zh) * | 2010-04-12 | 2011-10-12 | 温州大学 | 从鞋楦样本集生成统计变形模型的方法 |
| CN103597519A (zh) * | 2011-02-17 | 2014-02-19 | 麦特尔有限公司 | 用于生成服装合体性可视化的虚拟身体模型的计算机实现方法和系统 |
| CN103886315A (zh) * | 2012-12-21 | 2014-06-25 | 本田技研工业株式会社 | 应用于行人姿势分类的3d人体模型 |
| CN105788002A (zh) * | 2016-01-06 | 2016-07-20 | 湖南拓视觉信息技术有限公司 | 三维虚拟试鞋方法和系统 |
| CN107209962A (zh) * | 2014-12-16 | 2017-09-26 | 麦特尔有限公司 | 用于生成与3d衣服图像结合的人的3d虚拟身体模型的方法，以及相关的装置、系统和计算机程序产品 |
| CN111507806A (zh) * | 2020-04-23 | 2020-08-07 | 北京百度网讯科技有限公司 | 虚拟试鞋方法、装置、设备以及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7149665B2 (en) * | 2000-04-03 | 2006-12-12 | Browzwear International Ltd | System and method for simulation of virtual wear articles on virtual models |
-
2020
- 2020-08-26 CN CN202010870385.2A patent/CN112017276B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1721275A1 (en) * | 2004-03-05 | 2006-11-15 | The Procter and Gamble Company | System and method of virtual modeling of thin materials |
| CN102214250A (zh) * | 2010-04-12 | 2011-10-12 | 温州大学 | 从鞋楦样本集生成统计变形模型的方法 |
| CN103597519A (zh) * | 2011-02-17 | 2014-02-19 | 麦特尔有限公司 | 用于生成服装合体性可视化的虚拟身体模型的计算机实现方法和系统 |
| CN103886315A (zh) * | 2012-12-21 | 2014-06-25 | 本田技研工业株式会社 | 应用于行人姿势分类的3d人体模型 |
| CN107209962A (zh) * | 2014-12-16 | 2017-09-26 | 麦特尔有限公司 | 用于生成与3d衣服图像结合的人的3d虚拟身体模型的方法，以及相关的装置、系统和计算机程序产品 |
| CN105788002A (zh) * | 2016-01-06 | 2016-07-20 | 湖南拓视觉信息技术有限公司 | 三维虚拟试鞋方法和系统 |
| CN111507806A (zh) * | 2020-04-23 | 2020-08-07 | 北京百度网讯科技有限公司 | 虚拟试鞋方法、装置、设备以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于MAYA和Unity3D的在线定制鞋系统;李鹏飞;强璐;景军锋;张蕾;张宏伟;;测控技术(第02期);全文 * |
| 基于被动立体视觉的脚型建模与比对方法;周佳立;张树有;;计算机辅助设计与图形学学报(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017276A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017276B (zh) | 一种三维模型构建方法、装置以及电子设备 | |
| CN107810522B (zh) | 实时、基于模型的对象检测及姿态估计 | |
| CN111507806B (zh) | 虚拟试鞋方法、装置、设备以及存储介质 | |
| Torr | Bayesian model estimation and selection for epipolar geometry and generic manifold fitting | |
| US20190139252A1 (en) | Systems and methods for footwear sizing | |
| JP5455167B2 (ja) | リアルタイムハンド追跡、ポーズ分類、及びインタフェース制御 | |
| US9275277B2 (en) | Using a combination of 2D and 3D image data to determine hand features information | |
| US20140253554A1 (en) | Context Constrained Novel View Interpolation | |
| US9916345B1 (en) | Searching three-dimensional (3D) object data models | |
| CN108875133A (zh) | 确定建筑布局 | |
| CN111612852A (zh) | 用于验证相机参数的方法和装置 | |
| US20160246767A1 (en) | Applying Annotations to Three-Dimensional (3D) Object Data Models Based on Object Parts | |
| CN110766737B (zh) | 训练深度估计模型的方法和设备以及存储介质 | |
| KR101746648B1 (ko) | 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법 | |
| CN114399610A (zh) | 基于引导先验的纹理映射系统和方法 | |
| CN114724254B (zh) | 确定动作类别的方法、装置、设备、存储介质 | |
| JP2018185730A (ja) | 照合装置、照合方法および照合プログラム | |
| WO2021220688A1 (en) | Reinforcement learning model for labeling spatial relationships between images | |
| JP7265143B2 (ja) | 表示制御方法、表示制御プログラムおよび情報処理装置 | |
| CN111369603A (zh) | 点云配准技术的评估方法、装置、电子设备及可读存储介质 | |
| CN113627379A (zh) | 一种图像处理方法、装置、设备以及存储介质 | |
| CN111738293A (zh) | 点云数据的处理方法、装置、电子设备及可读存储介质 | |
| KR102425831B1 (ko) | 사용자의 신발 제작을 위해 라스트 또는 신발의 수치 정보를 사용자에게 제공하는 장치, 방법 및 프로그램 | |
| KR102549988B1 (ko) | 팔레트 기반의 신발 디자인 생성 방법 및 이를 위한 장치 | |
| WO2020021238A1 (en) | Method of model alignment through localisation usage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |