CN115690181A - 一种基于特征融合与rbf网络的模型配比计算方法 - Google Patents
一种基于特征融合与rbf网络的模型配比计算方法 Download PDFInfo
- Publication number
- CN115690181A CN115690181A CN202211383555.XA CN202211383555A CN115690181A CN 115690181 A CN115690181 A CN 115690181A CN 202211383555 A CN202211383555 A CN 202211383555A CN 115690181 A CN115690181 A CN 115690181A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- human body
- model
- template
- dimensional human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及二维‑三维模型配比技术领域，且公开了一种基于特征融合与RBF网络的模型配比计算方法，包括如下步骤：生成二维人体模型，在该二维模板上生成服饰轮廓曲线，对二维模板及服饰轮廓曲线进行解析；计算三维‑二维人体模型的差值特征向量；建立三维‑二维人体模型的差值特征融合的RBF网络模型，获得三维‑二维人体模型的差值特征向量的权值特征向量，根据获得的权值特征向量计算二维人体模板与三维人体模板之间的相似度值，根据二维人体模板与三维人体模板之间的相似度值，获得与二维模型具有预先设定相似度的三维配对模板，实现二维特征映射到三维特征的模型配比计算的有益技术效果。
Description
技术领域
本发明涉及二维-三维模型配比技术领域，具体为一种基于特征融合与RBF网络的模型配比计算方法。
背景技术
三维建模作为计算机视觉研究范畴中重要的课题，从传统的3D游戏、动画影视特效制作，到近几年较火热的VR、AR、无人机导航、3D打印、汽车自动驾驶等场景中都有用武之地。随着三维建模技术和图形图像技术的飞跃发展，虚拟试衣技术得以发展。虚拟试衣就是消费者通过输入自己身体各部位的参数，把经过数字化处理的服装，穿在″自己”身上，并展示试穿效果。
由于二维虚拟试衣技术存在无法更改自己头像以及无法观看到服装穿着的整体效果的问题，为了提高用户的体验感，三维虚拟试衣技术产生了。三维虚拟试衣通过三维建模(包括几何建模、物理建模和混合模型)的方法构建服装，将服装虚拟悬垂到人体模型上，观察它的动态悬垂效果，并能与用户进行一定程度的交互。
发明内容
(一)解决的技术问题
本发明提供一种基于特征融合与RBF网络的模型配比计算方法，该模型配比计算方法能够获得与二维模型具有预先设定相似度的三维配对模板，实现二维特征映射到三维特征的模型配比计算。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：
一种基于特征融合与RBF网络的模型配比计算方法，包括如下步骤：
步骤一，生成二维人体模型，在该二维模板上生成服饰轮廓曲线，对二维模板及服饰轮廓曲线进行解析，识别得到由二维人体模板骨架结构和对应的二维人体模板轮廓曲线、以及搭配人体的二维服饰轮廓曲线组成的数据集；
步骤二，生成三维人体模型数据库，从该数据库中提取三维人体模型中的基础特征值，根据其计算三维人体模型中的特征向量；
步骤三，根据三维人体模型数据库中三维人体模型身高的平均值与二维人体模型中的人体模型身高之比，对二维人体模型进行归一化处理，获得二维人体模型的基础特征值，根据其计算二维人体模型中的特征向量；
步骤四，计算三维-二维人体模型的差值特征向量；
步骤五，建立三维-二维人体模型的差值特征融合的RBF网络模型，获得三维-二维人体模型的差值特征向量的权值特征向量，根据获得的权值特征向量计算二维人体模板与三维人体模板之间的相似度值；
步骤六，根据二维人体模板与三维人体模板之间的相似度值，在三维人体模型数据库中选取对应的三维配比模型；
步骤七，根据人体模板骨架结构将二维轮廓特征映射到三维配比模板的截面轮廓特征，计算所有对应参数之间的缩放比例作为轮廓形变参数，对轮廓形变参数进行插值得到三维形变参数，依据形变参数对二维模型进行形变得到搭配服装的三维模型。
优选的，所述步骤一中的数据集为{腰臀比，上半身/身高比，下半身/身高比，手臂比例，臂展/身高比，腿部比例，二维人体模板轮廓曲线，二维服饰轮廓曲线}。
优选的，所述三维-二维人体模型的差值特征向量＝{三维与二维腰臀比差值，三维与二维上躯干/身高比差值，三维与二维下躯干/身高比差值，三维与二维臂展/身高比差值，三维与二维躯干/腿部比差值}。
优选的，所述二维人体模板与三维人体模板之间的相似度值S按照如下公式计算：
S＝1/(∑w3D-2D-i*m3D-2D-i)；
式中：w3D-2D-i为三维-二维人体模型的差值特征向量的权值特征向量，m3D-2D-i为三维-二维人体模型的差值特征向量。
(三)有益的技术效果
与现有技术相比，本发明具备以下有益的技术效果：
本发明通过建立三维-二维人体模型的差值特征融合的RBF网络模型，获得三维-二维人体模型的差值特征向量的权值特征向量，根据获得的权值特征向量计算二维人体模板与三维人体模板之间的相似度值，根据二维人体模板与三维人体模板之间的相似度值，获得与二维模型具有预先设定相似度的三维配对模板，实现二维特征映射到三维特征的模型配比计算的有益技术效果。
具体实施方式
一种基于特征融合与RBF网络的模型配比计算方法，包括如下步骤：
步骤step1，生成二维人体模型，以其为二维服饰模型的绘制模板，在该二维模板上生成一组封闭有序的服饰轮廓线段，对二维模板及服饰轮廓线进行解析，该解析方法根据人体模板的相对位置关系将搭配服装的二维人体模板的骨架线对应到标准人体骨架结构中，其算法流程如下：
将椭圆图元识别为头部；
将距离头部最近的直线图元识别为上身；
将距离上身另一端点最近的图元识别为下身；
将距离头部次远的图元识别为肩膀；
将距离肩膀的2个端点最近的图元分别识别为左上臂和右上臂；
将余下未识别图元中距离左上臂最近的图元识别为左小臂，将距离右上臂最近的图元识别为右小臂；
将余下未识别图元中距离下身最近的图元识别为髋部；
将余下未识别图元中距离髋部的2个端点最近的图元分别识别为左大腿和右大腿；
将余下未识别图元中距离左大腿最近的图元识别为左小腿，将距离右大腿最近的图元识别为右小腿；
在识别得到二维人体骨架后，采用如下的轮廓线绑定过程，将二维服装边缘轮廓线与二维人体骨架进行绑定：
计算二维人体骨架的闭包矩形；
计算二维服装边缘轮廓线的闭包矩形；
对每一条二维人体骨架计算二维服装边缘轮廓线的闭包矩形与二维人体骨架的闭包矩形的重合面积；
计算闭包矩形重合程度；
重复上述步骤，直到所有骨架段均被计算；
选取闭包矩形重合程度最大的二维人体骨架，将二维服装边缘轮廓线与该二维人体骨架判定为对应关系；
重复上述步骤，直到所有轮廓线均已计算；
识别得到由二维人体模板骨架结构和对应的二维人体模板轮廓线、以及搭配人体的二维服饰轮廓线组成的数据集，该数据集为{腰臀比，上半身/身高比，下半身/身高比，手臂比例，臂展/身高比，腿部比例，二维人体模板轮廓曲线，二维服饰轮廓曲线}；
步骤step2，生成三维人体模型数据库，从该数据库中提取三维人体模型中的基础特征值{三维腰围、三维臀围、三维上躯干长度、三维下躯干长度、三维躯干长度、三维手臂长度、三维腿部长度、三维身高}，根据该基础特征值计算三维人体模型中的特征向量M3D＝{三维腰臀比，三维上躯干/身高比，三维下躯干/身高比，三维臂展/身高比，三维躯干/腿部比}；
步骤step3，根据三维人体模型数据库中三维人体模型身高的平均值与二维人体模型中的人体模型身高之比，对二维人体模型进行归一化处理，获得二维人体模型的基础特征值{二维腰围，二维臀围，二维上躯干长度，二维下躯干长度，二维躯干长度，二维手臂长度，二维腿部长度，二维身高}，根据该基础特征值计算二维人体模型中的特征向量M2D＝{二维腰臀比，二维上躯干/身高比，二维下躯干/身高比，二维臂展/身高比，二维躯干/腿部比}；
步骤step4，计算三维-二维人体模型的差值特征向量M3D-2D＝M3D-M2D＝{三维与二维腰臀比差值m3D-2D-1，三维与二维上躯干/身高比差值m3D-2D-2，三维与二维下躯干/身高比差值m3D-2D-3，三维与二维臂展/身高比差值m3D-2D-4，三维与二维躯干/腿部比差值m3D-2D-5}；
生成RBF网络模型的训练样本数据，具体方法如下：
提取三维人体模型数据库中三维人体模型的正交投影图像，获得对应的二维人体模型，计算三维-二维人体模型的差值特征向量M3D-2D-X＝{三维与二维腰臀比差值m3D-2D-1-X，三维与二维上躯干/身高比差值m3D-2D-2-X，三维与二维下躯干/身高比差值m3D-2D-3-X，三维与二维臂展/身高比差值m3D-2D-4-X，三维与二维躯干/腿部比差值m3D-2D-5-X}，并且设定该二维人体模型与对应的三维人体模型的相似度S＝1；
以三维-二维人体模型的差值特征向量M3D-2D-X为输入层，以三维-二维人体模型相似度S为输出层目标值，建立由三维与二维腰臀比差值m3D-2D-1-X、三维与二维上躯干/身高比差值m3D-2D-2-X、三维与二维下躯干/身高比差值m3D-2D-3-X、三维与二维臂展/身高比差值m3D-2D-4-X、三维与二维躯干/腿部比差值m3D-2D-5-X等特征融合的RBF网络模型，该RBF网络的输入层到隐含层实现特征向量M3D-2D-X→fi(特征向量M3D-2D-X)的非线性映射，隐含层到输出层实现fi(特征向量M3D-2D-X)→S的线性映射，使其以10-4的精度逼近样本的目标值；
RBF网络的训练过程为由实验样本数据确定训练的隐合层与输出层之间的权值特征向量W3D-2D-i＝{w3D-2D-1-i，w3D-2D-2-i，w3D-2D-3-i，w3D-2D-4-i，w3D-2D-15-i}，该权值特征向量W3D-2D-i＝fi-1(特征向量M3D-2D-X)S；
根据获得的权值特征向量W3D-2D-i，按照公式S＝1/(∑w3D-2D-i*m3D-2D-i)，计算二维人体模板与三维人体模板之间的相似度值；
在三维人体模型数据库中搜索一个与二维人体模型的相似度S＞S0的三维人体模型，以该三维人体模型作为配比模型；
其中，S0为系统预先设定的数值；
步骤step5，根据人体模板骨架结构将二维轮廓特征映射到三维配比模板的截面轮廓特征，计算所有对应参数之间的缩放比例作为轮廓形变参数，对轮廓形变参数进行插值得到三维形变参数，依据形变参数对二维模型进行形变得到搭配服装的三维模型。
Claims (4)
1.一种基于特征融合与RBF网络的模型配比计算方法，其特征在于，包括如下步骤：
步骤一，生成二维人体模型，在该二维模板上生成服饰轮廓曲线，对二维模板及服饰轮廓曲线进行解析，识别得到由二维人体模板骨架结构和对应的二维人体模板轮廓曲线、以及搭配人体的二维服饰轮廓曲线组成的数据集；
步骤二，生成三维人体模型数据库，从该数据库中提取三维人体模型中的基础特征值，根据其计算三维人体模型中的特征向量；
步骤三，根据三维人体模型数据库中三维人体模型身高的平均值与二维人体模型中的人体模型身高之比，对二维人体模型进行归一化处理，获得二维人体模型的基础特征值，根据其计算二维人体模型中的特征向量；
步骤四，计算三维-二维人体模型的差值特征向量；
步骤五，建立三维-二维人体模型的差值特征融合的RBF网络模型，获得三维-二维人体模型的差值特征向量的权值特征向量，根据获得的权值特征向量计算二维人体模板与三维人体模板之间的相似度值；
步骤六，根据二维人体模板与三维人体模板之间的相似度值，在三维人体模型数据库中选取对应的三维配比模型；
步骤七，根据人体模板骨架结构将二维轮廓特征映射到三维配比模板的截面轮廓特征，计算所有对应参数之间的缩放比例作为轮廓形变参数，对轮廓形变参数进行插值得到三维形变参数，依据形变参数对二维模型进行形变得到搭配服装的三维模型。
2.根据权利要求1所述的一种基于特征融合与RBF网络的模型配比计算方法，其特征在于，所述步骤一中的数据集为{腰臀比，上半身/身高比，下半身/身高比，手臂比例，臂展/身高比，腿部比例，二维人体模板轮廓曲线，二维服饰轮廓曲线}。
3.根据权利要求1所述的一种基于特征融合与RBF网络的模型配比计算方法，其特征在于，所述三维-二维人体模型的差值特征向量＝{三维与二维腰臀比差值，三维与二维上躯干/身高比差值，三维与二维下躯干/身高比差值，三维与二维臂展/身高比差值，三维与二维躯干/腿部比差值}。
4.根据权利要求1所述的一种基于特征融合与RBF网络的模型配比计算方法，其特征在于，所述二维人体模板与三维人体模板之间的相似度值S按照如下公式计算：
S＝1/(∑w3D-2D-i*m3D-2D-i)；
式中：w3D-2D-i为三维-二维人体模型的差值特征向量的权值特征向量，m3D-2D-i为三维-二维人体模型的差值特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211383555.XA CN115690181B (zh) | 2022-11-07 | 2022-11-07 | 一种基于特征融合与rbf网络的模型配比计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211383555.XA CN115690181B (zh) | 2022-11-07 | 2022-11-07 | 一种基于特征融合与rbf网络的模型配比计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115690181A true CN115690181A (zh) | 2023-02-03 |
| CN115690181B CN115690181B (zh) | 2023-05-12 |
Family
ID=85050065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211383555.XA Active CN115690181B (zh) | 2022-11-07 | 2022-11-07 | 一种基于特征融合与rbf网络的模型配比计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115690181B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101833788A (zh) * | 2010-05-18 | 2010-09-15 | 南京大学 | 一种采用手绘草图的三维人体建模方法 |
| CN101853523A (zh) * | 2010-05-18 | 2010-10-06 | 南京大学 | 一种采用草图创建三维人脸模型的方法 |
| CN102737338A (zh) * | 2012-05-24 | 2012-10-17 | 深圳市美丽同盟科技有限公司 | 新型虚拟试衣方法及系统 |
| JP2013120556A (ja) * | 2011-12-08 | 2013-06-17 | Kddi Corp | 被写体姿勢推定装置および映像描画装置 |
| CN105513135A (zh) * | 2015-09-15 | 2016-04-20 | 浙江大学 | 一种三维服装纸样的空间位置自动设置方法 |
| CN105631932A (zh) * | 2015-12-22 | 2016-06-01 | 北京航空航天大学 | 一种轮廓线指导的三维模型重构造方法 |
| CN108921933A (zh) * | 2018-05-14 | 2018-11-30 | 芜湖岭上信息科技有限公司 | 一种真实服饰试穿方法和装置 |
| CN108986159A (zh) * | 2018-04-25 | 2018-12-11 | 浙江森马服饰股份有限公司 | 一种三维人体模型重建与测量的方法和设备 |
| CN109919735A (zh) * | 2019-03-19 | 2019-06-21 | 江苏皓之睿数字科技有限公司 | 一种基于移动终端的3d模拟服饰搭配方法及系统 |
| CN114119908A (zh) * | 2020-08-27 | 2022-03-01 | 北京陌陌信息技术有限公司 | 一种服装模型驱动方法、设备和存储介质 |
| CN114119910A (zh) * | 2020-08-27 | 2022-03-01 | 北京陌陌信息技术有限公司 | 一种服装模型匹配人体模型的方法、设备和存储介质 |
| CN114202629A (zh) * | 2020-08-27 | 2022-03-18 | 北京陌陌信息技术有限公司 | 一种人体模型的建立方法、系统、设备和存储介质 |
| CN115272579A (zh) * | 2022-07-31 | 2022-11-01 | 江南大学 | 一种基于多特征融合的单张图像三维服装重建方法 |
-
2022
- 2022-11-07 CN CN202211383555.XA patent/CN115690181B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853523A (zh) * | 2010-05-18 | 2010-10-06 | 南京大学 | 一种采用草图创建三维人脸模型的方法 |
| CN101833788A (zh) * | 2010-05-18 | 2010-09-15 | 南京大学 | 一种采用手绘草图的三维人体建模方法 |
| JP2013120556A (ja) * | 2011-12-08 | 2013-06-17 | Kddi Corp | 被写体姿勢推定装置および映像描画装置 |
| CN102737338A (zh) * | 2012-05-24 | 2012-10-17 | 深圳市美丽同盟科技有限公司 | 新型虚拟试衣方法及系统 |
| CN105513135A (zh) * | 2015-09-15 | 2016-04-20 | 浙江大学 | 一种三维服装纸样的空间位置自动设置方法 |
| CN105631932A (zh) * | 2015-12-22 | 2016-06-01 | 北京航空航天大学 | 一种轮廓线指导的三维模型重构造方法 |
| CN108986159A (zh) * | 2018-04-25 | 2018-12-11 | 浙江森马服饰股份有限公司 | 一种三维人体模型重建与测量的方法和设备 |
| CN108921933A (zh) * | 2018-05-14 | 2018-11-30 | 芜湖岭上信息科技有限公司 | 一种真实服饰试穿方法和装置 |
| CN109919735A (zh) * | 2019-03-19 | 2019-06-21 | 江苏皓之睿数字科技有限公司 | 一种基于移动终端的3d模拟服饰搭配方法及系统 |
| CN114119908A (zh) * | 2020-08-27 | 2022-03-01 | 北京陌陌信息技术有限公司 | 一种服装模型驱动方法、设备和存储介质 |
| CN114119910A (zh) * | 2020-08-27 | 2022-03-01 | 北京陌陌信息技术有限公司 | 一种服装模型匹配人体模型的方法、设备和存储介质 |
| CN114202629A (zh) * | 2020-08-27 | 2022-03-18 | 北京陌陌信息技术有限公司 | 一种人体模型的建立方法、系统、设备和存储介质 |
| CN115272579A (zh) * | 2022-07-31 | 2022-11-01 | 江南大学 | 一种基于多特征融合的单张图像三维服装重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIAXING CHEN等: "Learning 3D Shape Feature for Texture-insensitive Person Re-identification", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) * |
| 朱玉祥: "虚拟三维服装展示关键技术研究", 《中国博士学位论文全文数据库 工程科技I辑》 * |
| 王琛;刘弘;陆佃杰;: "基于Kinect骨架追踪的三维人体模型检索", 山东师范大学学报(自然科学版) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115690181B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986159B (zh) | 一种三维人体模型重建与测量的方法和设备 | |
| CN105354876B (zh) | 一种基于移动终端的实时立体试衣方法 | |
| Zhao et al. | M3d-vton: A monocular-to-3d virtual try-on network | |
| CN109427007B (zh) | 基于多视角的虚拟试衣方法 | |
| Guan et al. | Drape: Dressing any person | |
| Cheng et al. | Parametric modeling of 3D human body shape—A survey | |
| CN114663199A (zh) | 一种动态展示的实时三维虚拟试衣系统及方法 | |
| CN110197462A (zh) | 一种人脸图像实时美化与纹理合成方法 | |
| Ehara et al. | Texture overlay for virtual clothing based on PCA of silhouettes | |
| US10049503B2 (en) | Line guided three-dimensional model reshaping method | |
| CN113012303B (zh) | 一种可保持服装纹理特征的多种类变尺度虚拟试衣方法 | |
| CN108564619B (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
| CN110263605A (zh) | 基于二维人体姿态估计的行人服饰颜色识别方法及装置 | |
| Zhang et al. | Design 3D garments for scanned human bodies | |
| US11295115B2 (en) | Method and device for generating face image, electronic device and computer readable storage medium | |
| CN112116699A (zh) | 一种基于3d人脸跟踪的实时真人虚拟试发方法 | |
| Liao et al. | Rapid 3D face reconstruction by fusion of SFS and Local Morphable Model | |
| CN114092636A (zh) | 一种采用神经网络的虚拟人物建模参数估计方法 | |
| CN109886091A (zh) | 基于带权重局部旋度模式的三维人脸表情识别方法 | |
| Ma et al. | Dressing 3d humans using a conditional mesh-vae-gan | |
| CN115690181A (zh) | 一种基于特征融合与rbf网络的模型配比计算方法 | |
| CN108492344A (zh) | 一种肖像漫画生成方法 | |
| Huang et al. | A method of shadow puppet figure modeling and animation | |
| Andre et al. | CrossSketch: Freeform surface modeling with details | |
| Jia et al. | 3D personalized human modeling and deformation technology for garment CAD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |