CN109035413A - 一种图像变形的虚拟试穿方法及系统 - Google Patents

一种图像变形的虚拟试穿方法及系统 Download PDF

Info

Publication number
CN109035413A
CN109035413A CN201710779389.8A CN201710779389A CN109035413A CN 109035413 A CN109035413 A CN 109035413A CN 201710779389 A CN201710779389 A CN 201710779389A CN 109035413 A CN109035413 A CN 109035413A
Authority
CN
China
Prior art keywords
user
image
dimensional
anamorphose
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710779389.8A
Other languages
English (en)
Other versions
CN109035413B (zh
Inventor
李基拓
陈相屹
朱家林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wang Conghai
Original Assignee
Yun Zhimeng Science And Technology Ltd Of Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yun Zhimeng Science And Technology Ltd Of Shenzhen filed Critical Yun Zhimeng Science And Technology Ltd Of Shenzhen
Priority to CN201710779389.8A priority Critical patent/CN109035413B/zh
Publication of CN109035413A publication Critical patent/CN109035413A/zh
Application granted granted Critical
Publication of CN109035413B publication Critical patent/CN109035413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种图像变形的虚拟试穿方法，包括：将图像预处理；将图像变形；将用户人脸图像与用户着装人体图像拼接；将用户三维体形与三维模特之间的形体差异驱动，驱动服装图像形变，将形变的服装图像叠加到人体图像，得到真实感的服装试穿效果。

Description

一种图像变形的虚拟试穿方法及系统
技术领域
本发明涉及图像处理领域，尤其涉及一种图像变形的虚拟试穿方法及系统。
背景技术
随着计算机图形学等信息处理技术的发展，已经研发出能够实现虚拟试穿的诸多方案。通过虚拟试穿系统，用户不必真实地穿上衣服，而仅需要将自己的影像提供给虚拟试穿系统就能够看到虚拟试穿的效果。这种虚拟试穿系统的应用十分广泛，比如，设计师可利用虚拟试穿系统来辅助服装设计，而随着网络技术的发展，对于普通用户而言，这种虚拟试穿系统还特别适用于网络购物、虚拟社区等在线交互系统。
现有的虚拟试穿主要可以分为二维和三维两种技术实现路径：三维虚拟试穿是指利用三维建模技术，生成用户人体以及服装的三维模型数据，再借助于三维几何变形或布料物理形变模拟等相关算法，在三维场景中模拟出人体模型的穿衣效果。但三维服装建模制作周期较长，且高真实感的三维物理模拟和布料材质渲染存在高计算成本，仍存在很多技术障碍。二维虚拟试穿是指通过拍摄、绘制和图像处理等方式获得服装的二维图像，再通过固定或动态识别的方式，叠加在人体图像上，例如叠加在人体模特图像或顾客图像上。这类技术在服装资源的制作上成本较低，可以快速生产出虚拟试穿所需要的大量服装素材。但此类技术也存在一些不足，如当将服装叠加顾客图像上时，当虚拟服装图像不能覆盖顾客自身所穿服装的图像时，如用户穿着长袖衬衫虚拟试穿短袖，将对试穿效果的真实感产生严重影响；另一方面，此类技术大多仅从二维平面上考虑服装图像与人体图像之间的相对位置关系，而缺乏人体三维形体变化对服装形状的非线性形变影响的计算，影响了试穿结果的真实感。
发明内容
本发明的第一个目的是提供一种图像变形的虚拟试穿方法，包括：
将图像预处理；
将图像变形；
将用户人脸图像与用户着装人体图像拼接；
将三维体形与三维模特之间的形体差异驱动，驱动服装图像形变，并将形变的服装图像叠加到人体图像，得到真实感的服装试穿效果。
进一步地，所述的服装图像预处理，包括：
服装拍摄预处理；
三维模特预处理；
计算拍摄角度的投影矩阵预处理；
建立相机投影矩阵到常规渲染引擎渲染物体时所用投影矩阵之间的转换关系预处理；
三维模特模型渲染到二维模特图片预处理。
进一步地，所述的服装拍摄预处理，包括：
定制三维模特，在模特上添加标记设备，为后续投影矩阵计算准备原始数据；
将展示的服装穿到模特身上；
调整相机位置和角度对服装进行拍摄；
利用图像处理工具将画幅从背景中抠出\扣出，通过alpha通道（阿尔法通道）设置不同值区分画幅和背景；
进一步地，所述的利用图像处理工具将画幅从背景中抠出\扣出，通过alpha通道（阿尔法通道）设置不同值区分画幅和背景，包括：
利用图像处理工具将拍摄后服装对应画幅从背景中抠出，通过alpha通道（阿尔法通道）设置不同值区分服装画幅和背景。
利用图像处理工具将标记设备对应的画幅从背景中扣出，通过alpha通道设置不同值区分标记设备画幅和背景。
进一步地，所述的调整相机位置和角度对服装进行拍摄，需要同时拍摄正面和特定角度的侧背面的照片。
进一步地，所述的三维模特预处理，包括：
分别定制的男女三维模特；
建立模特的三维模型 。
进一步地，所述的计算拍摄角度的投影矩阵，包括：
从三维模型中提取标记设备三维点坐标;
从抠出的标记设备对应的二维图片画幅中提取对应的标记点；
建立标记设备三维到二维对应关系;
根据相机成像原理，将得到的标记设备三维点和对应二维点，计算每件服装拍照时对应的相机投影矩阵。
进一步地，所述的图像变形包括：
变形前数据准备；
将用户着装人体图像四边形网格化；
将三维模特模型拟合到用户三维人体模型；
将图像变形的服装叠加到二维用户图片，得到用户着装人体图像。
进一步地，所述的用户人脸图像与用户着装人体图像拼接，包括：
用户人脸倾斜校正；
计算用户人脸图像在用户着装人体图像上拼接位置；
计算与用户着装人体图像拼接位置对应的用户人脸图像上的拼接位置；
用户人脸图片缩放比例计算；
通过图像空间变换将用户人脸变换到用户着装人体图像；
用户身体个性化及拼接效果优化。
进一步地，所述的用户人脸倾斜校正，
包括：
用户人脸水平倾斜角度计算；
根据倾斜角旋转用户人脸图像。
进一步地，所述的计算用户人脸图像在用户着装人体图像上拼接位置，包括：
高度方向拼接位置；
横向拼接位置；
拼接位置。
进一步地，所述的人脸图片缩放比例计算，还包括，
单张用户人脸照片拟合用户三维人脸模型；
建立用户三维脸部模型顶点集合的UV坐标与用户脸部图像对应点映射关系；
对拟合的用户三维脸部模型顶点集合采用服装投影矩阵进行投影；
初始缩放比例计算；
缩放比例二次校正。
进一步地，所述的通过图像空间变换将用户人脸变换到用户着装人体图像，包括：
计算用户人脸旋转量，平移量，缩放比例对应的变换矩阵；
根据变换矩阵执行图像变换。
进一步地，所述的用户身体个性化及拼接效果优化，包括：
肤色融合；
用户人脸与二维用户脖子区域融合。
本发明的第二个目的是提供一种服装图像变形的虚拟试穿系统，包括：
第一获取单元，服装图像预处理单元；
第一生成单元，服装图像变形单元；
第二生成单元，用户人脸图像与用户着装人体图像拼接单元；
确定单元，三维体形与模特之间的形体差异驱动，驱动服装图像形变，并将形变的服装图像叠加到顾客人体图像上，得到真实感的服装试穿效果。
本发明的第三个目的是提供一种图像变形的虚拟试穿方法及系统，还包括，服装形象背面展示。
进一步地，所述的服装形象背面展示，背面形象同样是根据用户三维体形与三维模特之间的形体差异驱动，驱动服装图像形变，将形变的服装图像叠加到人体图像，得到真实感的服装试穿效果。
本发明的第四个目的是提供一种图像变形的试穿产品，包括适用于服装、鞋和饰品。
有益效果：本发明提供一种图像变形的虚拟试穿方法及系统，根据用户形体调整服装形状，实现用户对服装的虚拟试穿，提高图像的虚拟试穿的真实感程度。具体地，在已知三维形体的人体模特上拍摄服装图像，并由用户的三维体形与模特之间的形体差异驱动，驱动模特图像形变，使模特图像在形体上逼近用户形体，并由用户的人脸和头发图像替换模特人体头像，以用户肤色修改人体模特图像上的肤色；以修改后的人体模特图像作为用户人体的未着装图像；另一方面，由用户的三维体形与模特之间的形体差异驱动，驱动服装图像形变。并将形变后的服装图像叠加到用户人体图像上，从而得到高真实感的服装试穿效果。
附图说明
图1是图像变形的虚拟试穿方法流程图
图2是图像变形的虚拟试穿系统流程图
图3是三维模特模型图
图4是三维模特着装图
图5是三维模特着装四边形网格化图
图6是用户三维人体模型图
图7是用户三维人体模型与三维模特着装模型的四边形网格化图
图8是着装图像形变效果图
图9是用户人脸图像与用户着装人体图像拼接效果图
图10是图像变形的虚拟试穿流程图
图11是背面呈现效果图
图12是图像变形背面呈现的虚拟试穿流程图
图3是三维模特模型图，图4是三维模特着装图，图5是三维模特着装四边形网格化图，图6是用户三维人体模型图，图7是用户三维人体模型与三维模特着装模型的四边形网格化图，图8是着装图像形变效果图，将三维模特模型预处理，得到图3三维模特模型，将三维模特着装预处理，得到图4三维着装图像，将三维模特着装四边形网格化预处理，得到图5三维模特着装四边形网格化，将用户三维人体模型预处理，得到图6用户三维人体模型，将用户三维人体模型与模特模型形体差异驱动四边形网格形变，带动着装图像形变，得到图8
着装图像形变效果图，将用户人脸图像与用户着装人体图像拼接预处理，得到图9用户人脸图像与用户着装人体图像拼接效果。
背面呈现图如（图3-8）图像处理方法是同样的，为满足用户对服装背面的预览需求，展示场景中有一面镜子，镜子前面为用户着装正面形象，镜子里面为用户着装背面呈现形象。为防止正面形象对镜中形象的遮挡，将镜子偏转角度，相应的，所展示的背面呈现形象为一定偏角的侧背面。当没有用户头部背面图像时，调整镜子高度，使得背面形象中头部刚好被隐藏。背面呈现形象同样是根据用户体型参数做变形的，同时与正面形象保持协调一致。图像预处理时，需要同时预处理正面和侧背面，按着上图3-8的图像处理方法，得到背面呈现效果图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合实例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种图像变形的虚拟试穿方法，包括：
将图像预处理；
将图像变形；
将用户人脸图像与用户着装人体图像拼接；
将三维体形与三维模特之间的形体差异驱动，驱动服装图像形变，并将形变的服装图像叠加到人体图像，得到真实感的服装试穿效果。
优选实施例，本发明实施例中的服装图像预处理，包括：
服装拍摄预处理；
三维模特预处理；
计算拍摄角度的投影矩阵预处理；
建立相机投影矩阵到常规渲染引擎渲染物体时所用投影矩阵之间的转换关系预处理；
三维模特模型渲染到二维模特图片预处理。
优选实施例，本发明实施例中的服装拍摄预处理，包括：
定制三维模特，在模特上添加标记设备，为后续投影矩阵计算准备原始数据；
将展示的服装穿到模特身上；
调整相机位置和角度对服装进行拍摄；
利用图像处理工具将画幅从背景中抠出\扣出，通过alpha通道（阿尔法通道）设置不同值区分画幅和背景；
优选实施例，本发明实施例中的利用图像处理工具将画幅从背景中抠出\扣出，通过alpha通道（阿尔法通道）设置不同值区分画幅和背景，包括：
利用图像处理工具将拍摄后服装对应画幅从背景中抠出，通过alpha通道（阿尔法通道）设置不同值区分服装画幅和背景。
利用图像处理工具将标记设备对应的画幅从背景中扣出，通过alpha通道设置不同值区分标记设备画幅和背景。
优选实施例，本发明实施例中的调整相机位置和角度对服装进行拍摄，需要同时拍摄正面和特定角度的侧背面的照片。
优选实施例，本发明实施例中的三维模特预处理，包括：
分别定制的男女三维模特；
建立模特的三维模型。
优选实施例，本发明实施例中的计算拍摄角度的投影矩阵，包括：
从三维模型中提取标记设备三维点坐标;
从抠出的标记设备对应的二维图片画幅中提取对应的标记点；
建立标记设备三维到二维对应关系;
根据相机成像原理，将得到的标记设备三维点和对应二维点，计算每件服装拍照时对应的相机投影矩阵。
优选实施例，本发明实施例中的图像变形包括：
变形前数据准备；
将用户着装人体图像四边形网格化；
将三维模特模型拟合到用户三维人体模型；
将图像变形的服装叠加到二维用户图片，得到用户着装人体图像。
优选实施例，本发明实施例中图像变形，由二维模特图片的投影矩阵将H和H'上的网格顶点投影到二维平面，比较投影点坐标集合分别为{pi}与{qi}，对{pi}中的每个点pi，计算其位于2中的四边形网格中的哪个四边形内，并由该四边形网格顶点线性表示pi。通过以下能量最小化方程，求解四边形网格形变。
其中，ωj表示pi在对应的四边形中的 重心坐标，且ω0+ω1+ω2+ω3＝1，ti,j为与pi相关的四个网格顶点上的位移， (i，j)∈E，表示四边形网格的第i与第j个顶点之间存在一条网格边，ti与ti分 别为这两个顶点上的位移。在求得每个四边形网格顶点上的位移ti后，对四边 形网格顶点坐标做相应的位移ti，得到形变的四边形网格，从而使三维模特着 装图像产生相应的形变。
优选实施例，本发明实施例中的用户人脸图像与用户着装人体图像拼接，包括：
用户人脸倾斜校正；
计算用户人脸图像在用户着装人体图像上拼接位置；
计算与用户着装人体图像拼接位置对应的用户人脸图像上的拼接位置；
用户人脸图片缩放比例计算；
通过图像空间变换将用户人脸变换到用户着装人体图像；
用户身体个性化及拼接效果优化。
优选实施例，本发明实施例中的用户人脸倾斜校正，
包括：
用户人脸水平倾斜角度计算；
根据倾斜角旋转用户人脸图像。
优选实施例，本发明实施例中用户水平倾斜角度计算，提取出用户人脸图像两个眼角特征点，并两个眼角特征点位置构成方向向量V1,计算V1与水平方向向量V0的夹角作为用户人脸倾斜角度。
优选实施例，本发明实施例中的计算用户人脸图像在用户着装人体图像上拼接位置，包括：
高度方向拼接位置；
横向拼接位置；
拼接位置。
优选实施例，本发明实施例中高度方向拼接位置，先在三维用户网格模型上标记下巴点对应脖子高度位置，通过相机投影矩阵投影得到在用户着装人体图像上高度位置，且该高度在着装人体图像脖子区域内，将该位置作为用户人脸图像下巴点对应拼接高度方向位置，令其对应对应Y轴上坐标为Y0。
优选实施例，本发明实施例中横向拼接位置，在着装人体图像坐标系XOY中，由于Y0在着装人体图像脖子上，从左到右逐像素扫描Y= Y0行，在着装人体图像背景alpha通道与其脖子图像alpha通道之间必然存在两个跳跃点J1，J2，其中J1为从背景到脖子alpha通道跳跃点，J2为从脖子到背景alpha通道跳跃点。J1和J2两点的X坐标的中间值作为横向位置。
优选实施例，本发明实施例中拼接位置，联合高度方向和横向拼接位置可确定人脸图像在着装人体图片上的拼接位置点坐标J，J = (J1+J2)/2 。
优选实施例，本发明实施例中高度方向拼接位置，从脸部特征点中选取下巴特征点的Y坐标作为初始高度方向拼接位置参考；根据实测样本发现当人脸相对相机存在俯仰偏角较大时，会影响下巴点特征点上下位置准确性，所以先选择人脸特征点中两个眼角特征点，嘴角特征点，鼻子特征点位置，进一步通过判断眼睛到鼻子最高点的高度与嘴巴到鼻子最高点的高度比例来判断头部俯仰姿态，通过大量样本统计分析得到较为合适的俯仰姿态对应的下巴点上下偏移量，从而提高下巴点的高度方向位置准确性。
优选实施例，本发明实施例中横向拼接位置，出于稳定性考虑，先计算脸部所有特征点的在图像空间的AABB包围盒，取包围盒宽度方向的中间位置作为横向拼接的初始位置，在整体上基本确保脸部中间位置与目标二维身体图片脖子中间位置对齐。根据实测样本发现当人脸相对相机存在上下左右偏角较大时，整体脸部的特征点识别在边缘处不是特征准备，但是眼角比较准。所有引入了两个眼角的特征点横向中间位置作为约束；最后令两眼角特征点横向中间位置为eyeXRefPos，AABB包围盒宽度方向的中间位置aabbXRefPos，最终横向拼接位置为faceXPos，则faceXPos满足faceXPos = （eyeXRefPos + aabbXRefPos）/2 关系。
优选实施例，本发明实施例中拼接位置，联合高度方向和横向拼接位置可确定着装人体图片上对应的人脸图像拼接位置。
优选实施例，本发明实施例中的人脸图片缩放比例计算，还包括，
单张用户人脸照片拟合用户三维人脸模型；
建立用户三维脸部模型顶点集合的UV坐标与用户脸部图像对应点映射关系；
对拟合的用户三维脸部模型顶点集合采用服装投影矩阵进行投影；
初始缩放比例计算；
缩放比例二次校正。
优选实施例，本发明实施例中的通过图像空间变换将用户人脸变换到用户着装人体图像，包括：
计算用户人脸旋转量，平移量，缩放比例对应的变换矩阵；
根据变换矩阵执行图像变换。
优选实施例，本发明实施例中初始缩放比例计算，计算三维脸部模型的所有顶点的UV坐标集合对应用户脸部图像映射后对应点集合的AABB包围盒为B1，其大小用B1Size表示。计算拟合后的三维脸部模型顶点集合采用服装投影矩阵进行投影后得到对应点集合的AABB包围盒为B2，其大小用B2Size表示。令初始缩放比例为S0，则S0 = B2Size/B1Size。
优选实施例，本发明实施例中缩放比例二次校正，在实际大量样本测试发现根据统计学习方式根据用户人脸照片拟合出个性化顾客头部模型可能会出现偏差较大情形，需采用其他约束条件进行限制。
采集大量真实人体头身比例样本，发现正常人体的头部宽度和肩宽比例在一定范围[W1,W2]。可根据该范围做一定约束，可避免头身比例严重失调问题。主要步骤：从顾客模型中提取左右肩膀特征点，并通过投影矩阵进行投影后可以计算得到肩膀在着装人体中的像素宽度ShoulderWith，再按照（4）中方法计算通过S0缩放变换后用户人脸B1包围盒在宽度方向变化后的像素宽度B1ScaleWidth，最后通过判断B1ScaleWidth/ShoulderWith比值是否在[W1,W2]内，针对不在该范围用户人脸，根据W1,W2重新计算其缩放比例。
优选实施例，本发明实施例中的用户身体个性化及拼接效果优化，包括：
肤色融合；
用户人脸与二维用户脖子区域融合。
优选实施例，本发明实施例中肤色融合，分别统计人脸图像和渲染得到变形后的二维顾客图片亮度，颜色空间的均值，方差之间的差异，将用户人脸的亮度及颜色信息迁移到变形后的二维顾客图片上，避免人脸和身体肤色差异过大。
优选实施例，本发明实施例中用户人脸与二维顾客脖子区域融合
利用Alpha Matting算法，把用户人脸作为前景，二维顾客脖子区域作为背景，进行融合，从而使用户人脸与二维顾客脖子区域过渡更加自然。
本发明的实施例提供一种服装图像变形的虚拟试穿系统，包括：
第一获取单元，服装图像预处理单元；
第一生成单元，服装图像变形单元；
第二生成单元，用户人脸图像与用户着装人体图像拼接单元；
确定单元，三维体形与模特之间的形体差异驱动，驱动服装图像形变，并将形变的服装图像叠加到顾客人体图像上，得到真实感的服装试穿效果。
本发明的实施例提供一种图像变形的虚拟试穿方法及系统，还包括，服装形象背面展示。
优选实施例，本发明实施例中的服装形象背面展示，背面形象同样是根据用户三维体形与三维模特之间的形体差异驱动，驱动服装图像形变，将形变的服装图像叠加到人体图像，得到真实感的服装试穿效果。
本发明的实施例提供一种图像变形的试穿产品，包括适用于服装、鞋和饰品。
上述描述具有广泛的应用。例如，虽然本发明所公开的实例可能将重点放在了图像形变的虚拟试穿上，但应当了解，本发明所公开的概念可同等地适用于其他可穿戴领域。类似地，尽管可结合图像形变的虚拟试穿对各个实施例进行了讨论，但是图像形变的虚拟试穿任何独立特征均可单独使用或集成到一起使用。因此，对任何实施例的讨论仅旨在作为例子，并非意图提出将本公开 ( 包括权利要求书 ) 的范围限制于这些例子中。

Claims (16)

1.一种图像变形的虚拟试穿方法，其特征在于，包括：
将图像预处理；
将图像变形；
将用户人脸图像与用户着装人体图像拼接；
将用户三维体形与三维模特之间的形体差异驱动，驱动服装图像形变，将形变的服装图像叠加到人体图像，得到真实感的服装试穿效果。
2.如权利要求1 所述图像变形的虚拟试穿方法，其特征在于，所述的服装图像预处理，包括：
服装拍摄预处理；
三维模特预处理；
计算拍摄角度的投影矩阵预处理；
建立相机投影矩阵到常规渲染引擎渲染物体时所用投影矩阵之间的转换关系预处理；
三维模特模型渲染到二维模特图片预处理。
3.如权利要求1或2所述图像变形的虚拟试穿方法，其特征在于，所述的服装拍摄预处理，包括：
定制三维模特，在模特上添加标记设备，为后续投影矩阵计算准备原始数据；
将展示的服装穿到模特身上；
调整相机位置和角度对服装进行拍摄；
利用图像处理工具将画幅从背景中抠出\扣出，通过alpha通道（阿尔法通道）设置不同值区分画幅和背景；
如权利要求1或3所述图像变形的虚拟试穿方法，其特征在于，所述的调整相机位置和角度对服装进行拍摄，需要同时拍摄正面和特定角度的侧背面的照片。
4.如权利要求1或2所述图像变形的虚拟试穿方法，其特征在于，所述的三维模特预处理，包括：
分别定制的男女三维模特；
建立模特的三维模型。
5.如权利要求1或2所述图像变形的虚拟试穿方法，其特征在于，所述的计算拍摄角度的投影矩阵，包括：
从三维模型中提取标记设备三维点坐标;
从抠出的标记设备对应的二维图片画幅中提取对应的标记点；
建立标记设备三维到二维对应关系;
根据相机成像原理，将得到的标记设备三维点和对应二维点，计算每件服装拍照时对应的相机投影矩阵。
6.如权利要求1所述图像变形的虚拟试穿方法，其特征在于，所述的图像变形包括：
变形前数据准备；
将用户着装人体图像四边形网格化；
将三维模特模型拟合到用户三维人体模型；
将图像变形的服装叠加到二维用户图片，得到用户着装人体图像。
7.如权利要求1所述图像变形的虚拟试穿方法，其特征在于，所述的用户人脸图像与用户着装人体图像拼接，包括：
用户人脸倾斜校正；
计算用户人脸图像在用户着装人体图像上拼接位置；
计算与用户着装人体图像拼接位置对应的用户人脸图像上的拼接位置；
用户人脸图片缩放比例计算；
通过图像空间变换将用户人脸变换到用户着装人体图像；
用户身体个性化及拼接效果优化。
8.如权利要求1或8所述图像变形的虚拟试穿方法，其特征在于，所述的用户人脸图像与用户着装人体图像拼接，所述的用户人脸倾斜校正，还包括：
用户人脸水平倾斜角度计算；
根据倾斜角旋转用户人脸图像。
9.如权利要求1或8所述图像变形的虚拟试穿方法，其特征在于，所述的计算用户人脸图像在用户着装人体图像上拼接位置，包括：
高度方向拼接位置；
横向拼接位置；
拼接位置。
10.如权利要求1或8所述图像变形的虚拟试穿方法，其特征在于，所述的人脸图片缩放比例计算，还包括，
单张用户人脸照片拟合用户三维人脸模型；
建立用户三维脸部模型顶点集合的UV坐标与用户脸部图像对应点映射关系；
对拟合的用户三维脸部模型顶点集合采用服装投影矩阵进行投影；
初始缩放比例计算；
缩放比例二次校正。
11.如权利要求1或8所述图像变形的虚拟试穿方法，其特征在于，所述的通过图像空间变换将用户人脸变换到用户着装人体图像，包括：
计算用户人脸旋转量，平移量，缩放比例对应的变换矩阵；
根据变换矩阵执行图像变换。
12.如权利要求1或8所述图像变形的虚拟试穿方法，其特征在于，所述的用户身体个性化及拼接效果优化，包括：
肤色融合；
用户人脸与二维用户脖子区域融合。
13.一种图像变形的虚拟试穿系统，其特征在于，包括：
第一获取单元，图像预处理单元；
第一生成单元，图像变形单元；
第二生成单元，用户人脸图像与用户着装人体图像拼接单元；
确定单元，三维体形与模特之间的形体差异驱动，驱动服装图像形变，将形变的服装图像叠加到顾客人体图像上，得到真实感的服装试穿效果。
14.如权利要求1至14任意一项所述的图像变形的虚拟试穿方法及系统，其特征在于，所述的图像变形的虚拟试穿方法及系统，还进一步包括，服装形象背面展示。
15.如权利要求1至15任意一项所述的图像变形的虚拟试穿方法及系统，其特征在于，所述的服装形象背面展示，背面形象同样是根据用户三维体形与三维模特之间的形体差异驱动，驱动服装图像形变，将形变的服装图像叠加到人体图像，得到真实感的服装试穿效果。
16.一种图像变形的试穿产品，包括适用于服装、鞋和饰品，其特征在于，所述图像变形的试穿产品为权利要求 1至16 中任意一项所述的图像变形的方法及系统。
CN201710779389.8A 2017-09-01 2017-09-01 一种图像变形的虚拟试穿方法及系统 Active CN109035413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710779389.8A CN109035413B (zh) 2017-09-01 2017-09-01 一种图像变形的虚拟试穿方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710779389.8A CN109035413B (zh) 2017-09-01 2017-09-01 一种图像变形的虚拟试穿方法及系统

Publications (2)

Publication Number Publication Date
CN109035413A true CN109035413A (zh) 2018-12-18
CN109035413B CN109035413B (zh) 2021-12-14

Family

ID=64630257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710779389.8A Active CN109035413B (zh) 2017-09-01 2017-09-01 一种图像变形的虚拟试穿方法及系统

Country Status (1)

Country Link
CN (1) CN109035413B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976512A (zh) * 2019-02-03 2019-07-05 尚尚珍宝(北京)网络科技有限公司 可穿戴产品的推荐和展示系统以及方法
CN110288716A (zh) * 2019-06-14 2019-09-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110287809A (zh) * 2019-06-03 2019-09-27 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN110543826A (zh) * 2019-08-06 2019-12-06 尚尚珍宝(北京)网络科技有限公司 用于可穿戴产品虚拟佩戴的图像处理方法及装置
CN111277893A (zh) * 2020-02-12 2020-06-12 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
CN112291576A (zh) * 2020-10-14 2021-01-29 珠海格力电器股份有限公司 虚拟直播系统以及方法
CN113625863A (zh) * 2020-05-07 2021-11-09 艾索擘(上海)科技有限公司 自主式导览虚拟场景的创建方法、系统、设备和存储介质
CN113870404A (zh) * 2021-09-23 2021-12-31 聚好看科技股份有限公司 一种3d模型的皮肤渲染方法及设备
CN114549694A (zh) * 2021-12-29 2022-05-27 世纪开元智印互联科技集团股份有限公司 一种证件照换装方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578004A (zh) * 2013-11-15 2014-02-12 西安工程大学 一种用于展示虚拟试衣效果的方法
CN105654334A (zh) * 2015-12-17 2016-06-08 中国科学院自动化研究所 虚拟试衣方法和系统
WO2016151691A1 (ja) * 2015-03-20 2016-09-29 株式会社 東芝 画像処理装置、画像処理システム、画像処理方法及びプログラム
US20170039629A1 (en) * 2011-06-01 2017-02-09 Sony Corporation Image processing apparatus, image processing method, and program
CN107067460A (zh) * 2016-01-07 2017-08-18 广东京腾科技有限公司 一种虚拟试衣方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039629A1 (en) * 2011-06-01 2017-02-09 Sony Corporation Image processing apparatus, image processing method, and program
CN103578004A (zh) * 2013-11-15 2014-02-12 西安工程大学 一种用于展示虚拟试衣效果的方法
WO2016151691A1 (ja) * 2015-03-20 2016-09-29 株式会社 東芝 画像処理装置、画像処理システム、画像処理方法及びプログラム
CN105654334A (zh) * 2015-12-17 2016-06-08 中国科学院自动化研究所 虚拟试衣方法和系统
CN107067460A (zh) * 2016-01-07 2017-08-18 广东京腾科技有限公司 一种虚拟试衣方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHOU QIANMING等: "Apparel reasoning deformation and simulation method for 2D virtual try-on", 《COMPUTER ENGINEERING AND APPLICATIONS》 *
于芳: "三维服装设计与虚拟试衣", 《数字技术与应用》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976512A (zh) * 2019-02-03 2019-07-05 尚尚珍宝(北京)网络科技有限公司 可穿戴产品的推荐和展示系统以及方法
CN110287809B (zh) * 2019-06-03 2021-08-24 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN110287809A (zh) * 2019-06-03 2019-09-27 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN110288716A (zh) * 2019-06-14 2019-09-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110288716B (zh) * 2019-06-14 2023-08-08 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110543826A (zh) * 2019-08-06 2019-12-06 尚尚珍宝(北京)网络科技有限公司 用于可穿戴产品虚拟佩戴的图像处理方法及装置
CN111277893A (zh) * 2020-02-12 2020-06-12 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
CN113625863A (zh) * 2020-05-07 2021-11-09 艾索擘(上海)科技有限公司 自主式导览虚拟场景的创建方法、系统、设备和存储介质
CN112291576A (zh) * 2020-10-14 2021-01-29 珠海格力电器股份有限公司 虚拟直播系统以及方法
CN112291576B (zh) * 2020-10-14 2022-06-17 珠海格力电器股份有限公司 虚拟直播系统以及方法
CN113870404A (zh) * 2021-09-23 2021-12-31 聚好看科技股份有限公司 一种3d模型的皮肤渲染方法及设备
CN113870404B (zh) * 2021-09-23 2024-05-07 聚好看科技股份有限公司 一种3d模型的皮肤渲染方法及显示设备
CN114549694A (zh) * 2021-12-29 2022-05-27 世纪开元智印互联科技集团股份有限公司 一种证件照换装方法及系统
CN114549694B (zh) * 2021-12-29 2024-03-01 世纪开元智印互联科技集团股份有限公司 一种证件照换装方法及系统

Also Published As

Publication number Publication date
CN109035413B (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN109035413A (zh) 一种图像变形的虚拟试穿方法及系统
CN112509151B (zh) 一种教学场景中虚拟对象的真实感生成方法
CN104123753B (zh) 基于服装图片的三维虚拟试衣方法
US11961200B2 (en) Method and computer program product for producing 3 dimensional model data of a garment
Starck et al. Model-based multiple view reconstruction of people
Agrawala et al. Artistic multiprojection rendering
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
CN109035388A (zh) 三维人脸模型重建方法及装置
CN102222363B (zh) 从人脸图像快速构建高精度个性化人脸模型的方法
Cheng et al. Parametric modeling of 3D human body shape—A survey
CN102419868B (zh) 基于3d头发模板进行3d头发建模的设备和方法
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN109377557A (zh) 基于单帧人脸图像的实时三维人脸重建方法
EP3335197A1 (en) Method and system for generating an image file of a 3d garment model on a 3d body model
CN112669447A (zh) 一种模型头像创建方法、装置、电子设备和存储介质
CN108305312A (zh) 3d虚拟形象的生成方法和装置
CN105913416A (zh) 一种自动分割三维人脸模型区域的方法
CN101916454A (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
CN108805090A (zh) 一种基于平面网格模型的虚拟试妆方法
CN106952336A (zh) 一种保特征的人类三维头像生产方法
Li et al. In-home application (App) for 3D virtual garment fitting dressing room
JP4739430B2 (ja) ３次元デザイン支援装置及びプログラム
CN109389682A (zh) 一种三维人脸模型自动调整方法
CN112116699B (zh) 一种基于3d人脸跟踪的实时真人虚拟试发方法
WO2020104990A1 (en) Virtually trying cloths & accessories on body model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231129

Address after: Gao Lou Zhen Hong Di Cun, Rui'an City, Wenzhou City, Zhejiang Province, 325200

Patentee after: Wang Conghai

Address before: 10 / F, Yihua financial technology building, 2388 Houhai Avenue, high tech park, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: SHENZHEN CLOUDREAM INFORMATION TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right