CN113140046A - 基于三维重建的ar穿搭控制方法、系统和计算机可读介质 - Google Patents

基于三维重建的ar穿搭控制方法、系统和计算机可读介质 Download PDF

Info

Publication number
CN113140046A
CN113140046A CN202110431116.0A CN202110431116A CN113140046A CN 113140046 A CN113140046 A CN 113140046A CN 202110431116 A CN202110431116 A CN 202110431116A CN 113140046 A CN113140046 A CN 113140046A
Authority
CN
China
Prior art keywords
model
dimensional
human body
face
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110431116.0A
Other languages
English (en)
Inventor
李虹
徐柯妮
李清明
郑倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN202110431116.0A priority Critical patent/CN113140046A/zh
Publication of CN113140046A publication Critical patent/CN113140046A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于三维重建的AR穿搭控制方法，具体包括以下步骤：S1、采集用户的人脸信息，形成3D人脸模型，同时获取全身骨骼模型，与3D人脸模型结合形成三维人体模型；S2、获取目标服饰的多个角度的图像信息，将图像信息输入分类神经网络得到服饰分类信息和关节点集合；S3、根据关节点集合对目标服饰进行切片分割，将目标服饰拟合到人体三维模型上；S4、通过三维注册技术跟踪用户的人体姿态，根据人体姿态在人体三维模型上实时显示目标服饰，实现AR试穿。与现有技术相比，本发明具有提高AR建模的准确性、有效减少线下汉服试穿对汉服造成的损坏等优点。

Description

基于三维重建的AR穿搭控制方法、系统和计算机可读介质
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种基于三维重建技术的AR穿搭控制方法。
背景技术
目前基于手机应用的换搭试衣技术已有初步发展，现有技术中可实现口红色号的试用、足部鞋类的试穿以及在人体模型上的服饰穿搭。但是这些在线换搭程序能实现的功能还不够完善。首先，只能实现局部人体的换装，如唇部，足部；其次，换搭的物品有限，仅限于商家提供的素材库内商品，以推荐商品为主，服饰较少，画面死板，功能单一。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于三维重建技术的AR穿搭控制方法，为用户提供在线试穿汉服，减少线下汉服试穿对汉服造成的损坏。
本发明的目的可以通过以下技术方案来实现：
一种基于三维重建的AR穿搭控制方法，具体包括以下步骤：
S1、采集用户的人脸信息，形成3D人脸模型，同时获取全身骨骼模型，与所述3D人脸模型结合形成三维人体模型；
S2、获取目标服饰的多个角度的图像信息，将所述图像信息输入分类神经网络得到服饰分类信息和关节点集合；
S3、根据所述关节点集合对所述目标服饰进行切片分割，将目标服饰拟合到所述人体三维模型上；
S4、通过三维注册技术跟踪用户的人体姿态，根据所述人体姿态在所述人体三维模型上实时显示所述目标服饰，实现AR试穿。
所述目标服饰具体为汉服。
所述步骤S1中通过TOF技术采集用户的人脸信息。
进一步地，所述TOF技术采集的人脸信息具体为用户的人脸深度信息。
所述步骤S1中还包括通过SMPL技术调整所述全身骨骼模型的参数。
所述步骤S3中通过Segmentation算法对目标服饰进行切片分割。
一种基于三维重建的AR穿搭系统，所述系统包括：
人脸采集模块，采集用户的人脸信息，形成3D人脸模型，同时获取全身骨骼模型，与所述3D人脸模型结合形成三维人体模型；
目标检测模块，获取目标服饰的多个角度的图像信息，将所述图像信息输入分类神经网络得到服饰分类信息和关节点集合；
3D重建模块，根据所述关节点集合对所述目标服饰进行切片分割，将目标服饰拟合到所述人体三维模型上；
AR实景模块，通过三维注册技术跟踪用户的人体姿态，根据所述人体姿态在所述人体三维模型上实时显示所述目标服饰，实现AR试穿。
所述人脸采集模块中设有3D摄像头采集用户的人脸信息。
进一步地，所述3D摄像头包括近红外激光器和红外摄像头。
进一步地，所述人脸采集模块通过近红外激光器向物体投射具有一定结构特征的光线，由所述红外摄像头采集获取物体的三维结构，再通过运算对信息进行深入处理成像，得到用户的人脸深度信息。
一种计算机可读介质，所述计算机可读介质内存储有如上述任一项所述的基于三维重建的AR穿搭控制方法。
与现有技术相比，本发明具有以下有益效果：
1.本发明通过TOF技术来计算用户的人脸深度信息，计算量小，对应的CPU/ASIC计算量也低，对算法的要求更低，其适配范围更广，从近距离覆盖到了更远的远距离，并且可以提取到更准确的深度信息，提高了AR建模的准确性。
2.由于汉服做工精致，价格较昂贵，实体店试穿会造成汉服的损坏，本发明通过AR实景模块进行汉服在线试穿，有效减少线下汉服试穿对汉服造成的损坏，保证了商品的安全性，同时降低了商家人力和财力方面的消耗。
3.本发明在时间和空间上不受限制，无论是爱好者与非爱好者，均可以通过AR实景模块试穿汉服，解决了目前汉服文化无法大力推广的局限性。
附图说明
图1为本发明控制方法的流程示意图；
图2为本发明系统的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，一种基于三维重建的AR穿搭控制方法，具体包括以下步骤：
S1、采集用户的人脸信息，形成3D人脸模型，同时获取全身骨骼模型，与3D人脸模型结合形成三维人体模型；
S2、获取目标服饰的多个角度的图像信息，将图像信息输入分类神经网络得到服饰分类信息和关节点集合；
S3、根据关节点集合对目标服饰进行切片分割，将目标服饰拟合到人体三维模型上；
S4、通过三维注册技术跟踪用户的人体姿态，根据人体姿态在人体三维模型上实时显示目标服饰，实现AR试穿。
本实施例中，目标服饰具体为汉服。
步骤S1中通过TOF技术采集用户的人脸信息。
TOF技术采集的人脸信息具体为用户的人脸深度信息。
步骤S1中还包括通过SMPL技术调整全身骨骼模型的参数。
步骤S3中通过Segmentation算法对目标服饰进行切片分割。
如图2所示，一种基于三维重建的AR穿搭系统，包括：
人脸采集模块，采集用户的人脸信息，形成3D人脸模型，同时获取全身骨骼模型，与3D人脸模型结合形成三维人体模型；
目标检测模块，获取目标服饰的多个角度的图像信息，将图像信息输入分类神经网络得到服饰分类信息和关节点集合；
3D重建模块，根据关节点集合对目标服饰进行切片分割，将目标服饰拟合到人体三维模型上；
AR实景模块，通过三维注册技术跟踪用户的人体姿态，根据人体姿态在人体三维模型上实时显示目标服饰，实现AR试穿。
人脸采集模块中设有3D摄像头采集用户的人脸信息。
3D摄像头包括近红外激光器和红外摄像头。
人脸采集模块通过近红外激光器向物体投射具有一定结构特征的光线，由红外摄像头采集获取物体的三维结构，再通过运算对信息进行深入处理成像，得到用户的人脸深度信息。
人脸采集模块采用3D结构光技术，与双目立体视觉技术相比，可以得到准确的距离信息，仅需一次成像就可得到深度信息，具备低能耗、高成像分辨率的优势，能够在安全性上实现较高保证，但结构光技术识别距离较短，只适用于近距离，大约在0.2米到1.2米之间，使其应用局限于手机前置摄像。TOF技术是2018年才被应用到手机摄像头的3D成像技术，其通过向目标发射连续的特定波长的红外光线脉冲，再由特定传感器接收待测物体传回的光信号，计算光线往返的飞行时间或相位差，从而获取目标物体的深度信息。
本实施例中，系统在登录时用户可通过手机号或微信等方式登录。登陆后，输入身高、体重、三维等信息，构建自己的人体模型；
在人脸采集模块对应的更衣界面，通过右上角的拍摄功能进行人脸采集；
在目标检测模块对应的寝宫界面，存储有用户拍摄、收藏的服饰；
在3D重建模块对应的后台服饰建模界面，运用3D重建技术将服饰拟合到人体三维模型上；
在AR实景模块对应的后宫界面，用户在此分享或浏览汉服穿搭，并可以将心仪的目标服饰进行AR试穿。
本实施例还涉及一种计算机可读介质，该计算机可读介质内存储有上述任一项基于三维重建的AR穿搭控制方法。
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于三维重建的AR穿搭控制方法，其特征在于，具体包括以下步骤：
S1、采集用户的人脸信息，形成3D人脸模型，同时获取全身骨骼模型，与所述3D人脸模型结合形成三维人体模型；
S2、获取目标服饰的多个角度的图像信息，将所述图像信息输入分类神经网络得到服饰分类信息和关节点集合；
S3、根据所述关节点集合对所述目标服饰进行切片分割，将目标服饰拟合到所述人体三维模型上；
S4、通过三维注册技术跟踪用户的人体姿态，根据所述人体姿态在所述人体三维模型上实时显示所述目标服饰，实现AR试穿。
2.根据权利要求1所述的一种基于三维重建的AR穿搭控制方法，其特征在于，所述步骤S1中通过TOF技术采集用户的人脸信息。
3.根据权利要求2所述的一种基于三维重建的AR穿搭控制方法，其特征在于，所述TOF技术采集的人脸信息具体为用户的人脸深度信息。
4.根据权利要求1所述的一种基于三维重建的AR穿搭控制方法，其特征在于，所述步骤S1中还包括通过SMPL技术调整所述全身骨骼模型的参数。
5.根据权利要求1所述的一种基于三维重建的AR穿搭控制方法，其特征在于，所述步骤S3中通过Segmentation算法对目标服饰进行切片分割。
6.一种使用如权利要求3所述的控制方法的基于三维重建的AR穿搭系统，其特征在于，所述系统包括：
人脸采集模块，采集用户的人脸信息，形成3D人脸模型，同时获取全身骨骼模型，与所述3D人脸模型结合形成三维人体模型；
目标检测模块，获取目标服饰的多个角度的图像信息，将所述图像信息输入分类神经网络得到服饰分类信息和关节点集合；
3D重建模块，根据所述关节点集合对所述目标服饰进行切片分割，将目标服饰拟合到所述人体三维模型上；
AR实景模块，通过三维注册技术跟踪用户的人体姿态，根据所述人体姿态在所述人体三维模型上实时显示所述目标服饰，实现AR试穿。
7.根据权利要求6所述的一种基于三维重建的AR穿搭系统，其特征在于，所述人脸采集模块中设有3D摄像头采集用户的人脸信息。
8.根据权利要求7所述的一种基于三维重建的AR穿搭系统，其特征在于，所述3D摄像头包括近红外激光器和红外摄像头。
9.根据权利要求8所述的一种基于三维重建的AR穿搭系统，其特征在于，所述人脸采集模块根据红外激光器的光线从发出到反射回来的时间来计算用户的人脸深度信息。
10.一种计算机可读介质，其特征在于，所述计算机可读介质内存储有如权利要求1～5中任一项所述的基于三维重建的AR穿搭控制方法。
CN202110431116.0A 2021-04-21 2021-04-21 基于三维重建的ar穿搭控制方法、系统和计算机可读介质 Pending CN113140046A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110431116.0A CN113140046A (zh) 2021-04-21 2021-04-21 基于三维重建的ar穿搭控制方法、系统和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110431116.0A CN113140046A (zh) 2021-04-21 2021-04-21 基于三维重建的ar穿搭控制方法、系统和计算机可读介质

Publications (1)

Publication Number Publication Date
CN113140046A true CN113140046A (zh) 2021-07-20

Family

ID=76813570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110431116.0A Pending CN113140046A (zh) 2021-04-21 2021-04-21 基于三维重建的ar穿搭控制方法、系统和计算机可读介质

Country Status (1)

Country Link
CN (1) CN113140046A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823044A (zh) * 2021-10-08 2021-12-21 刘智矫 一种人体三维数据采集房间及其收费方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106604A (zh) * 2013-01-23 2013-05-15 东华大学 基于体感技术的3d虚拟试衣方法
CN108540542A (zh) * 2018-03-26 2018-09-14 湖北大学 一种移动增强现实系统及显示的方法
CN109523345A (zh) * 2018-10-18 2019-03-26 河海大学常州校区 基于虚拟现实技术的WebGL虚拟试衣系统和方法
CN109903368A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 基于深度信息的三维人脸重建系统及其三维人脸重建方法
CN110363867A (zh) * 2019-07-16 2019-10-22 芋头科技（杭州）有限公司 虚拟装扮系统、方法、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106604A (zh) * 2013-01-23 2013-05-15 东华大学 基于体感技术的3d虚拟试衣方法
CN109903368A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 基于深度信息的三维人脸重建系统及其三维人脸重建方法
CN108540542A (zh) * 2018-03-26 2018-09-14 湖北大学 一种移动增强现实系统及显示的方法
CN109523345A (zh) * 2018-10-18 2019-03-26 河海大学常州校区 基于虚拟现实技术的WebGL虚拟试衣系统和方法
CN110363867A (zh) * 2019-07-16 2019-10-22 芋头科技（杭州）有限公司 虚拟装扮系统、方法、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万艳敏等: "增强现实技术在服装领域的应用", 《毛纺科技》 *
陈青青: "基于服装参数的虚拟服装试穿模拟", 《莆田学院学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823044A (zh) * 2021-10-08 2021-12-21 刘智矫 一种人体三维数据采集房间及其收费方法

Similar Documents

Publication Publication Date Title
Bartol et al. A review of body measurement using 3D scanning
US10621779B1 (en) Artificial intelligence based generation and analysis of 3D models
CN105843386B (zh) 一种商场虚拟试衣系统
CN104992441B (zh) 一种面向个性化虚拟试衣的真实人体三维建模方法
CN104021538B (zh) 物体定位方法和装置
Yang Dealing with textureless regions and specular highlights-a progressive space carving scheme using a novel photo-consistency measure
CN107230224B (zh) 三维虚拟服装模型制作方法及装置
CN108154550A (zh) 基于rgbd相机的人脸实时三维重建方法
KR20190000907A (ko) 고속 3d 모델 피팅 및 인체 측정법
CN107578435B (zh) 一种图像深度预测方法及装置
EP2751777A1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN106952335A (zh) 建立人体模型库的方法及其系统
Esteban et al. Multi-stereo 3d object reconstruction
WO2009123354A1 (en) Method, apparatus, and program for detecting object
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN110532948A (zh) 一种基于视频的高精度行人轨迹提取方法
CN103247074A (zh) 一种结合深度信息与人脸分析技术的3d照相方法
CN110021029A (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN108446018A (zh) 一种基于双目视觉技术的增强现实眼动交互系统
Bragança et al. An overview of the current three-dimensional body scanners for anthropometric data collection
CN105741326B (zh) 一种基于聚类融合的视频序列的目标跟踪方法
CN109685042A (zh) 一种三维图像识别装置及其识别方法
CN110263662A (zh) 一种基于分级的人体轮廓关键点和关键部位识别方法
CN106933976B (zh) 建立人体3d净模型的方法及其在3d试衣中的应用
CN113140046A (zh) 基于三维重建的ar穿搭控制方法、系统和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720

RJ01 Rejection of invention patent application after publication