CN111985995A - 基于微信小程序的鞋子虚拟试穿方法及装置 - Google Patents

基于微信小程序的鞋子虚拟试穿方法及装置 Download PDF

Info

Publication number
CN111985995A
CN111985995A CN202010816058.9A CN202010816058A CN111985995A CN 111985995 A CN111985995 A CN 111985995A CN 202010816058 A CN202010816058 A CN 202010816058A CN 111985995 A CN111985995 A CN 111985995A
Authority
CN
China
Prior art keywords
image
model
virtual
frame
predefined target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010816058.9A
Other languages
English (en)
Inventor
李汪洋
李晓红
黄斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huotui Technology Co ltd
Original Assignee
Zugou Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zugou Technology Hangzhou Co ltd filed Critical Zugou Technology Hangzhou Co ltd
Priority to CN202010816058.9A priority Critical patent/CN111985995A/zh
Publication of CN111985995A publication Critical patent/CN111985995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一基于微信小程序的鞋子虚拟试穿方法及装置，所述方法包括：图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；根据所述位姿信息，通过拟合pnp算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型；将调整后模型投影至图像中，渲染生成试穿图像。本方案是针对微信小程序资源限制、本地计算力不足的问题，提供一种更为轻量化的技术方案，能够在本地完成虚拟试穿的计算工作，并且不需要占用过多的网络运行开销。

Description

基于微信小程序的鞋子虚拟试穿方法及装置
技术领域
本发明涉及AR技术应用领域，尤其涉及一种AR成像虚拟试鞋方法及装置。
背景技术
现如今，网上购物已成为潮流，消费者们可以足不出户的了解各式商品的信息与挑选自己喜欢的商品，方便快捷的支付。但存在的问题是：(1)传统电商的使用鞋子图片、视频方式做不到以用户为中心，商品的展示以用户的关注点为转移。(2)用户无法很好的判断网上购买的鞋子款式是否符合自己，可能会造成退货，降低转化率。因此亟需将新技术应用于网上购鞋，能够让用户在线上更为直观地了解到鞋子试穿效果。
增强现实技术，简称AR技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
应用AR技术，可以让用户随时随地使用摄像头拍摄脚步在拍摄图像中的脚步增加鞋子的AR三维模型，试穿各式各样的鞋子，也可以让用户通过移动、旋转，360度查看商品的全貌，同时查看商品的细节。
但是现有的AR技术应用软件需要进行大量本地运算，因此需要下载专用的 APP，但是这样用户操作较为繁琐，还需要解决不同机型、IOS及安卓系统的适配性问题，且不利于商家的线上推广。
发明内容
本发明是为了克服现有技术中的虚拟现实试鞋的软件应用技术方案，需要下载专门的APP，用户操作繁琐，且不利于商家线上推广的不足之处，提供一种降低手机本地运算要求，能够在微信小程序环境中实现而不需要下载专用 APP，就能够实现鞋子AR虚拟试穿的基于微信小程序的鞋子虚拟试穿方法，及实现该方法的装置。
为实现上述目的，本发明采用以下技术方案：
本申请提供一种基于微信小程序的鞋子虚拟试穿方法，所述方法包括以下步骤：
图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；
加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型；
将调整后模型投影至图像中，渲染生成试穿图像。
作为优选，图像输入轻量化卷积神经网络的步骤，包括：
实时采集视频数据，将视频数据逐帧转化为图像；
若轻量化卷积神经网络和全连接网络处于空闲状态，则抽取当前帧的图像输入轻量化卷积神经网络；
若轻量化卷积神经网络处于运算状态中，则直接将对应最接近一帧图像的调整后模型投影至当前帧图像中并渲染，生成对应当前帧图像的试穿图像。
作为优选，所述图像为RGB格式的二维图像。
作为优选，本方法在将调整后模型投影至图像中，渲染生成试穿图像的步骤之后，还包括：将各帧图像对应的试穿图像，在应用中逐帧播放。
作为优选，所述全连接网络是使用tensorflow.js创建的拟合pnp算法的全连接神经网络。
作为优选，所述调整参数包括旋转参数、平移参数和缩放比例。
作为优选，将调整后模型投影至图像中，渲染生成试穿图像的步骤，包括：
所述试穿鞋子的3D模型包括相互配对的鞋体模型和虚拟脚踝模型；
将调整后模型投影至图像中，同时切除鞋体模型此时被虚拟脚踝模型遮挡的部分。
本申请同时提供一种基于微信小程序的鞋子虚拟试穿装置，所述装置包括：
目标识别模块，用于将图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；
模型调整模块，用于加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型；
投影渲染模块，用于将调整后模型投影至图像中，渲染生成试穿图像。
作为优选，所述目标识别模块，进一步包括：
图像采集单元，用于实时采集视频数据，将视频数据逐帧转化为图像；
轻量化卷积神经网络，用于识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；
图像输入单元，用于在轻量化卷积神经网络和全连接网络处于空闲状态时，抽取当前帧的图像输入轻量化卷积神经网络；
或在轻量化卷积神经网络处于运算状态时，将当前帧图像输入投影渲染模块，所述投影渲染模块直接将对应最接近一帧图像的调整后模型投影至当前帧图像中并渲染，生成对应当前帧图像的试穿图像。
作为优选，所述装置还包括：
播放模块，用于将各帧图像对应的试穿图像，在应用中逐帧播放；
所述试穿鞋子的3D模型包括相互配对的鞋体模型和虚拟脚踝模型，所述投影渲染模块，进一步包括：
遮挡处理单元，用于切除鞋体模型此时被虚拟脚踝模型遮挡的部分。
本发明申请所提供的基于微信小程序的鞋子虚拟试穿方法，是针对微信小程序资源限制、本地计算力不足的问题，提供一种更为轻量化的技术方案，能够在本地完成虚拟试穿的计算工作，并且不需要占用过多的网络运行开销。
本申请技术方案一方面利用轻量化网络构建了目标识别检测及姿态评估网络。轻量化网络极大的加快了运算速度，降低了网络参数量，以及在使用微信端小程序时，需要下载的预训练模型的参数量。另一方面考虑到pnp算法是非常复杂的，如果是app开发，或者pc端，有很多现成的库可以使用，而微信端小程序，限制了我们不能使用其他库，只能通过js复现pnp算法，难度非常高，且效率低下。因此，本申请的方案采用网络拟合pnp算法。利用tensorflowjs来拟合pnp算法的网络，构成一个运算开销很小的全连接网络，简称为PNPNet。
本申请的技术方案主要通过上述两个方案的技术改进，降低手机本地运算要求，能够在微信小程序环境中实现而不需要下载专用APP，不仅用户操作方便，也有利于商家分享推广。并且本技术不需要考虑不同机型、IOS及安卓系统的适配性问题。同时所有运算都在本地运行，相比原有的一些将大量运算部署于后端云服务器的方案，降低了网络运行开销并且控制延时问题。
附图说明
图1是本发明的基于微信小程序的鞋子虚拟试穿方法的第一流程图。
图2是本发明的基于微信小程序的鞋子虚拟试穿方法的第二流程图。
图3是本发明的基于微信小程序的鞋子虚拟试穿装置的第一原理框图。
图4是本发明的基于微信小程序的鞋子虚拟试穿装置的第二原理框图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步描述。
本发明的一种基于微信小程序的鞋子虚拟试穿方法，如图1所示，所述方法包括以下步骤：
步骤S101，图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚。
步骤S102，加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp 算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型。
在步骤S102中，所述全连接网络是使用tensorflow.js创建的拟合pnp算法的全连接神经网络。所述调整参数包括旋转参数、平移参数和缩放比例。
步骤S103，将调整后模型投影至图像中，渲染生成试穿图像。
本申请技术方案一方面利用轻量化网络构建了目标识别检测及姿态评估网络。轻量化网络极大的加快了运算速度，降低了网络参数量，以及在使用微信端小程序时，需要下载的预训练模型的参数量。另一方面考虑到pnp算法是非常复杂的，如果是app开发，或者pc端，有很多现成的库可以使用，而微信端小程序，限制了我们不能使用其他库，只能通过js复现pnp算法，难度非常高，且效率低下。因此，本申请的方案采用网络拟合pnp算法。利用tensorflowjs来拟合pnp算法的网络，构成一个运算开销很小的全连接网络，简称为PNPNet。
本申请的技术方案主要通过上述两个方案的技术改进，降低手机本地运算要求，能够在微信小程序环境中实现而不需要下载专用APP，不仅用户操作方便，也有利于商家分享推广。并且本技术不需要考虑不同机型、IOS及安卓系统的适配性问题。同时所有运算都在本地运行，相比原有的一些将大量运算部署于后端云服务器的方案，降低了网络运行开销并且控制延时问题。
在步骤S101中，所述的图像是为RGB格式的二维图像。该二维图像可以是小程序调用手机摄像头拍摄的静态图像或视频数据的每一帧图像。而应用场景较多的是小程序调用手机摄像头拍摄视频数据。因此提供了一种较佳的具体实施方式如图2所示，在该示例中图像输入轻量化卷积神经网络的步骤的包括：
步骤S201，实时采集视频数据，将视频数据逐帧转化为图像。
步骤S202，若轻量化卷积神经网络处于运算状态中，则直接将对应最接近一帧图像的调整后模型投影至当前帧图像中并渲染，生成对应当前帧图像的试穿图像。
步骤S203，若轻量化卷积神经网络和全连接网络处于空闲状态，则抽取当前帧的图像输入轻量化卷积神经网络，轻量化卷积神经网络识别图像中的预定义目标以及预定义目标的位姿信息。
步骤S204，加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp 算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型。
步骤S205，将调整后模型投影至图像中，渲染生成试穿图像。
步骤S206，按照各帧图像对应的试穿图像，在应用中逐帧播放。
步骤206中的各帧图像对应的试穿图像是步骤S202或步骤205生成的试穿图像。
该方案是针对手机拍摄的视频数据进行动态虚拟试穿的情况，将视频数逐帧抽取为图像进行处理。但并非对每一帧都进行完整的识别处理，而是在轻量化卷积神经网络尚处于运算之前的图像识别工作时，对于这一期间获取的图像沿用在此之前最接近的调整后模型进行投影处理，从而解决本地运算速率无法达到手机相机采集视频的帧率的问题。
具体来说，一般手机相机采集视频的帧率是30fps左右，实际工作中并不能做到30fps图像全处理，在处理速率达到10fps速度时，大概会间隔两帧做一次完整的处理。中间两针不会进行识别及姿态评估，而是沿用之前一帧的结果。
在步骤103中将调整后模型投影至图像中，渲染生成试穿图像。同时为了考虑较为真实地还原脚踝和鞋体的遮挡关系。所述试穿鞋子的3D模型包括相互配对的鞋体模型和虚拟脚踝模型。而步骤103中，将调整后模型投影至图像中，同时切除鞋体模型此时被虚拟脚踝模型遮挡的部分。
本申请实施例同时提供一种基于微信小程序的鞋子虚拟试穿装置，上述的一种基于微信小程序的鞋子虚拟试穿方法可基于本虚拟装置与小程序应用中实现。如图3所示，所述装置包括：
目标识别模块201，用于将图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；
模型调整模块202，用于加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型；
投影渲染模块203，用于将调整后模型投影至图像中，渲染生成试穿图像。
所述的图像是为RGB格式的二维图像。该二维图像可以是小程序调用手机摄像头拍摄的静态图像或视频数据的每一帧图像。而应用场景较多的是小程序调用手机摄像头拍摄视频数据。因此，提供一种优选方案，如图4所示，所述目标识别模201包括：
图像采集单元301，用于实时采集视频数据，将视频数据逐帧转化为图像；
轻量化卷积神经网络302，用于识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；
图像输入单元303，用于在轻量化卷积神经网络和全连接网络处于空闲状态时，抽取当前帧的图像输入轻量化卷积神经网络；
或在轻量化卷积神经网络处于运算状态时，将当前帧图像输入投影渲染模块，所述投影渲染模块直接将对应最接近一帧图像的调整后模型投影至当前帧图像中并渲染，生成对应当前帧图像的试穿图像。
所述装置还包括：
播放模块204，用于将各帧图像对应的试穿图像，在应用中逐帧播放；
所述试穿鞋子的3D模型包括相互配对的鞋体模型和虚拟脚踝模型，所述投影渲染模块203，进一步包括：
遮挡处理单元401，用于切除鞋体模型此时被虚拟脚踝模型遮挡的部分。
本实施例的基于微信小程序的鞋子虚拟试穿装置是针对微信小程序资源限制、本地计算力不足的问题，提供一种更为轻量化的技术方案，能够在本地完成虚拟试穿的计算工作，并且不需要占用过多的网络运行开销。

Claims (10)

1.一种基于微信小程序的鞋子虚拟试穿方法，其特征是，所述方法包括以下步骤：
图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；
加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型；
将调整后模型投影至图像中，渲染生成试穿图像。
2.根据权利要求1所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，图像输入轻量化卷积神经网络的步骤，包括：
实时采集视频数据，将视频数据逐帧转化为图像；
若轻量化卷积神经网络和全连接网络处于空闲状态，则抽取当前帧的图像输入轻量化卷积神经网络；
若轻量化卷积神经网络处于运算状态中，则直接将对应最接近一帧图像的调整后模型投影至当前帧图像中并渲染，生成对应当前帧图像的试穿图像。
3.根据权利要求2所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，所述图像为RGB格式的二维图像。
4.根据权利要求1所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，本方法在将调整后模型投影至图像中，渲染生成试穿图像的步骤之后，还包括：将各帧图像对应的试穿图像，在应用中逐帧播放。
5.根据权利要求1或2或3或4所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，所述全连接网络是使用tensorflow.js创建的拟合pnp算法的全连接神经网络。
6.根据权利要求1所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，所述调整参数包括旋转参数、平移参数和缩放比例。
7.根据权利要求1所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，将调整后模型投影至图像中，渲染生成试穿图像的步骤，包括：
所述试穿鞋子的3D模型包括相互配对的鞋体模型和虚拟脚踝模型；
将调整后模型投影至图像中，同时切除鞋体模型此时被虚拟脚踝模型遮挡的部分。
8.一种基于微信小程序的鞋子虚拟试穿装置，其特征是，所述装置包括：
目标识别模块，用于将图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；
模型调整模块，用于加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型；
投影渲染模块，用于将调整后模型投影至图像中，渲染生成试穿图像。
9.根据权利要求8所述的基于微信小程序的鞋子虚拟试穿装置，其特征是，所述目标识别模块，进一步包括：
图像采集单元，用于实时采集视频数据，将视频数据逐帧转化为图像；
轻量化卷积神经网络，用于识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；
图像输入单元，用于在轻量化卷积神经网络和全连接网络处于空闲状态时，抽取当前帧的图像输入轻量化卷积神经网络；
或在轻量化卷积神经网络处于运算状态时，将当前帧图像输入投影渲染模块，所述投影渲染模块直接将对应最接近一帧图像的调整后模型投影至当前帧图像中并渲染，生成对应当前帧图像的试穿图像。
10.根据权利要求8所述的基于微信小程序的鞋子虚拟试穿装置，其特征是，所述装置还包括：
播放模块，用于将各帧图像对应的试穿图像，在应用中逐帧播放；
所述试穿鞋子的3D模型包括相互配对的鞋体模型和虚拟脚踝模型，所述投影渲染模块，进一步包括：
遮挡处理单元，用于切除鞋体模型此时被虚拟脚踝模型遮挡的部分。
CN202010816058.9A 2020-08-14 2020-08-14 基于微信小程序的鞋子虚拟试穿方法及装置 Pending CN111985995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010816058.9A CN111985995A (zh) 2020-08-14 2020-08-14 基于微信小程序的鞋子虚拟试穿方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010816058.9A CN111985995A (zh) 2020-08-14 2020-08-14 基于微信小程序的鞋子虚拟试穿方法及装置

Publications (1)

Publication Number Publication Date
CN111985995A true CN111985995A (zh) 2020-11-24

Family

ID=73434395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010816058.9A Pending CN111985995A (zh) 2020-08-14 2020-08-14 基于微信小程序的鞋子虚拟试穿方法及装置

Country Status (1)

Country Link
CN (1) CN111985995A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095191A (zh) * 2021-04-02 2021-07-09 上海元云信息技术有限公司 一种基于微信小程序的实物场景互动方法
CN113242440A (zh) * 2021-04-30 2021-08-10 广州虎牙科技有限公司 直播方法、客户端、系统、计算机设备以及存储介质
WO2023193664A1 (zh) * 2022-04-08 2023-10-12 北京字跳网络技术有限公司 图像处理方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504063A (zh) * 2016-11-01 2017-03-15 广州增强信息科技有限公司 一种虚拟头发试戴视频展示系统
CN110335317A (zh) * 2019-07-02 2019-10-15 百度在线网络技术（北京）有限公司 基于终端设备定位的图像处理方法、装置、设备和介质
CN110543846A (zh) * 2019-08-29 2019-12-06 华南理工大学 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN110969158A (zh) * 2019-11-06 2020-04-07 中国科学院自动化研究所 基于水下作业机器人视觉的目标检测方法、系统、装置
CN111210510A (zh) * 2020-01-16 2020-05-29 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111328396A (zh) * 2017-11-15 2020-06-23 高通科技公司 用于图像中的对象的姿态估计和模型检索
CN111369686A (zh) * 2020-03-03 2020-07-03 足购科技(杭州)有限公司 能够处理局部遮挡物的ar成像虚拟试鞋方法及装置
CN111508079A (zh) * 2020-04-22 2020-08-07 深圳追一科技有限公司 虚拟服饰试穿方法、装置、终端设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504063A (zh) * 2016-11-01 2017-03-15 广州增强信息科技有限公司 一种虚拟头发试戴视频展示系统
CN111328396A (zh) * 2017-11-15 2020-06-23 高通科技公司 用于图像中的对象的姿态估计和模型检索
CN110335317A (zh) * 2019-07-02 2019-10-15 百度在线网络技术（北京）有限公司 基于终端设备定位的图像处理方法、装置、设备和介质
CN110543846A (zh) * 2019-08-29 2019-12-06 华南理工大学 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN110969158A (zh) * 2019-11-06 2020-04-07 中国科学院自动化研究所 基于水下作业机器人视觉的目标检测方法、系统、装置
CN111210510A (zh) * 2020-01-16 2020-05-29 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111369686A (zh) * 2020-03-03 2020-07-03 足购科技(杭州)有限公司 能够处理局部遮挡物的ar成像虚拟试鞋方法及装置
CN111508079A (zh) * 2020-04-22 2020-08-07 深圳追一科技有限公司 虚拟服饰试穿方法、装置、终端设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
卞贤掌;费海平;李世强;: "基于语义分割的增强现实图像配准技术", 电子技术与软件工程, no. 23, 13 December 2018 (2018-12-13) *
卢纯青;杨孟飞;武延鹏;梁潇;: "基于C-TOF成像的位姿测量与地物目标识别技术研究", 红外与激光工程, no. 01 *
周育新;白宏阳;李伟;郭宏伟;徐啸康;: "基于关键帧的轻量化行为识别方法研究", 仪器仪表学报, no. 07 *
张胜茂;刘洋;樊伟;邹国华;张衡;杨胜龙;: "基于TensorFlow的水族馆鱼类目标检测APP开发", 渔业现代化, no. 02, 15 April 2020 (2020-04-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095191A (zh) * 2021-04-02 2021-07-09 上海元云信息技术有限公司 一种基于微信小程序的实物场景互动方法
CN113242440A (zh) * 2021-04-30 2021-08-10 广州虎牙科技有限公司 直播方法、客户端、系统、计算机设备以及存储介质
WO2023193664A1 (zh) * 2022-04-08 2023-10-12 北京字跳网络技术有限公司 图像处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111985995A (zh) 基于微信小程序的鞋子虚拟试穿方法及装置
US9626788B2 (en) Systems and methods for creating animations using human faces
KR101894956B1 (ko) 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법
CN112598785B (zh) 虚拟形象的三维模型生成方法、装置、设备及存储介质
US20180158246A1 (en) Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
WO2020150686A1 (en) Systems and methods for face reenactment
US20080204453A1 (en) Method and apparatus for generating three-dimensional model information
EP3681144B1 (en) Video processing method and apparatus based on augmented reality, and electronic device
CN111476871A (zh) 用于生成视频的方法和装置
US20160086365A1 (en) Systems and methods for the conversion of images into personalized animations
US20140198178A1 (en) Methods and Systems for Creating Swivel Views From a Handheld Device
US11443450B2 (en) Analyzing screen coverage of a target object
CN112712487A (zh) 一种场景视频融合方法、系统、电子设备及存储介质
WO2019193364A1 (en) Method and apparatus for generating augmented reality images
CN115222899B (zh) 虚拟数字人生成方法、系统、计算机设备及存储介质
CN108986232A (zh) 一种在vr显示设备中呈现ar环境画面的方法
US20190088027A1 (en) Method for developing augmented reality experiences in low computer power systems and devices
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
US11657568B2 (en) Methods and systems for augmented reality tracking based on volumetric feature descriptor data
CN114170472A (zh) 图像处理方法、可读存储介质及计算机终端
CN112511815B (zh) 图像或视频生成方法及装置
CN113269781A (zh) 数据生成方法、装置及电子设备
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
WO2020201764A1 (en) Method and apparatus for generating three dimensional images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220831

Address after: Room 308-2, Building 1, Flying Bird Business Center, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310000

Applicant after: Hangzhou Huotui Technology Co.,Ltd.

Address before: 310000 Room 101-F1-15, 101-F1-16, Building 12, No. 1399 Liangmu Road, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: Zugou Technology (Hangzhou) Co.,Ltd.

TA01 Transfer of patent application right