CN112330784A - 虚拟图像的生成方法和装置 - Google Patents

虚拟图像的生成方法和装置 Download PDF

Info

Publication number
CN112330784A
CN112330784A CN202011134938.4A CN202011134938A CN112330784A CN 112330784 A CN112330784 A CN 112330784A CN 202011134938 A CN202011134938 A CN 202011134938A CN 112330784 A CN112330784 A CN 112330784A
Authority
CN
China
Prior art keywords
image
shoe
leg
area
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011134938.4A
Other languages
English (en)
Inventor
车广富
郭景昊
张夏杰
安山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011134938.4A priority Critical patent/CN112330784A/zh
Publication of CN112330784A publication Critical patent/CN112330784A/zh
Priority to PCT/CN2021/119751 priority patent/WO2022083389A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种虚拟图像的生成方法和装置，涉及计算机技术领域。该方法包括：获取包含腿部和脚部的待处理图像中的腿部区域；根据待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与待处理图像对应的二维鞋图像；根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分；根据被腿部遮挡的部分，渲染待处理图像和二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。

Description

虚拟图像的生成方法和装置
技术领域
本公开涉及计算机技术领域，特别涉及一种虚拟图像的生成方法、虚拟图像的生成装置和非易失性计算机可读存储介质。
背景技术
随着VR(Virtual Reality，虚拟现实)和AR(Augmented Reality，增强现实)技术的进步，通过虚拟试穿方式形成导购转化的功能越来越受到大众欢迎。通过AR增强现实技术与智能手机相机的结合实现的虚拟试鞋技术，可以帮助用户看到鞋款穿在自己脚上的效果。
为了实现人脚穿鞋视觉效果，虚拟试鞋技术需对三维鞋模型进行虚拟遮挡，以替换人脚的真实鞋子。
在相关技术中，在三维鞋模型的鞋口区域外建模一条虚拟的腿部模型，将虚拟的腿部模型和三维鞋模型渲染到屏幕上以生成人脚穿鞋的虚拟图像。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：仅通过近似建模生成人脚穿鞋的虚拟图像，缺乏真实的三维构造信息，导致生成虚拟图像的效果差。
鉴于此，本公开提出了一种虚拟图像的生成技术方案，能够利用真实的腿部图像与三维鞋模型合成虚拟图像，提高虚拟图像的效果。
根据本公开的一些实施例，提供了一种虚拟图像的生成方法，包括：获取包含腿部和脚部的待处理图像中的腿部区域；根据待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与待处理图像对应的二维鞋图像；根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分；根据被腿部遮挡的部分，渲染待处理图像和二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。
在一些实施例中，根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分包括：根据二维鞋图像中鞋体区域的位置确定鞋的外轮廓，根据二维图像中鞋口区域的位置确定鞋的内轮廓；根据腿部区域的轮廓与外轮廓的交点和内轮廓，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，根据腿部区域的轮廓与外轮廓的交点和内轮廓，确定鞋区域中被腿部遮挡的部分包括：在内轮廓上，确定与交点距离最近的点；根据交点、距离最近的点，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，将三维鞋模型渲染为与待处理图像对应的二维鞋图像包括：对三维鞋模型中的鞋口区域进行透明化处理；将透明化处理后的三维鞋模型，渲染为二维鞋图像；根据二维鞋图像的二值图像，确定鞋体区域和鞋口区域。
在一些实施例中，对三维鞋模型中的鞋口区域进行透明化处理包括：检测三维鞋模型的鞋口区域，并利用封闭网格覆盖鞋口区域；对封闭网格覆盖部分进行透明化处理。
在一些实施例中，获取包含腿部和脚部的待处理图像中的腿部区域包括：将待处理图像输入机器学习模型，确定待处理图像中的腿部区域。
在一些实施例中，机器学习模型包括依次连接的卷积神经网络模块和空间金字塔池化模块。
在一些实施例中，卷积神经网络模块根据Fast-SCNN(Fast SegmentationConvolutional Neural Network，快速分割卷积神经网络)模型设置。
在一些实施例中，待处理图像为视频中的各帧图像；生成方法还包括：根据生成的各帧图像对应的虚拟图像，生成具有腿部遮效果的视频。
根据本公开的另一些实施例，提供一种虚拟图像的生成装置，包括：确定单元，用于获取包含腿部和脚部的待处理图像中的腿部区域，根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分；处理单元，用于根据待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与待处理图像对应的二维鞋图像，根据被腿部遮挡的部分，渲染待处理图像和二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。
在一些实施例中，确定单元根据二维鞋图像中鞋体区域的位置确定鞋的外轮廓，根据二维图像中鞋口区域的位置确定鞋的内轮廓；根据腿部区域的轮廓与外轮廓的交点和内轮廓，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，确定单元在内轮廓上，确定与交点距离最近的点；根据交点、距离最近的点，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，处理单元对三维鞋模型中的鞋口区域进行透明化处理；将透明化处理后的三维鞋模型，渲染为所述二维鞋图像。确定单元根据二维鞋图像的二值图像，确定鞋体区域和鞋口区域。
在一些实施例中，处理单元检测三维鞋模型的鞋口区域，并利用封闭网格覆盖鞋口区域；对封闭网格覆盖部分进行透明化处理。
在一些实施例中确定单元根据预设的鞋区域中未被腿部遮挡的部分的大小，确定封闭网格覆盖鞋口区域的位置。
在一些实施例中，确定单元将待处理图像输入机器学习模型，确定待处理图像中的腿部区域。
在一些实施例中，机器学习模型包括依次连接的卷积神经网络模块和空间金字塔池化模块。
在一些实施例中，卷积神经网络模块根据Fast-SCNN模型设置。
在一些实施例中，待处理图像为视频中的各帧图像；处理单元根据生成的各帧图像对应的虚拟图像，生成具有腿部遮效果的视频。
根据本公开的又一些实施例，提供一种虚拟图像的生成装置，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的虚拟图像的生成方法。
根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的虚拟图像的生成方法。
在上述实施例中，根据获取的真实腿部的视觉线索，结合的二维鞋图像中鞋的位置，准确地确定虚拟遮挡部分。这样，可以利用真实的腿部图像与三维鞋模型合成虚拟图像，提高虚拟图像的效果。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开：
图1示出本公开的虚拟图像的生成方法的一些实施例的流程图；
图2示出图1中步骤130的一些实施例的流程图；
图3a～3c示出本公开的虚拟图像的生成方法的一些实施例的示意图；
图4示出本公开的虚拟图像的生成装置的一些实施例的框图；
图5示出本公开的虚拟图像的生成装置的另一些实施例的框图；
图6示出本公开的虚拟图像的生成装置的又一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如前所述，虚拟的人腿模型相对于鞋模型的位是固定的，无法反映真实的腿部三维构造(如用户实际的裤子位置、形状、姿态、腿部位置等)。这样会导致虚拟图像的效果下降。
针对上述技术问题，可以在真实场景中提取腿部的视觉线索(如利用神经网络模型提取)，并结合鞋口区域透明化后的鞋三维模型的轮廓，准确划分出虚拟图像中需要遮挡的区域。例如，可以通过如下的实施例实现本公开的技术方案。
图1示出本公开的虚拟图像的生成方法的一些实施例的流程图。
如图1所示，该生产方法包括：步骤110，获取腿部区域；步骤120，渲染二维鞋图像；步骤130，确定被腿部遮挡的部分；和步骤140，生成虚拟图像。
在步骤110中，获取包含腿部和脚部的待处理图像中的腿部区域。
在一些实施例中，将待处理图像输入机器学习模型，确定待处理图像中的腿部区域。例如，机器学习模型可以为卷积神经网络模块(如根据Fast-SCNN模型设置)。
这样，基于轻量模型Fast-SCNN设置用于提取腿部区域的骨架网络。可以利用一个简单而高效的复合系数，更结构化地构建网络结构，从而压缩模型的参数量，提高训练速度。而且，Fast-SCNN能够减少模型浮点运算量，从而提升计算性能。
在一些实施例中，机器学习模型包括依次连接的卷积神经网络模块和SPP(Spatial Pyramid Pooling，空间金字塔池化)模块。例如，SPP模块包括依次连接的卷积处理模块、上采样模块和连接(Concat)模块。
在一些实施例中，机器学习模型包括卷积神经网络模块、第一SPP模块、第二SPP模块。卷积神经网络模块与第一SPP模块的卷积处理模块和连接模块连接，第二SPP模块的连接模块连接；第一SPP模块与第二SPP模块连接。
这样，SPP模块能够很好地保持完整的上下文间信息，避免图像处理中的错误分类。而且，SPP模块对小尺寸、不显著的目标识别具有更好的鲁棒性，能够注意包含不显著物体的不同子区域，从而提高腿部区域识别的准确性。
在一些实施例中，可以使用SoftMax Loss设置损失函数训练上述机器学习模型。
在步骤120中，根据待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与待处理图像对应的二维鞋图像。例如，相机的内部参数为与相机自身特性相关的参数，如相机的焦距、像素大小等。
在一些实施例中，可以采用PnP(Perspective-n-Point，多点透视)算法确定姿态参数
在一些实施例中，可以利用OpenGL等渲染工具将三维鞋模型渲染为二维鞋图像。
在一些实施例中，检测三维鞋模型的鞋口区域，并利用封闭网格(mesh)作为挡片覆盖鞋口区域；对封闭网络的覆盖部分进行透明化处理。例如，可以在鞋三维模型上配备挡片的透明网格，并放在鞋口区域的内侧以实现鞋口区域的透明化。
在一些实施例中，根据预设的鞋区域中未被腿部遮挡的部分的大小，确定封闭网格覆盖鞋口区域的位置。例如，可以将挡片的位置向鞋底方向移动预设距离，使得鞋口区域的边缘厚度超过阈值。
这样，根据挡片位置的深度不同，鞋口区域未被裁剪的部分具有一定厚度，可以增加虚拟图片的空间层次感，增强真实效果。
在步骤130中，根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，利用深度学习模型可以对腿部区域仅准确分割，从而确定腿部模型与鞋模型的交界区域，进而可以准确获取鞋口区域被遮挡部分作为裁剪区域。经过渲染处理上屏显示，就会产生虚拟遮挡的视觉效果。例如，可以根据图2中的实施例实现步骤130。
图2示出图1中步骤130的一些实施例的流程图。
如图2所示，步骤130包括：步骤1310，确定鞋的内轮廓和外轮廓；和步骤1320，确定被腿部遮挡部分。
在步骤1310中，根据二维鞋图像中鞋体区域的位置确定鞋的外轮廓，根据二维图像中鞋口区域的位置确定鞋的内轮廓。
在一些实施例中，可以通过图3a中的实施例，确定鞋体区域和鞋口区域用于确定内轮廓和外轮廓。
图3a示出本公开的虚拟图像的生成方法的一些实施例的示意图。
如图3a所示，对三维鞋模型中的鞋口区域进行透明化处理后，渲染为二维鞋图像。根据二维鞋图像的二值图像，确定鞋体区域31、鞋口区域32。
在确定了鞋体区域31和鞋口区域32后，即可确定外轮廓和内轮廓，进而通过图2中的其余步骤确定遮挡部分。
在步骤1320中，根据腿部区域的轮廓与外轮廓的交点位置、内轮廓，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，可以通过图3b、3c中的实施例，确定鞋体区域和鞋口区域用于确定内轮廓和外轮廓。
图3b示出本公开的虚拟图像的生成方法的一些实施例的示意图。
如图3b所示，利用神经网络模块，能够推理出腿部区域30的分割mask二值图像。结合图3a中鞋的二值图像和图3b中的腿部的二值图像，可以确定腿部区域30的轮廓与鞋体区域31的轮廓的交点。
图3c示出本公开的虚拟图像的生成方法的一些实施例的示意图。
如图3c所示，鞋体区域31的轮廓为外轮廓311，鞋口区域32的轮廓为内轮廓321。腿部区域30的轮廓与外轮廓311的交点为3a、3b，内轮廓321上与交点3a最近的点为3d，与交点3b最近的点为3c。
连接点3a、3b、3c、3d形成闭合区域(位于鞋体左侧)，将该闭合区域确定为鞋区域中被腿部遮挡的部分。
在一些实施例中，也可以根据。腿部区域30的轮廓与内轮廓321的交点和3a、3b形成的闭合区域，确定鞋区域中被腿部遮挡的部分。
确定了鞋区域中被腿部遮挡的部分，可以通过图1中的步骤140生成虚拟图像。
在步骤140中，根据被腿部遮挡的部分，渲染待处理图像和二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。
在一些实施例中，待处理图像为视频中的各帧图像。可以根据生成的各帧图像对应的虚拟图像，生成具有腿部遮效果的视频。
图4示出本公开的虚拟图像的生成装置的一些实施例的框图。
如图4所示，虚拟图像的生成装置4包括确定单元41、处理单元42。
确定单元41获取包含腿部和脚部的待处理图像中的腿部区域；根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，确定单元41根据二维鞋图像中鞋体区域的位置确定鞋的外轮廓，根据二维图像中鞋口区域的位置确定鞋的内轮廓；根据腿部区域的轮廓与外轮廓的交点和内轮廓，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，确定单元41在内轮廓上，确定与交点距离最近的点；根据交点、距离最近的点，确定鞋区域中被腿部遮挡的部分。
在一些实施例中，确定单元41将待处理图像输入机器学习模型，确定待处理图像中的腿部区域。
在一些实施例中，机器学习模型包括依次连接的卷积神经网络模块和空间金字塔池化模块。
在一些实施例中，卷积神经网络模块根据Fast-SCNN模型设置。
处理单元42根据待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与待处理图像对应的二维鞋图像；根据被腿部遮挡的部分，渲染待处理图像和二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。
在一些实施例中，处理单元42对三维鞋模型中的鞋口区域进行透明化处理；将透明化处理后的三维鞋模型，渲染为所述二维鞋图像。确定单元41根据二维鞋图像的二值图像，确定鞋体区域和鞋口区域。
在一些实施例中，处理单元42检测三维鞋模型的鞋口区域，并利用封闭网格覆盖鞋口区域；对封闭网格覆盖部分进行透明化处理。
在一些实施例中，确定单元41根据预设的鞋区域中未被腿部遮挡的部分的大小，确定封闭网格覆盖鞋口区域的位置。
在一些实施例中，待处理图像为视频中的各帧图像；处理单元42根据生成的各帧图像对应的虚拟图像，生成具有腿部遮效果的视频。
图5示出本公开的虚拟图像的生成装置的另一些实施例的框图。
如图5所示，该实施例的虚拟图像的生成装置5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的虚拟图像的生成方法。
其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader、数据库以及其他程序等。
图6示出本公开的虚拟图像的生成装置的又一些实施例的框图。
如图6所示，该实施例的虚拟图像的生成装置6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的虚拟图像的生成方法。
存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader以及其他程序等。
虚拟图像的生成装置6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的虚拟图像的生成方法、虚拟图像的生成装置和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (13)

1.一种虚拟图像的生成方法，包括：
获取包含腿部和脚部的待处理图像中的腿部区域；
根据所述待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与所述待处理图像对应的二维鞋图像；
根据所述腿部区域与所述二维鞋图像中鞋区域的重叠部分，确定所述鞋区域中被腿部遮挡的部分；
根据所述被腿部遮挡的部分，渲染所述待处理图像和所述二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。
2.根据权利要求1所述的生成方法，其中，所述根据所述腿部区域与所述二维鞋图像中鞋区域的重叠部分，确定所述鞋区域中被腿部遮挡的部分包括：
根据所述二维鞋图像中鞋体区域的位置确定鞋的外轮廓，根据所述二维图像中鞋口区域的位置确定鞋的内轮廓；
根据所述腿部区域的轮廓与所述外轮廓的交点和所述内轮廓，确定所述鞋区域中被腿部遮挡的部分。
3.根据权利要求2所述的生成方法，其中，所述根据所述腿部区域的轮廓与所述外轮廓的交点和所述内轮廓，确定所述鞋区域中被腿部遮挡的部分包括：
在所述内轮廓上，确定与所述交点距离最近的点；
根据所述交点、所述距离最近的点，确定所述鞋区域中被腿部遮挡的部分。
4.根据权利要求1所述的生成方法，其中，所述将三维鞋模型渲染为与所述待处理图像对应的二维鞋图像包括：
对所述三维鞋模型中的鞋口区域进行透明化处理；
将透明化处理后的三维鞋模型，渲染为所述二维鞋图像；
根据所述二维鞋图像的二值图像，确定鞋体区域和鞋口区域。
5.根据权利要求4所述的生成方法，其中，所述对所述三维鞋模型中的鞋口区域进行透明化处理包括：
检测三维鞋模型的鞋口区域，并利用封闭网格覆盖鞋口区域；
对所述封闭网格覆盖部分进行透明化处理。
6.根据权利要求5所述的生成方法，其中，所述检测三维鞋模型的鞋口区域，并利用封闭网格覆盖鞋口区域包括：
根据预设的所述鞋区域中未被腿部遮挡的部分的大小，确定所述封闭网格覆盖所述鞋口区域的位置。
7.根据权利要求1-6任一项所述的生成方法，其中，所述获取包含腿部和脚部的待处理图像中的腿部区域包括：
将所述待处理图像输入机器学习模型，确定所述待处理图像中的腿部区域。
8.根据权利要求7所述的生成方法，其中，
所述机器学习模型包括依次连接的卷积神经网络模块和空间金字塔池化模块。
9.根据权利要求8所述的生成方法，其中，
所述卷积神经网络模块根据快速分割卷积神经网络Fast-SCNN模型设置。
10.根据权利要求1-6任一项所述的生成方法，其中，
所述待处理图像为视频中的各帧图像；
还包括：
根据生成的所述各帧图像对应的虚拟图像，生成具有腿部遮效果的视频。
11.一种虚拟图像的生成装置，包括：
确定单元，用于获取包含腿部和脚部的待处理图像中的腿部区域，根据所述腿部区域与二维鞋图像中鞋区域的重叠部分，确定所述鞋区域中被腿部遮挡的部分；
处理单元，用于根据所述待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与所述待处理图像对应的二维鞋图像，根据所述被腿部遮挡的部分，渲染所述待处理图像和所述二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。
12.一种虚拟图像的生成装置，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-10任一项所述的虚拟图像的生成方法。
13.一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-10任一项所述的虚拟图像的生成方法。
CN202011134938.4A 2020-10-21 2020-10-21 虚拟图像的生成方法和装置 Pending CN112330784A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011134938.4A CN112330784A (zh) 2020-10-21 2020-10-21 虚拟图像的生成方法和装置
PCT/CN2021/119751 WO2022083389A1 (zh) 2020-10-21 2021-09-23 虚拟图像的生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011134938.4A CN112330784A (zh) 2020-10-21 2020-10-21 虚拟图像的生成方法和装置

Publications (1)

Publication Number Publication Date
CN112330784A true CN112330784A (zh) 2021-02-05

Family

ID=74311276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011134938.4A Pending CN112330784A (zh) 2020-10-21 2020-10-21 虚拟图像的生成方法和装置

Country Status (2)

Country Link
CN (1) CN112330784A (zh)
WO (1) WO2022083389A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022083389A1 (zh) * 2020-10-21 2022-04-28 北京沃东天骏信息技术有限公司 虚拟图像的生成方法和装置
WO2022188708A1 (zh) * 2021-03-11 2022-09-15 北京字跳网络技术有限公司 基于增强现实的试鞋方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2647305A1 (en) * 2010-12-03 2013-10-09 Alu Group, S.L. Method for virtually trying on footwear
CN110751716A (zh) * 2019-05-08 2020-02-04 叠境数字科技（上海）有限公司 基于单视角rgbd传感器的虚拟试鞋方法
CN111369686A (zh) * 2020-03-03 2020-07-03 足购科技(杭州)有限公司 能够处理局部遮挡物的ar成像虚拟试鞋方法及装置
CN111507806A (zh) * 2020-04-23 2020-08-07 北京百度网讯科技有限公司 虚拟试鞋方法、装置、设备以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330784A (zh) * 2020-10-21 2021-02-05 北京沃东天骏信息技术有限公司 虚拟图像的生成方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2647305A1 (en) * 2010-12-03 2013-10-09 Alu Group, S.L. Method for virtually trying on footwear
CN110751716A (zh) * 2019-05-08 2020-02-04 叠境数字科技（上海）有限公司 基于单视角rgbd传感器的虚拟试鞋方法
CN111369686A (zh) * 2020-03-03 2020-07-03 足购科技(杭州)有限公司 能够处理局部遮挡物的ar成像虚拟试鞋方法及装置
CN111507806A (zh) * 2020-04-23 2020-08-07 北京百度网讯科技有限公司 虚拟试鞋方法、装置、设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022083389A1 (zh) * 2020-10-21 2022-04-28 北京沃东天骏信息技术有限公司 虚拟图像的生成方法和装置
WO2022188708A1 (zh) * 2021-03-11 2022-09-15 北京字跳网络技术有限公司 基于增强现实的试鞋方法、装置和电子设备

Also Published As

Publication number Publication date
WO2022083389A1 (zh) 2022-04-28

Similar Documents

Publication Publication Date Title
Boukhayma et al. 3d hand shape and pose from images in the wild
US11145133B2 (en) Methods and systems for generating an animated 3D model based on a 2D image
US11721114B2 (en) Method, system, and device of generating a reduced-size volumetric dataset
KR101919831B1 (ko) 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
KR101556992B1 (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
US8933928B2 (en) Multiview face content creation
CN109219835A (zh) 三维打印的定制可穿戴物件的生成
KR101723823B1 (ko) 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치
Magnenat-Thalmann Modeling and simulating bodies and garments
KR20110032351A (ko) 영상 처리 장치 및 방법
WO2022083389A1 (zh) 虚拟图像的生成方法和装置
JP6409433B2 (ja) 画像生成装置、画像検出システム及び画像生成方法
CN107194985A (zh) 一种面向大场景的三维可视化方法及装置
JP7005622B2 (ja) 認識処理装置、認識処理方法及びプログラム
KR101696007B1 (ko) 3d 몽타주 생성 장치 및 방법
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
CN114375463A (zh) 从身体的隐藏扫描中估计裸露体形的方法
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
JP7078564B2 (ja) 画像処理装置及びプログラム
Guo et al. Hand gesture recognition and interaction with 3D stereo camera
CN111783497A (zh) 视频中目标的特征确定方法、装置和计算机可读存储介质
WO2020183598A1 (ja) 学習データ生成装置、学習データ生成方法および学習データ生成プログラム
CN107369209A (zh) 一种数据处理方法
US20190377935A1 (en) Method and apparatus for tracking features
Sundaram et al. Marker and modified graph cut algorithm for augmented reality gaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination