CN112508639A - 虚拟化人体系统的交互方法、电子设备和计算机可读介质 - Google Patents

虚拟化人体系统的交互方法、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN112508639A
CN112508639A CN202011377956.5A CN202011377956A CN112508639A CN 112508639 A CN112508639 A CN 112508639A CN 202011377956 A CN202011377956 A CN 202011377956A CN 112508639 A CN112508639 A CN 112508639A
Authority
CN
China
Prior art keywords
human body
target
virtual model
related object
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011377956.5A
Other languages
English (en)
Inventor
周翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202011377956.5A priority Critical patent/CN112508639A/zh
Publication of CN112508639A publication Critical patent/CN112508639A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种虚拟化人体系统的交互方法、电子设备和计算机可读介质，交互方法包括：获取目标人体的体型信息，根据体型信息构建目标人体的人体虚拟模型；接收与人体虚拟模型相关联的目标关联物及用于指示目标关联物的形态特征和位置的指示信息，根据指示信息将目标关联物匹配至人体虚拟模型；响应于人体虚拟模型产生形态变化，根据人体虚拟模型的形态变化调整目标关联物的形态特征和位置。本发明通过构建出试衣者的人体虚拟模型并根据人体形态变化实时匹配出关联物变化的方式，无需试衣者真实试穿，即可有效地呈现出接近真实的穿衣过程，让试衣者能够更加及时且直观地感受到穿衣效果，从而提升了客户购物体验和效率。

Description

虚拟化人体系统的交互方法、电子设备和计算机可读介质
技术领域
本发明涉及人工智能领域，特别涉及一种虚拟化人体系统的交互方法、电子设备和计算机可读介质。
背景技术
目前，客户在服装店挑选衣服时，往往会因为品种款式过多，摆放位置不明确或人流量过大，换衣间排队等问题，不能及时选到心仪的服饰，结果耗时耗神，影响客户购物体验和效率。
而且，随着各类网络购物平台的普及，越来越多的客户也选择通过网络购物平台来挑选服饰，但由于网络购物的局限性，客户无法及时查看实体衣物以进行试穿，只能通过查看模特试穿图片或视频的方式进行挑选，因此影响客户购物体验和效率。
发明内容
本发明要解决的技术问题是为了克服现有技术中试衣者无法及时且直观地感受穿衣效果，导致影响客户购物体验和效率的缺陷，提供一种虚拟化人体系统的交互方法、电子设备和计算机可读介质。
本发明是通过下述技术方案来解决上述技术问题：
一种虚拟化人体系统的交互方法，包括：
获取目标人体的体型信息，根据所述体型信息构建所述目标人体的人体虚拟模型；
接收与所述人体虚拟模型相关联的目标关联物及用于指示所述目标关联物的形态特征和位置的指示信息，根据所述指示信息将所述目标关联物匹配至所述人体虚拟模型；以及
响应于所述人体虚拟模型产生形态变化，根据所述人体虚拟模型的形态变化调整所述目标关联物的形态特征和位置。
可选地，所述获取目标人体的体型信息，根据所述体型信息构建所述目标人体的人体虚拟模型的步骤包括：
通过图像采集模块全方位扫描目标人体，以采集所述目标人体的图像；
从所述图像中解析出所述目标人体的体型信息，其中，所述体型信息包括关节点特征参数和身体表征参数，以预设参照物作为坐标原点，对所述图像的人体关节点进行识别，以提取用于构建人体虚拟模型的关节点特征参数；
根据所述体型信息构建所述目标人体的人体虚拟模型，所述人体虚拟模型包括二维或三维人体虚拟模型；
利用训练神经网络的方式，根据所述身体表征参数调整所述人体虚拟模型中的至少一部分，以完善所述人体虚拟模型。
可选地，所述构建所述目标人体的人体虚拟模型的步骤包括：
利用训练一个或多个神经网络的方式构建出所述目标人体的人体虚拟模型，其中，所述一个或多个神经网络在基于人体的多个训练图像上训练，以识别在所述训练图像中呈现的特征，并且基于所识别的特征来推断与根运动链相关联的关节角度，所述一个或多个神经网络还被训练为基于所述所识别的特征和与所述根运动链相关联的所述关节角度，来推断与头部或肢体运动链相关联的关节角度，所述根运动链至少包括人体的胸部区域或骨盆区域，并且所述头部或肢体运动链至少包括所述人体的头部区域或肢体区域。
可选地，所述一个或多个神经网络还被训练为基于与所述根运动链或所述头部或肢体运动链相关联的一个或多个其他关节，来推断与所述根运动链或所述头部或肢体运动链的末端执行器相关联的关节角度，所述一个或多个神经网络还被训练为至少基于与所述根运动链或所述头部或肢体运动链相关联的所述末端执行器，来推断与在所述根运动链或所述头部或肢体运动链的开始段处或附近的关节相关联的关节角度。
可选地，还包括：
从关联数据库中选取关联物作为目标关联物并进行输出，所述关联数据库用于存储具有不同属性信息的多个关联物。
可选地，还包括：
利用训练神经网络的方式，根据获取到的所述体型信息从所述关联数据库中推荐出关联物作为目标关联物并进行输出。
可选地，还包括：
获取所述人体虚拟模型的环境背景；
响应于所述环境背景产生变化，还根据所述环境背景的变化调整所述目标关联物的形态特征或位置。
可选地，所述人体虚拟模型的形态变化包括身体姿势变化、身体尺寸变化及身体部位形状变化中的任意一种或多种。
一种电子设备，包括摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述摄像头被配置为采集目标人体的当前体型及形态并输出至所述存储器及所述处理器，所述处理器被配置为执行计算机程序时实现如上述的虚拟化人体系统的交互方法的步骤。
一种计算机可读介质，其上存储有计算机指令，所述计算机指令在由处理器执行时实现如上述的虚拟化人体系统的交互方法的步骤。
在符合本领域常识的基础上，所述各优选条件，可任意组合，即得本发明各较佳实施例。
本发明的积极进步效果在于：
本发明通过构建出试衣者的人体虚拟模型并根据人体形态变化实时匹配出关联物变化的方式，无需试衣者真实试穿，即可有效地呈现出接近真实的穿衣过程，让试衣者能够更加及时且直观地感受到穿衣效果，从而提升了客户购物体验和效率。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的所述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附目标记。
图1为根据本发明的一实施例的虚拟化人体系统的交互方法的流程示意图。
图2为根据本发明另一实施例的虚拟化人体系统的交互装置的结构示意图。
图3为根据本发明另一实施例的实现虚拟化人体系统的交互方法的电子设备的结构示意图。
图4a为例示出人体的根运动链的示例框图。
图4b为例示出人体的肢体运动链的示例框图。
图5为例示出人体的六个运动链的示例框图。
图6为例示出示例神经网络训练过程的图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
为了克服目前存在的上述缺陷，本实施例提供一种虚拟化人体系统的交互方法，包括：获取目标人体的体型信息，根据体型信息构建目标人体的人体虚拟模型；接收与人体虚拟模型相关联的目标关联物及用于指示目标关联物的形态特征或位置的指示信息，根据指示信息将目标关联物匹配至人体虚拟模型；以及，响应于人体虚拟模型产生形态变化，根据人体虚拟模型的形态变化调整目标关联物的形态特征或位置。
本实施例提供的交互方法可有效地应用于试衣系统中，以实现无需试衣者真实试穿，即可有效地呈现出接近真实的穿衣过程，让试衣者能够更加及时且直观地感受到穿衣效果，从而提升了客户购物体验和效率。但本实施例并不具体限定交互方法的应用场景，可根据实际需求进行相应的调整及选择。
在本实施例中，关联物可以包括商标标识、广告标识及衣服虚拟模型中的任意一种或多种，但并不具体限定关联物的类型，可根据实际需求进行相应的调整及选择。
具体地，作为一实施例，如图1所示，本实施例提供的虚拟化人体系统的交互方法主要包括以下步骤：
步骤101、获取目标人体的体型信息。
在本步骤中，通过图像采集模块360度扫描目标人体和环境，以采集目标人体和环境背景的图像，并且从图像中解析出目标人体的体型信息。
在本实施例中，图像采集模块包括但并不仅限于仪器摄像头和/或各类图像采集相关传感器等。
在本实施例中，体型信息包括但并不仅限于关节点特征参数及身体表征参数(身高、性别特征等)，当然也可根据实际需求进行相应的选择及调整。
在本步骤中，以预设参照物作为坐标原点，对图像的人体关节点进行识别，以提取用于构建人体虚拟模型的关节点特征参数。
具体地，输入扫描图像，则可以例如使用编码器模块从图像提取多个特征Φ。所提取的特征可以被提供给分层运动姿势/形状回归模块，其可以被配置为从所提取的特征推断参数，以便恢复人体虚拟模型。所推断的参数可以包括例如一个或多个姿势参数Θ和一个或多个形状参数β，这些参数可以分别指示个人身体的姿势和形状。步骤102、构建出目标人体的人体虚拟模型。
在本步骤中，根据目标人体的关节点特征参数构建出对应的人体虚拟模型，优选地，人体虚拟模型为三维人体虚拟模型，但也可以为二维人体虚拟模型。
具体地，关节位置可以基于人的图像，诸如包括表示人的身体特征的颜色和/或深度信息的图像来确定。关节位置可以是人的所有关节位置的子集(例如，不包括被遮挡或以其他方式未知的关节)。处理器实施人工神经网络并向人工神经网络提供与人的一个或多个关节位置有关的信息。人工神经网络可以基于与人的一个或多个关节位置有关的信息，来确定与人的姿势相关联的第一多个参数和与人的形状相关联的第二多个参数。基于第一多个参数和第二多个参数，可以生成表示人的姿势和形状的一个或多个人体模型。
人工神经网络可以使用训练数据来训练，该训练数据包括人体的关节位置。在训练期间，人工神经网络可以基于在训练数据中包括的关节位置来预测与人体相关联的姿势和形状参数。人工神经网络然后可以从预测的姿势和形状参数推断人体的关节位置，并且基于推断的关节位置与在训练数据中包括的关节位置之间的差异来调节(例如，优化)人工神经网络的操作参数(例如，权重)。在示例中，训练数据还可以包括与人体的关节位置相关联的姿势和形状参数，并且人工神经网络还可以基于预测的姿势和形状参数与在训练数据中包括的姿势和形状参数之间的差异来调节(例如，优化)其操作参数。
一个或多个神经网络中的每一个可以包括多个层，诸如输入层、一个或多个卷积层、一个或多个非线性激活层、一个或多个池化层、一个或多个全连接层和/或输出层。层中的每一个可以对应于多个滤波器(例如，核)，且各个过滤器可以被设计为检测(例如，学习)共同表示相应特征或模式的关键点集合。过滤器可以与相应的权重相关联，当将相应的权重应用于输入时，产生指示是否已经检测到某些视觉特征或模式的输出。与过滤器相关联的权重可以由神经网络通过训练过程来学习，该训练过程包括：将来自一个或多个训练数据集的大量图像输入到神经网络，计算由当前分配给过滤器的权重产生的差或损失(例如，基于诸如均方误差或L1范数的目标函数、基于余量的损失函数等)，以及更新分配给过滤器的权重，以便最小化差或损失(例如，基于随机梯度下降)。一旦被训练(例如，已经学习识别训练图像中的特征和/或模式)，神经网络就可以在输入层处取得图像，从图像中提取视觉特征或模式和/或对视觉特征或模式进行分类，并且在输出层处提供针对所识别特征或特征类别的指示。所识别的特征可以例如用特征描述符或特征向量来指示。
一个或多个神经网络还可以被训练为例如基于从输入图像提取的特征来推断用于恢复三维人体虚拟模型的姿势和形状参数。例如，一个或多个神经网络可以被训练为基于数据集来确定在输入图像中描绘的人的多个关节的关节角度，这些数据集覆盖大范围的人类受试者、人类活动、背景噪声、形状和/或姿势变化、照相机运动等。多个关节可以包括例如骨骼装备中包括的23个关节以及根关节，并且从其导出的姿势参数可以包括72个参数(例如，23个关节中的每一个有3个参数，并且根关节有3个参数，其中各个参数对应于从根取向开始的轴角旋转)。神经网络还可以学习基于训练数据集来确定一个或多个形状参数，该一个或多个形状参数用于基于人的图像来预测人的混合形状。例如，神经网络可以学习通过进行主成分分析(PCA)来确定形状参数，由此确定的形状参数可以包括PCA空间的多个系数(例如，前10个系数)。一旦确定了姿势和形状参数，就可以获得多个顶点(例如，基于82个形状和姿势参数的6890个顶点)，用于构建人体的表示(例如，3D网格)。各个顶点可以包括各自的位置、法线、纹理和/或阴影信息。使用这些顶点，可以例如通过以下方式来创建人的3D网格：将多个顶点与边缘连接以形成多边形(例如，三角形)，将多个多边形连接以形成表面，使用多个表面来确定3D形状，以及将纹理和/或阴影应用于表面和/或形状。
图4a是例示了人体的根运动链300a的示例框图，图4b是例示了人体的肢体(例如，右肩)运动链300b的示例框图。根运动链300a可以包括人体的核心部分中的多个关节，诸如骨盆(pelvis)区域的关节302a、脊柱(spine)中的一个或多个关节304a、胸部(chest)区域的关节306a和末端执行器308a(例如，可以连接到人体的下一运动链的根运动链300a的末端区域)。类似地，肢体运动链300b可以包括沿着人体右臂的多个关节，诸如肩(shoulder)关节302b、肘(elbow)关节304b、手腕(wrist)306b和末端执行器308b(例如，右手的指尖)。
如图所示，各个相应运动链的位置和/或关节角度(例如，根运动链的Θpelvis、Θspine、Θchest以及肢体运动链的Θshoulder、Θelbow、Θwrist)可以相互关联，由此可见，与运动链中的关节的子集的位置和/或关节角度有关的知识可以用于估计运动链中的关节的第二子集的位置和/或关节角度。该估计可以沿前向(forward direction)和/或逆向(backward direction)来执行。在涉及根运动链300a的示例前向估计中，骨盆关节302a、脊柱关节304a和胸部关节306a的相应位置和/或关节角度可以用于估计末端执行器308a的位置和/或关节角度。类似地，在涉及肢体运动链300b的示例前向估计中，肩关节302b、脊柱关节304b和胸部关节306b的相应位置和/或关节角度可以用于估计末端执行器308b(例如，指尖)的位置和/或关节角度。在逆向上，在末端执行器处或附近的关节的子集的位置和/或关节角度可以用于估计在运动链的开始段处或附近的关节的位置和/或关节角度。例如，关于肢体运动链300b，逆向估计可以包括：基于运动链中的其他关节的位置和/或角度来估计肩关节302b的位置和/或关节角度，其他关节包括例如末端执行器308b、腕306b或肘关节304b中的一个或多个。
除了运动链内的关节之间的结构相关性之外，运动链中的关节的位置和/或关节角度还可能受到另一运动链的位置和/或关节角度的影响。图5是例示了人体的六个运动链的示例框图，这些运动链包括根运动链402、头部运动链404和四个肢体运动链(例如，左臂运动链406、右臂运动链408、左腿运动链410和右腿运动链412)。如上所述，各个运动链可以包括多个关节和末端执行器，诸如图4a所示的骨盆302a、脊柱304a、胸部306a和末端执行器308a以及图4b所示的肩302b、肘304b、腕306b和末端执行器308b。运动链可以彼此相互关联。例如，头部运动链404的关节角度和/或肢体运动链406、408、410和412中的关节角度可以取决于根运动链402的关节角度，例如，如图5中的箭头所示，比如，当根运动链402的关节角度处于图5所示的状态时，人体可以处于直立位置，并且其他运动链的关节角度可以被限制到由身体的直立位置规定的相应值范围。类似地，当根运动链402的关节角度从图5所示的状态移开时，例如，随着人体向侧面倾斜，其他运动链的关节角度可以具有由身体的新位置规定的不同值范围。
一个或多个神经网络(本文称为“神经网络”)可以被训练为学习关节和/或运动链之间的结构相关性。图6是例示了神经网络的示例训练过程的图。如图6所示，神经网络可以被训练为通过迭代过程来估计与人体虚拟模型相关联的姿势参数Θ和形状参数β。比如，在初始迭代t-1期间，神经网络可以接收输入图像并且从输入图像提取多个特征Φ。神经网络还可以将形状参数初始化为具有值βt-1，并且将根链502、头部链504、右臂链506、左臂链508、右腿链510和左腿链512中的每一个的姿势参数初始化为分别具有值Θt-1 Root、Θt-1 Head、Θt-1 R.Arm、Θt-1 L.Arm、Θt-1 R.Leg和Θt-1 L.Leg。形状和/或姿势参数的这些初始值可以例如基于正态分布(例如，具有一定标准偏差)来设置。神经网络然后可以基于初始值Θt-1 Root、初始形状参数βt-1和从输入图像提取的特征Φ来估计(例如，预测)对用于根链502的姿势参数的初始值Θt-1 Root的调节ΔΘ。调节ΔΘ可以被应用于初始值Θt-1 Root，以导出根链的姿势参数的更新版本Θt Root(例如，基于Θt Root＝Θt-1 Root+ΔΘ)。使用用于根链502的更新的姿势参数Θt Root，神经网络可以预测用于头部或肢体链504、506、508、510或512中的一个或多个(例如，每一个)的相应的更新的姿势参数。例如，神经网络可以基于更新的根链姿势参数Θt Root、头部链的初始姿势参数Θt-1 Head、初始形状参数βt-1和从输入图像提取的特征Φ来预测头部运动链504的更新的姿势参数。作为另一示例，神经网络可以基于更新的根链姿势参数Θt Root、右臂链的初始姿势参数Θt-1 R.Arm、初始形状参数βt-1和从输入图像提取的特征Φ来预测右臂运动链506的更新的姿势参数。神经网络也可以以类似的方式更新其他运动链的姿势参数。
一旦姿势参数Θ(例如，用于相应的根链502和头部/肢体链504-512)已经被更新，神经网络就可以继续基于初始形状参数βt-1、更新后的姿势参数Θt、以及从输入图像提取的特征Φ来预测形状参数βt的更新版本。神经网络然后可以使用更新后的姿势参数Θt(例如，用于相应的根链502和头部/肢体链504-512)、更新后的形状参数βt和特征Φ作为训练的下一迭代的输入，并且重复上述估计操作，直到满足一个或多个训练终止准则为止(例如，在完成预定次数的训练迭代之后，在确定目标函数的变化落在预定阈值以下时等)。神经网络可以利用目标函数来优化其参数，该目标函数基于均方误差、L1范数等中的一个或多个。
神经网络也可以被训练为通过迭代过程在运动链502、504、506、508、510或512中的每一个内执行前向和逆向估计。比如，在前向上，神经网络可以学习基于运动链中的其他关节位置和/或关节角度来预测运动链中的末端执行器的位置和/或关节角度。使用右臂运动链506作为示例，则神经网络可以接收人的图像(例如，从图像提取的特征Φ)、关于其他关节(例如，包括右臂运动链506的一个或多个关节和/或根运动链502的关节)的位置和/或关节角度的信息、和/或关于人的形状的信息，作为输入。基于这些输入，神经网络可以估计右臂运动链的末端执行器(例如，指尖)的位置和/或关节角度。神经网络可以将末端执行器的估计的位置和/或关节角度与位置和/或关节角度的真实数据进行比较，并且基于目标函数(例如，损失函数)来确定对相关滤波权重或参数(例如，与右臂运动链有关)的更新。目标函数可以例如基于均方误差、L1范数等中的一个或多个来实施，并且神经网络可以使用反向传播过程来更新滤波权重或参数(例如，通过确定目标函数相对于当前滤波权重或参数的梯度)。神经网络然后可以使用更新后的参数重复前述过程，直到满足一个或多个训练终止标准为止(例如，在完成预定次数的训练迭代之后，在目标函数的值在训练迭代之间的变化落在预定阈值以下时等)。
在逆向上，神经网络可以以类似的方式来训练，以基于运动链的末端执行器和/或链中包括的其他关节来预测在运动链的开始段处或附近的关节的位置和/或关节角度。比如，可以向神经网络给出关于指尖和其他关节(例如，包括在运动链中的右腕、右手和/或右肘和/或根运动链502中的关节)的位置和/或角度的信息，并且神经网络可以使用给定的关节信息连同特征Φ和人的形状来学习用于预测右肩的位置和/或关节角度的参数。这种逆向上的训练可以帮助提高神经网络估计前向上的关节位置和/或关节角度的能力，例如，当人体的一部分被遮盖或挡住时。关于该特征的更多细节将在下面的示例中提供。
为了获取基于关于人的关节位置的部分知识(例如，人的某些关节位置可能被遮挡、观察不到或者以其他方式不为神经网络所知)来预测姿势和形状参数的能力，对人工神经网络的训练可以涉及向人工神经网络提供关节位置的子集并且迫使人工神经网络使用关节位置的子集来预测姿势和形状参数。比如，训练可以利用与人体相关联的现有参数人体模型来确定人体的多个关节位置，然后从人工神经网络的输入中随机地排除多个关节位置的子集(例如，通过人工地将关节位置的子集当做未观察到的和不可用的)。
本文所述的关节位置可以包括人的二维(2D)和/或三维(3D)关节位置。当使用至少2D关节位置来进行训练时，人工神经网络可以在训练期间基于2D关节位置来预测姿势和形状参数，使用所预测的姿势和形状参数来推断人体的3D关节位置，并且将3D关节位置投影到图像空间中，以获得对应的2D关节位置。然后，人工神经网络可以基于所投影的2D关节位置与在训练数据中包括的2D关节位置之间的差异来调节其操作参数。
姿势和形状参数可以单独地(例如，彼此独立地)恢复。例如，所恢复的姿势参数可以独立于体形(例如，独立于人的身高和体重)。
在本步骤中，利用训练神经网络的方式，还根据身体表征参数调整人体虚拟模型中的至少一部分，以完善人体虚拟模型。顾客的身体表征参数可以用于匹配服装的特定尺寸；通过图像，利用人工智能分析顾客的身体各部位的表征参数，通过身体表征参数完善顾客的人体虚拟模型；通过顾客选择或自动匹配适合该人体虚拟模型的服装。
步骤103、选择或推荐出目标关联物。
在本步骤中，基于接收到的用户指令，从关联数据库中选取关联物作为目标关联物并进行输出，关联数据库用于存储具有不同属性信息的多个关联物。
在本步骤中，利用训练神经网络的方式，还可根据获取到的体型信息从关联数据库中推荐出关联物作为目标关联物并进行输出。作为示例，可根据身高等参数自动推荐出适合该身高的服装，也可根据性别特征、年龄等参数自动推荐出合适的服装。
步骤104、将目标关联物匹配至人体虚拟模型。
在本步骤中，基于用户指令或预设规则，获取用于指示目标关联物的形态特征或位置的指示信息，并且根据指示信息将目标关联物匹配至人体虚拟模型，将匹配目标关联物的人体虚拟模型输出至显示模块以进行显示。例如，利用已有的衣服三维模型(几何信息以及材质信息)，配合渲染引擎的柔性材料物理仿真，可以实时呈现衣服穿在人体上的三维效果(带有皱褶)。
在本实施例中，显示模块优选为可提供用户交互接口的触摸式显示屏，当然也可根据实际需求进行其他选择。
步骤105、实时采集目标人体的形态变化。
在本步骤中，通过图像采集模块采集目标人体的当前形态以及形态的动态变化，并且将目标人体的实际形态变化关联至人体虚拟模型，以使得将显示的人体虚拟模型也做出相应的形态变化。
在本实施例中，目标人体的人体虚拟模型的形态变化包括但不仅限于身体姿势变化、身体尺寸变化及身体部位形状变化中的任意一种或多种。
步骤106、根据目标人体的形态变化实时调整人体虚拟模型及目标关联物的形态或位置。
在本步骤中，响应于人体虚拟模型产生形态变化，根据人体虚拟模型的形态变化调整目标关联物的形态特征或位置，并且通过显示模块显示与当前形态变化匹配的目标关联物的形态特征或位置。
具体地，实时反馈人体参数，渲染引擎中就会实时更新可操纵三维人体虚拟模型，利用柔性物理仿真，实时更新衣物的形态(衣物形态会随人体的动作而变化，包括快速运动时飘起等)，用摄像头的参数在渲染引擎中构建虚拟相机，将衣物的三维形态，滤除人体模型，通过虚拟相机渲染衣物的图像，将衣服的图像重叠在真实摄像头获取的图像之上，形成虚拟试穿的效果。
优选地，作为一实施例，在本步骤中，响应于目标人体的环境背景产生变化，还根据环境背景的变化调整目标关联物的形态特征或位置。
以下具体说明利用如上述的交互方法所能实现的功能及有益效果。
1、显示模块能够呈现出接近真实的试衣者的样貌，试衣者可通过触摸显示模块，对人体虚拟模型进行放大、缩小、旋转等各种操作。
2、试衣者可在系统数据库中游览所有衣服款式，并且了解该款式相应的尺码是否还有库存，试衣者点击特定衣服可对人体虚拟模型的自己进行更衣，后台通过神经网络，自动将该衣服与人体虚拟模型进行贴合、调整，使穿衣效果更自然，更贴近真实，从而有效地节省客户去更衣室换衣的过程，也可在网络购物平台上体验自己试穿的效果。
3、试衣者可选择该穿着服饰的人体虚拟模型摆出不同身体姿势(坐，站，走，跑等)，通过人工智能，服饰会随着人体形态变化而变化。
4、商家可将穿搭不同款式的模特以人体虚拟模型方式录入系统中，供试衣者参考。
5、系统数据库中将不同衣服款式以风格款式、受众年龄及适合体型进行归类，试衣者可通过点击“推荐”来获取系统依据提醒参数给出的推荐服饰，也可自行选择风格类型。
6、系统可在界面设定不同环境背景(包括光线亮度，室内或室外等)，让试衣者能更加直观感受穿衣效果。
7、不仅是衣物，还可将商标标识或广告标识作为关联物与人体虚拟模型匹配并根据人体的形态调整商标标识或广告标识的位置、尺寸、形状等，从而满足多样化需求，实现更加动态且直观的模型效果。
图2为根据本发明另一实施例提供的虚拟化人体系统的交互装置的结构示意图。交互装置利用如上述的交互方法，交互装置包括图像采集模块21、交互模块22和显示模块23。
图像采集模块21主要被配置为实时采集目标人体和环境背景的图像并输出至交互模块22。
交互模块22主要被配置为获取目标人体的体型信息，根据体型信息构建目标人体的人体虚拟模型并输出至显示模块23；接收与人体虚拟模型相关联的目标关联物及用于指示目标关联物的形态特征或位置的指示信息，根据指示信息将目标关联物匹配至人体虚拟模型并输出至显示模块23；响应于人体虚拟模型产生形态变化，根据人体虚拟模型的形态变化调整目标关联物的形态特征或位置。
显示模块23主要被配置为实时显示从交互模块22接收到的信息以使得用户实时查看人体虚拟模型和关联物的变化。
图3为根据本发明另一实施例提供的一种电子设备的结构示意图。电子设备包括摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，摄像头被配置为采集目标人体的当前体型及形态并输出至存储器及处理器，处理器被配置为执行计算机程序时实现如上述的虚拟化人体系统的交互方法的步骤。图3显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明如上实施例中的虚拟化人体系统的交互方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上实施例中的虚拟化人体系统的交互方法中的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现如上实施例中的虚拟化人体系统的交互方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种虚拟化人体系统的交互方法，其特征在于，包括：
获取目标人体的体型信息，根据所述体型信息构建所述目标人体的人体虚拟模型；
接收与所述人体虚拟模型相关联的目标关联物及用于指示所述目标关联物的形态特征和位置的指示信息，根据所述指示信息将所述目标关联物匹配至所述人体虚拟模型；以及
响应于所述人体虚拟模型产生形态变化，根据所述人体虚拟模型的形态变化调整所述目标关联物的形态特征和位置。
2.如权利要求1所述的交互方法，其特征在于，所述获取目标人体的体型信息，根据所述体型信息构建所述目标人体的人体虚拟模型的步骤包括：
通过图像采集模块全方位扫描目标人体，以采集所述目标人体的图像；
从所述图像中解析出所述目标人体的体型信息，其中，所述体型信息包括关节点特征参数和身体表征参数，以预设参照物作为坐标原点，对所述图像的人体关节点进行识别，以提取用于构建人体虚拟模型的关节点特征参数；
根据所述体型信息构建所述目标人体的人体虚拟模型，所述人体虚拟模型包括二维或三维人体虚拟模型；
利用训练神经网络的方式，根据所述身体表征参数调整所述人体虚拟模型中的至少一部分，以完善所述人体虚拟模型。
3.如权利要求1所述的交互方法，其特征在于，所述构建所述目标人体的人体虚拟模型的步骤包括：
利用训练一个或多个神经网络的方式构建出所述目标人体的人体虚拟模型，其中，所述一个或多个神经网络在基于人体的多个训练图像上训练，以识别在所述训练图像中呈现的特征，并且基于所识别的特征来推断与根运动链相关联的关节角度，所述一个或多个神经网络还被训练为基于所述所识别的特征和与所述根运动链相关联的所述关节角度，来推断与头部或肢体运动链相关联的关节角度，所述根运动链至少包括人体的胸部区域或骨盆区域，并且所述头部或肢体运动链至少包括所述人体的头部区域或肢体区域。
4.如权利要求3所述的交互方法，其特征在于，所述一个或多个神经网络还被训练为基于与所述根运动链或所述头部或肢体运动链相关联的一个或多个其他关节，来推断与所述根运动链或所述头部或肢体运动链的末端执行器相关联的关节角度，所述一个或多个神经网络还被训练为至少基于与所述根运动链或所述头部或肢体运动链相关联的所述末端执行器，来推断与在所述根运动链或所述头部或肢体运动链的开始段处或附近的关节相关联的关节角度。
5.如权利要求1所述的交互方法，其特征在于，还包括：
从关联数据库中选取关联物作为目标关联物并进行输出，所述关联数据库用于存储具有不同属性信息的多个关联物。
6.如权利要求5所述的交互方法，其特征在于，还包括：
利用训练神经网络的方式，根据获取到的所述体型信息从所述关联数据库中推荐出关联物作为目标关联物并进行输出。
7.如权利要求1所述的交互方法，其特征在于，还包括：
获取所述人体虚拟模型的环境背景；
响应于所述环境背景产生变化，还根据所述环境背景的变化调整所述目标关联物的形态特征或位置。
8.如权利要求1所述的交互方法，其特征在于，所述人体虚拟模型的形态变化包括身体姿势变化、身体尺寸变化及身体部位形状变化中的任意一种或多种。
9.一种电子设备，包括摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述摄像头被配置为采集目标人体的当前体型及形态并输出至所述存储器及所述处理器，所述处理器被配置为执行计算机程序时实现如权利要求1～8中任意一项所述的虚拟化人体系统的交互方法的步骤。
10.一种计算机可读介质，其上存储有计算机指令，其特征在于，所述计算机指令在由处理器执行时实现如权利要求1～8中任意一项所述的虚拟化人体系统的交互方法的步骤。
CN202011377956.5A 2020-11-30 2020-11-30 虚拟化人体系统的交互方法、电子设备和计算机可读介质 Pending CN112508639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011377956.5A CN112508639A (zh) 2020-11-30 2020-11-30 虚拟化人体系统的交互方法、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011377956.5A CN112508639A (zh) 2020-11-30 2020-11-30 虚拟化人体系统的交互方法、电子设备和计算机可读介质

Publications (1)

Publication Number Publication Date
CN112508639A true CN112508639A (zh) 2021-03-16

Family

ID=74968576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011377956.5A Pending CN112508639A (zh) 2020-11-30 2020-11-30 虚拟化人体系统的交互方法、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN112508639A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
CN105843386A (zh) * 2016-03-22 2016-08-10 宁波元鼎电子科技有限公司 一种商场虚拟试衣系统
CN107481082A (zh) * 2017-06-26 2017-12-15 珠海格力电器股份有限公司 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统
CN107958232A (zh) * 2017-12-26 2018-04-24 石狮市森科智能科技有限公司 基于体感交互的虚拟试衣方法、系统和试衣间
CN109003168A (zh) * 2018-08-16 2018-12-14 深圳Tcl数字技术有限公司 虚拟试衣方法、智能电视以及计算机可读存储介质
CN110211196A (zh) * 2019-05-28 2019-09-06 山东大学 一种基于姿势引导的虚拟试穿方法及装置
CN111508079A (zh) * 2020-04-22 2020-08-07 深圳追一科技有限公司 虚拟服饰试穿方法、装置、终端设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
CN105843386A (zh) * 2016-03-22 2016-08-10 宁波元鼎电子科技有限公司 一种商场虚拟试衣系统
CN107481082A (zh) * 2017-06-26 2017-12-15 珠海格力电器股份有限公司 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统
CN107958232A (zh) * 2017-12-26 2018-04-24 石狮市森科智能科技有限公司 基于体感交互的虚拟试衣方法、系统和试衣间
CN109003168A (zh) * 2018-08-16 2018-12-14 深圳Tcl数字技术有限公司 虚拟试衣方法、智能电视以及计算机可读存储介质
CN110211196A (zh) * 2019-05-28 2019-09-06 山东大学 一种基于姿势引导的虚拟试穿方法及装置
CN111508079A (zh) * 2020-04-22 2020-08-07 深圳追一科技有限公司 虚拟服饰试穿方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
US11393163B2 (en) Method and system for remote clothing selection
Yang et al. Physics-inspired garment recovery from a single-view image
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
US11640672B2 (en) Method and system for wireless ultra-low footprint body scanning
US10628666B2 (en) Cloud server body scan data system
KR101911133B1 (ko) 깊이 카메라를 이용한 아바타 구성
CN108475439B (zh) 三维模型生成系统、三维模型生成方法和记录介质
Yang et al. Detailed garment recovery from a single-view image
Bowden et al. Non-linear statistical models for the 3D reconstruction of human pose and motion from monocular image sequences
CN110310285B (zh) 一种精确的基于三维人体重建的烧伤面积计算方法
Werghi Segmentation and modeling of full human body shape from 3-D scan data: A survey
Magnenat-Thalmann et al. 3d web-based virtual try on of physically simulated clothes
US11922593B2 (en) Methods of estimating a bare body shape from a concealed scan of the body
US20210375045A1 (en) System and method for reconstructing a 3d human body under clothing
CN114693570A (zh) 一种人体模型图像的融合处理方法、设备和存储介质
Daneshmand et al. Real-time, automatic shape-changing robot adjustment and gender classification
Schröder et al. Design and evaluation of reduced marker layouts for hand motion capture
Xu et al. Modeling 3D human body with a smart vest
CN114638929A (zh) 线上虚拟试衣方法、装置、电子设备及存储介质
WO2018182938A1 (en) Method and system for wireless ultra-low footprint body scanning
Xu et al. Human body reshaping and its application using multiple RGB-D sensors
CN112508639A (zh) 虚拟化人体系统的交互方法、电子设备和计算机可读介质
Chen et al. Optimizing human model reconstruction from RGB-D images based on skin detection
CN114581288A (zh) 一种图像生成方法、装置、电子设备以及存储介质
Zhang et al. Cloth simulation and virtual try-on with kinect based on human body adaptation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination