CN111243106A - 一种基于2d人体图像修正三维人体模型的方法 - Google Patents

一种基于2d人体图像修正三维人体模型的方法 Download PDF

Info

Publication number
CN111243106A
CN111243106A CN202010071094.7A CN202010071094A CN111243106A CN 111243106 A CN111243106 A CN 111243106A CN 202010071094 A CN202010071094 A CN 202010071094A CN 111243106 A CN111243106 A CN 111243106A
Authority
CN
China
Prior art keywords
human body
points
image
key point
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010071094.7A
Other languages
English (en)
Other versions
CN111243106B (zh
Inventor
石克阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Weier Network Technology Co ltd
Original Assignee
Hangzhou Weier Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Weier Network Technology Co ltd filed Critical Hangzhou Weier Network Technology Co ltd
Priority to CN202010071094.7A priority Critical patent/CN111243106B/zh
Publication of CN111243106A publication Critical patent/CN111243106A/zh
Application granted granted Critical
Publication of CN111243106B publication Critical patent/CN111243106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于2D人体图像修正三维人体模型的方法，涉及人体三维修正领域。包括以下步骤：检测出RGBD人体图像的第一人体关键点；对所述RGBD人体图像进行三维还原重建，得到3D人体模型；对所述3D人体模型进行正面投影，得到2D投影图像；检测出所述2D投影图像的第二人体关键点；将第一人体关键点与第二人体关键点进行对应；根据第一人体关键点之间的距离修正第二人体关键点之间的距离，得到融合了2D图像信息的3D还原图；根据3D还原图上调整的第二人体关键点，将3D还原图映射回3D人体模型上，完成对3D人体模型的调节。

Description

一种基于2D人体图像修正三维人体模型的方法
技术领域
本发明涉及人体三维修正领域，具体为一种基于2D人体图像修正三维人体模型的方法。
背景技术
随着网络时代的到来，网上店铺逐渐成为主流，越来越多的人通过网上购物、购衣，购衣过程中，人们主要通过展示的图像来了解衣服的外观情况。目前阶段的电商场景中，商家上传的图像一般是2D的静态图像，人们还是不能真实准确的感受到穿着衣服后各方面的视角，这给人们购物带来不便。
由此各类围绕人工智能的分析技术都希望能够对商品图像中的模特进行三维还原，这样模特的展示就会更加立体和形象。但是目前商品模特的2D图还原成三维图，将会在空间上有一定程度的变形扭曲，还原的真实性不够，给用户的感观很不好，所以需要结合2D图像的信息对3维模型进行修正，以提高3D图像的可观性和精确性。
发明内容
本发明的目的在于提供一种基于2D人体图像修正三维人体模型的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于2D人体图片修正三维人体模型的方法，该方法包括以下步骤：
S1，检测出RGBD人体图像的第一人体关键点；
S2，对所述RGBD人体图像进行三维还原重建，得到3D人体模型；
S3，对所述3D人体模型进行正面投影，得到2D投影图像；
S4，检测出所述2D投影图像的第二人体关键点；
S5,将第一人体关键点与第二人体关键点进行对应；
S6,根据第一人体关键点之间的距离修正第二人体关键点之间的距离，得到融合了2D图像信息的3D还原图；
S7,根据3D还原图上调整的第二人体关键点，将3D还原图映射回3D人体模型上，完成对3D人体模型的调节。
通过常规现有技对通过RGBD人体图像可以建立3D人体模型，3D人体模型的姿态和RGBD人体图像中人体的姿态相似，可以更加真实的展示2D图像中的3D人体效果。
作为本发明的一种优选技术方案，所述步骤S1和S4中，通过图结构识别包含深度信息的RGBD人体图像和2D投影图像，分别得到第一人体关键点Ptwo，坐标位置为Otwo(x2,y2)，第二人体关键点Pthree，坐标位置为Othree(x3,y3)。
作为本发明的一种优选技术方案，所述S2步骤中采用RGBD人体图像结合基于CNN+RNN结构的人体骨骼关键点获取模型进行三维还原重建，得到3D人体模型。
作为本发明的一种优选技术方案，步骤S5中，求得所述Otwo(x2,y2)与所述Othree(x3,y3)的距离D，D由汉明距离和欧式距离组成，计算方式为D＝|x2-x3|+|y2-y3|+(|x2-x3|^2+|y2-y3|^2)^(0.5)；求得与Otwo最近距离的点Othree，作为此Otwo第一人体关键点对应的点；找到每个第一人体关键点与第二人体关键点对应关系。通过计算远近距离，准确的找到2D与3D中各关键点的对应，避免出现对应点错误的情况发生，提高准确度。
作为本发明的一种优选技术方案，所述第一人体关键点Otwo的位置包括头部点、颈部点、左肩点、右肩点、左肘点、右肘点、左腕点、右腕点、左髋点、右髋点、左膝点、右膝点、左踝点和右踝点。这些人体关键点连接会描绘出大致人体的姿态信息。
作为本发明的一种优选技术方案，所述图结构通过弹簧形变模型对部件模型与整体模型的相对空间位置关系进行建模，通过识别每个单元模版，确定每个单元模版的人体关键点。
与现有技术相比：本发明提供了一种将2D模特图像和3D人体骨骼关键点融合的技术，识别出2D模特图像的第一人体关键点，通过2D模特图像建立3D人体模型，将3D人体模型正投影成2D投影图像，识别出2D投影图像的第二人体关键点，对第一人体关键点和第二人体关键点计算、对应和调节，实现2D模特图像的信息对3D人体模型进行修正的效果，提高了3D人体模型的准确性。
附图说明
图1是本发明的步骤流程图。
图2是本发明的人体关键点示意图。
图3是本发明人体关键点识别模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种基于2D人体图像修正三维人体模型的方法。
S1,确定2D图的图像数据是RGBD，即包含深度信息。然后对包含深度信息的RGBD人体图像中人体的关键点进行检测，人体关键点的位置主要是以下几个：分别是头部点、颈部点、左肩点、右肩点、左肘点、右肘点、左腕点、右腕点、左髋点、右髋点、左膝点、右膝点、左踝点、右踝点(参阅图2)，人体关键点Ptwo，坐标位置为Otwo(x2,y2)。
检测人体关键点的技术为：图结构(pictorial structure技术)主要包含两个部分，其一是单元模版(Unary Templates)，其二是模版关系(Pairwise Springs)。通过弹簧形变模型对部件模型与整体模型的相对空间位置关系进行建模，通过识别每个模块，确定每一区域的关键点(参阅图3)。
S2，建立3D人体模型，3D人体模型的姿态与RGBD人体图像中人体的姿态相似。对含有深度信息的RGBD人体图像进行人体关键点检测，通过基于CNN+RNN结构的人体骨骼关键点获取模型，模型的输入为包含深度信息的RGBD人体图像，对包含深度信息的RGBD人体图像进行多次迭代处理，每一次迭代处理输入包含原图处理生成的一个图像块和S1步骤中生成的第一关键点信息；
通过提取图像中的不同的图像块，其中每个图像块都以每个预测的身体部位为中心，并且将其转化成为Glimpse(Glimpse是一种图，它是对原始输入的特殊编码形式形成的，它的中心分辨率高，周围分辨率逐渐降低，这就使得中心的特征得到重点的学习，同时又保留了部分空间信息)。
Glimpse结合RGBD人体图像的深度信息数据，通过RGBD人体图像中每个第一人体关键点与3D模型的人体骨骼关键点的对应关系，将后者映射为3D人体模型；
S3，对所述3D人体模型进行正面投影，得到2D投影图像。
S4，通过图结构(pictorial structure技术)检测出所述2D投影图像的第二人体关键点；第二人体关键点Pthree，坐标位置为Othree(x3,y3)。
S5,将第一人体关键点与第二人体关键点进行对应；求得所述Otwo(x2,y2)与所述Othree(x3,y3)的距离D，D由汉明距离和欧式距离组成，计算方式为D＝|x2-x3|+|y2-y3|+(|x2-x3|^2+|y2-y3|^2)^(0.5)；求得与Otwo最近距离的点Othree，作为此Otwo第一人体关键点对应的点；找到每个第一人体关键点与第二人体关键点对应关系。
S6,根据第一人体关键点之间的距离修正第二人体关键点之间的距离，得到融合了2D图像信息的3D还原图；
S7,根据3D还原图上调整的第二人体关键点，将3D还原图映射回3D人体模型上，完成对3D人体模型的调节，此处的映射回3D人体模型上主要运用图像矩阵映射，为常规现有技术。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于2D人体图片修正三维人体模型的方法，其特征在于，该方法包括以下步骤：
S1，检测出RGBD人体图像的第一人体关键点；
S2，对所述RGBD人体图像进行三维还原重建，得到3D人体模型；
S3，对所述3D人体模型进行正面投影，得到2D投影图像；
S4，检测出所述2D投影图像的第二人体关键点；
S5,将第一人体关键点与第二人体关键点进行对应；
S6,根据第一人体关键点之间的距离修正第二人体关键点之间的距离，得到融合了2D图像信息的3D还原图；
S7,根据3D还原图上调整的第二人体关键点，将3D还原图映射回3D人体模型上，完成对3D人体模型的调节。
2.根据权利要求1所述一种基于2D人体图片修正三维人体模型的方法，其特征在于：所述步骤S1和S4中，通过图结构识别包含深度信息的RGBD人体图像和2D投影图像，分别得到第一人体关键点Ptwo，坐标位置为Otwo(x2,y2)，第二人体关键点Pthree，坐标位置为Othree(x3,y3)。
3.根据权利要求1所述一种基于2D人体图片修正三维人体模型的方法，其特征在于：所述S2步骤中采用RGBD人体图像结合基于CNN+RNN结构的人体骨骼关键点获取模型进行三维还原重建，得到3D人体模型。
4.根据权利要求2所述一种基于2D人体图片修正三维人体模型的方法，其特征在于：步骤S5中，求得所述Otwo(x2,y2)与所述Othree(x3,y3)的距离D，D由汉明距离和欧式距离组成，计算方式为D＝|x2-x3|+|y2-y3|+(|x2-x3|^2+|y2-y3|^2)^(0.5)；求得与Otwo最近距离的点Othree，作为此Otwo第一人体关键点对应的点；找到每个第一人体关键点与第二人体关键点对应关系。
5.根据权利要求1所述一种基于2D人体图像修正三维人体模型的方法，其特征在于：所述第一人体关键点Otwo的位置包括头部点、颈部点、左肩点、右肩点、左肘点、右肘点、左腕点、右腕点、左髋点、右髋点、左膝点、右膝点、左踝点和右踝点。
6.根据权利要求2所述一种基于2D人体图像修正三维人体模型的方法，其特征在于：所述图结构通过弹簧形变模型对部件模型与整体模型的相对空间位置关系进行建模，通过识别每个单元模版，确定每个单元模版的人体关键点。
CN202010071094.7A 2020-01-21 2020-01-21 一种基于2d人体图像修正三维人体模型的方法 Active CN111243106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010071094.7A CN111243106B (zh) 2020-01-21 2020-01-21 一种基于2d人体图像修正三维人体模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010071094.7A CN111243106B (zh) 2020-01-21 2020-01-21 一种基于2d人体图像修正三维人体模型的方法

Publications (2)

Publication Number Publication Date
CN111243106A true CN111243106A (zh) 2020-06-05
CN111243106B CN111243106B (zh) 2021-05-25

Family

ID=70864986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071094.7A Active CN111243106B (zh) 2020-01-21 2020-01-21 一种基于2d人体图像修正三维人体模型的方法

Country Status (1)

Country Link
CN (1) CN111243106B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113345558A (zh) * 2021-06-30 2021-09-03 南通市第一人民医院 一种提高骨科诊断决策效率的辅助系统及方法
WO2022206639A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 人体关键点检测方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture
CN103903299A (zh) * 2012-12-27 2014-07-02 同方威视技术股份有限公司 背散射人体检查图像的三维增强方法和设备
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN109242954A (zh) * 2018-08-16 2019-01-18 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture
CN103903299A (zh) * 2012-12-27 2014-07-02 同方威视技术股份有限公司 背散射人体检查图像的三维增强方法和设备
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN109242954A (zh) * 2018-08-16 2019-01-18 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUIFENG LIN等: "Structure modelling of the human body using FGMM", 《IEEE XPLORE》 *
夏阳等: "基于二维图像的三维人体模型生成", 《软件导刊》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206639A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 人体关键点检测方法及相关装置
CN113345558A (zh) * 2021-06-30 2021-09-03 南通市第一人民医院 一种提高骨科诊断决策效率的辅助系统及方法

Also Published As

Publication number Publication date
CN111243106B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US11495002B2 (en) Systems and methods for determining the scale of human anatomy from images
Joo et al. Total capture: A 3d deformation model for tracking faces, hands, and bodies
CN110096156B (zh) 基于2d图像的虚拟换装方法
CN109598798B (zh) 虚拟物拟合方法及虚拟物拟合服务系统
KR20210011425A (ko) 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체
Pujades et al. The virtual caliper: rapid creation of metrically accurate avatars from 3D measurements
CN111243106B (zh) 一种基于2d人体图像修正三维人体模型的方法
CN112734890B (zh) 基于三维重建的人脸替换方法及装置
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
CN111815768B (zh) 三维人脸重建方法和装置
JP5476471B2 (ja) 複雑なおよび／または変形可能なオブジェクトの表現および着用できるオブジェクトの仮想フィッティング
Li et al. 3d human avatar digitization from a single image
Habermann et al. A deeper look into deepcap
Li et al. Image-guided human reconstruction via multi-scale graph transformation networks
CN115587952A (zh) 扩展现实设备的畸变系数标定方法、装置和存储介质
CN106909904A (zh) 一种基于可学习形变场的人脸正面化方法
CN113724302A (zh) 一种个性化眼镜定制方法及定制系统
Zhang et al. Capture my head: a convenient and accessible approach combining 3D shape reconstruction and size measurement from 2D images for headwear design
WO2023160074A1 (zh) 一种图像生成方法、装置、电子设备以及存储介质
Cha et al. Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors
Li et al. Garment Recovery with Shape and Deformation Priors
Yoon Metaverse in the Wild: Modeling, Adapting, and Rendering of 3D Human Avatars from a Single Camera
Kim Auto-Calibration of Multi-view RGB-D Cameras for Virtual Mirrors
Liu et al. GEA: Reconstructing Expressive 3D Gaussian Avatar from Monocular Video
Jiang et al. Learning 3D human body embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant