CN112070815B - 一种基于人体外轮廓变形的自动瘦身方法 - Google Patents

一种基于人体外轮廓变形的自动瘦身方法 Download PDF

Info

Publication number
CN112070815B
CN112070815B CN202010928126.0A CN202010928126A CN112070815B CN 112070815 B CN112070815 B CN 112070815B CN 202010928126 A CN202010928126 A CN 202010928126A CN 112070815 B CN112070815 B CN 112070815B
Authority
CN
China
Prior art keywords
human body
reference template
method based
deformation
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010928126.0A
Other languages
English (en)
Other versions
CN112070815A (zh
Inventor
张盛平
李宗霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202010928126.0A priority Critical patent/CN112070815B/zh
Publication of CN112070815A publication Critical patent/CN112070815A/zh
Application granted granted Critical
Publication of CN112070815B publication Critical patent/CN112070815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于人体外轮廓变形的自动瘦身方法，包括以下步骤：对输入图片使用人体检测算法，获取图片中所有人物主体的位置；依次对每个人物位置框内的人物主体使用骨骼关键点检测算法，获取其姿态信息；将姿态信息送入基于K‑means聚类算法的姿势匹配算法获取参考模板库中与其姿势最相近的参考模板；获取瘦身幅度和变形方向使用基于人体外轮廓的变形方法对待修改人体进行瘦身操作。本发明大大简化了使用软件手动液化瘦身的步骤，克服了主流自动瘦身功能无法维持原图片尺寸以及无法处理多人情况的困难。使得图像中的人物主体得到一定程度的瘦身，身材比例、骨骼轮廓都得到一定程度的改善，获得了更加完美的视觉效果。

Description

一种基于人体外轮廓变形的自动瘦身方法
技术领域
本发明涉及计算机视觉和计算机图形学技术领域，尤其是一种基于人体外轮廓变形的自动瘦身方法。
背景技术
在我们日常遇到的图片中，人物的身材比例、骨骼轮廓，都有可能因为光影、角度、环境、硬件设施等外在因素和人物自身条件的内在原因不尽人意。通过借助软件的特有功能，能够使画面中的人物主体无限接近于人们心中的完美形象，但这个过程十分冗杂且操作门槛较高。而目前主流的自动瘦身技术，无法处理图片中有多个人物主体的情况且一定会造成图片尺寸的改变，难以满足使用者的日常需求。
发明内容
本发明的目的是提供一种基于人体外轮廓变形的自动瘦身方法，通过人体检测功能确定图片中的人物位置和数量，运用姿势匹配算法确定与图片中每个人物相似姿势的参考模板，通过计算人物主体与参考模板的外形差异，配合自动变形算法进行瘦身。
为实现上述目的，本发明采用下述技术方案：
一种基于人体外轮廓变形的自动瘦身方法，包括以下步骤：
使用人体检测功能获取图片中所有人体位置框的坐标，经放大处理和尺寸判定后获得可使用基于人体外轮廓变形方法的空间；
针对每个人体框获取框内人物主体的骨骼关键点，根据每个骨骼关键点坐标的置信度数值判定关键点是否可用于人体姿态向量的计算；
将所有被验证可用的骨骼关键点坐标按顺序送入人体姿态匹配算法，获取待修改对象的姿态类别，同模板库中该类别的参考模板进行匹配，获取到与待修改对象姿态最为接近的参考模板；
由骨骼关键点坐标获取待修改对象和参考模板的躯干信息，将参考模板变化到待修改对象在图片中的大小，根据关键点之间的距离、角度获取待修改对象的瘦身幅度；
根据前步计算的瘦身幅度使用基于人体外轮廓的变形方法对人物主体进行瘦身操作。
上述方案具有如下的优点或优异效果：
本发明提供一种基于人体外轮廓变形的自动瘦身方法，大大简化了使用软件手动液化瘦身的步骤，克服了主流自动瘦身功能无法维持原图片尺寸以及无法处理多人情况的困难。通过人体检测、姿势匹配和基于人体外轮廓的变形方法，使得图像中的人物主体得到一定程度的瘦身，身材比例、骨骼轮廓都得到一定程度的改善，获得了更加完美的视觉效果。
附图说明
图1是本发明基于人体外轮廓变形的自动瘦身方法流程图；
图2为单线条变形示例图；
图3为单线条变形基础加入加权平均的方法进行变形的示例图。
具体实施方式
如图1所示，以种基于人体外轮廓变形的自动瘦身方法，包括以下步骤：
S1、使用人体定位网络对出现在图片中的所有人物主体进行定位，并以指定的方式扩大人体位置框；
S2、使用可识别25个关键部位的Openpose算法对每个人体位置框中的对象进行关键点坐标和置信度数值的获取，置信度低于0.4的特征点不予放入人体姿态向量的计算过程；
S3、使用筛选后的关键点进行人体姿态向量的计算并在参考模板库中选择姿态最接近的参考模板；
S4、计算待修改人体与参考模板之间的比例差异，根据结果将参考模板变化至待修改人体相对于原图的尺寸；对比待修改人体在不同部位上与参考模板的差距，获取瘦身幅度即由人体检测算法提供的人体外轮廓参考坐标的变化；
S5、使用基于人体外轮廓变形算法根据上一步提供的参考坐标修改前后的数值对人体进行变形得到瘦身后的效果，并重复上述步骤以完成对于图片中所有人物主体的瘦身工作；
步骤S1中，对待修改图片使用基于YOLOV3的人体定位网络，获取图片中每个人物主体的x轴、y轴起始点坐标和人体位置框的宽度和高度，在此基础上将人体位置框整体扩大20％，并对扩大之后的人体位置框进行是否超过图片界限的判断，如若超过图片的自身尺寸，则根据位置取0或者该坐标轴上的图片尺寸。其中扩大人体位置框尺寸的目的是尽可能保证在基于人体外轮廓变形算法作用时被修改对象自身的轮廓曲线不会在某个位置发生特别大的改动，从未维持被修改对象人体曲线的协调；
步骤S2中，对每个人体位置框中的对象使用可识别25个重要部位的openpose算法获取人体25个骨骼关键点以及各个关键点的置信度数值，这些关键点涵盖了头部、躯干、胳膊、腿部、脚部等部位，通过将这25个点的坐标进行线性的融合就能够得到一个用来描述人体姿态的向量。考虑到在这25个关键点当中，每个点都会拥有一个模型给予的置信度数值，该数值的取值范围为0到1，数值越大表示模型对该位置的判断越准确，因此在人体姿态向量的计算过程中，只有置信度数值大于0.6的关键点坐标才会参与，其余的置信度小于0.4的关键点坐标属于模型根据先验知识判断出的该部位的大概位置，将不参与姿态向量的计算；
步骤S3中，使用了基于大量人体行走姿势数据训练的K-means聚类算法，预设的分类个数为10种。根据10个类别的大致姿势寻找与其相似的符合大众对完美身材定义的人物图片加入参考模板库，为待修改人物主体的瘦身提供指导作用。
步骤S4中，使用第0号关键点和第8号关键点的位置计算待修改对象和参考模板的躯干长度并计算出两者之间的比例差异，根据结果将参考模板各部位关键点之间的距离进行相应的修改，保证两者之间能够在相近尺度的状态下确定瘦身幅度即人体外轮廓参考点变化前后的位移。
步骤S5中，需要使用基于人体外轮廓的变形方法，该方法实现的基础是单线条的变形，给定图2中的原始图片，目标是将其中的原始线段P'Q'移动到目标线段PQ的位置，同时保证结果图像不会发生严重的扭曲。观察变形前后的对比图，可以使用逆向映射的方法，对于目标图片上的任意一点X，只需要求取原始图片上的X'即可，但逆向映射X'往往不是整数，需要经过线性插值的步骤，才能获得X'的像素值。
步骤为首先求取变形区域内的点相对于目标线段的坐标值u、v。u的表达式为其中X为目标图片中待计算参考点的坐标，和为目标线段的两个端点坐标。v的表达式为/>其中X为目标图片中待计算参考点的坐标，P和Q为目标线段的两个端点坐标。在后续的计算中保证(u，v)不变就能确保图像不发生严重扭曲，以同样的方法获取上述变量在原始图片中的表达，经过变换求出目标点X在原始图片中对应点的坐标，表达式为/>其中X’为X在原始图片中对应点的坐标，P’和Q’为原始线段的两个端点坐标，u和v为相对坐标值。
以上方法使用单线条进行变形的情况，而基于人体外轮廓的变形方法需要在保证瘦身的同时兼顾整体的协调性，因此需要双线条进行变形以达成人物主体外形变化的目的，同时保证原图中人物主体的姿态不会发生过大的改变。
因此需要在单线条变形的基础上，加入加权平均的方法，其实现步骤如下。如图3所示，首先我们使用单线条变形的方法通过P1Q1、P1'Q1'、X求出X1'，通过P2Q2、P2'Q2'、X求出X2'，然后通过加权平均的方法求出X'，其表达式为X’＝w1·X1’+w2·X2’。其中权值w的计算方法就是通过点X到线段的距离成反比的函数计算，其表达式为其中length表示线段的长度，dist表示点X到线段的最短距离。a，b，p为常数，经测试取值选择p＝0，a＝1，b＝2时效果最为稳定。通过上述步骤求出的X'大概率不能刚好位于原图像像素点的位置，因为需要通过双线性插值的方法，求取X'的像素值。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动力即可做出的各种修改或变形仍在本发明的保护范围内。

Claims (5)

1.一种基于人体外轮廓变形的自动瘦身方法，其特征是，包括以下步骤：
步骤一、使用人体定位网络对出现在图片中的所有人物主体进行定位，并以指定的方式扩大人体位置框；
步骤二、针对每个人体位置框获取框内人物主体的骨骼关键点；根据每个骨骼关键点坐标的置信度数值判定关键点是否可用于人体姿态向量的计算，通过骨骼关键点的坐标进行线性的融合得到人体姿态向量；
步骤三、使用筛选后的骨骼关键点进行人体姿态向量的计算并在参考模板库中选择姿态最接近的参考模板；
步骤四、计算待修改对象与参考模板之间的比例差异，获取瘦身幅度；
步骤五、使用基于人体外轮廓变形算法对人体位置框中的待修改对象进行变形得到瘦身后的效果，重复上述步骤以完成对于图片中所有人物主体的瘦身工作。
2.如权利要求1所述的基于人体外轮廓变形的自动瘦身方法，其特征是，所述步骤二中，使用可识别25个关键部位的Openpose算法对每个人体位置框中的对象进行关键点坐标和置信度数值的获取，置信度低于0.4的骨骼关键点不予放入人体姿态向量的计算过程。
3.如权利要求1所述的基于人体外轮廓变形的自动瘦身方法，其特征是，所述步骤三中，将人体姿态向量送入基于K-means聚类算法的姿势匹配算法获取参考模板库中与其姿态最相近的参考模板。
4.如权利要求1所述的基于人体外轮廓变形的自动瘦身方法，其特征是，所述步骤四中，由骨骼关键点坐标获取待修改对象和参考模板的躯干信息，将参考模板变化到待修改对象在图片中的大小，根据关键点之间的距离、角度获取待修改对象的瘦身幅度即各参考坐标的位移变化。
5.如权利要求3所述的基于人体外轮廓变形的自动瘦身方法，其特征是，所述步骤三中将人体姿态向量送入基于K-means聚类算法的姿势匹配算法获取参考模板库中与其姿态最相近的参考模板，具体过程为：使用人体行走姿势数据集配合其姿态信息训练了K-means聚类网络可对输入的姿态信息进行最相近姿态的判断，再根据参考模板库中的数据匹配到姿态最接近且体型最符合主流审美的瘦身参考模板。
CN202010928126.0A 2020-09-07 2020-09-07 一种基于人体外轮廓变形的自动瘦身方法 Active CN112070815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010928126.0A CN112070815B (zh) 2020-09-07 2020-09-07 一种基于人体外轮廓变形的自动瘦身方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010928126.0A CN112070815B (zh) 2020-09-07 2020-09-07 一种基于人体外轮廓变形的自动瘦身方法

Publications (2)

Publication Number Publication Date
CN112070815A CN112070815A (zh) 2020-12-11
CN112070815B true CN112070815B (zh) 2024-01-05

Family

ID=73663714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010928126.0A Active CN112070815B (zh) 2020-09-07 2020-09-07 一种基于人体外轮廓变形的自动瘦身方法

Country Status (1)

Country Link
CN (1) CN112070815B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360201A (zh) * 2021-12-17 2022-04-15 中建八局发展建设有限公司 基于ai技术的建筑临边危险区域越界识别方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155279A2 (en) * 2011-05-13 2012-11-22 Liberovision Ag Silhouette-based pose estimation
CN106991654A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于深度的人体美化方法和装置及电子装置
CN110599540A (zh) * 2019-08-05 2019-12-20 清华大学 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN111191599A (zh) * 2019-12-27 2020-05-22 平安国际智慧城市科技股份有限公司 姿态识别方法、装置、设备及存储介质
CN111310625A (zh) * 2020-02-06 2020-06-19 上海智幻软件科技有限公司 一种基于openpose的多人姿势检测的方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324693B2 (en) * 2003-04-23 2008-01-29 Eastman Kodak Company Method of human figure contour outlining in images
US10984609B2 (en) * 2018-11-21 2021-04-20 Electronics And Telecommunications Research Institute Apparatus and method for generating 3D avatar

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155279A2 (en) * 2011-05-13 2012-11-22 Liberovision Ag Silhouette-based pose estimation
CN106991654A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于深度的人体美化方法和装置及电子装置
CN110599540A (zh) * 2019-08-05 2019-12-20 清华大学 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN111191599A (zh) * 2019-12-27 2020-05-22 平安国际智慧城市科技股份有限公司 姿态识别方法、装置、设备及存储介质
CN111310625A (zh) * 2020-02-06 2020-06-19 上海智幻软件科技有限公司 一种基于openpose的多人姿势检测的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于OpenPose-slim模型的人体骨骼关键点检测方法;汪检兵;李俊;;计算机应用(第12期);全文 *

Also Published As

Publication number Publication date
CN112070815A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN105374055B (zh) 图像处理方法及装置
US7876931B2 (en) Face recognition system and method
JP3512992B2 (ja) 画像処理装置および画像処理方法
JP2019125057A (ja) 画像処理装置及びその方法、プログラム
Wang et al. Automatic lip contour extraction from color images
JP2003331316A (ja) ３次元カリカチュアの生成装置及びその方法
CN110678878B (zh) 一种表观特征的描述属性识别方法及装置
WO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
KR101639161B1 (ko) 골격 정보를 이용한 사용자 인증 방법
JP3894782B2 (ja) 物体認識装置
Sethi et al. Signpro-An application suite for deaf and dumb
CN111881888A (zh) 基于姿态识别的智能桌控制方法及装置
CN112070815B (zh) 一种基于人体外轮廓变形的自动瘦身方法
CN111598995A (zh) 一种基于原型分析的自监督多目三维人体姿态估计方法
US20050074148A1 (en) Face tracking
WO2020068104A1 (en) Generating spatial gradient maps for a person in an image
JP3272584B2 (ja) 領域抽出装置及びそれを用いた方向検出装置
JPH1185988A (ja) 顔画像認識システム
CN115620016B (zh) 一种骨架检测模型的构建方法、图像数据识别方法
WO2022079794A1 (ja) 画像選択装置、画像選択方法、及びプログラム
JP7435781B2 (ja) 画像選択装置、画像選択方法、及びプログラム
CN108492344A (zh) 一种肖像漫画生成方法
US20230245342A1 (en) Image selection apparatus, image selection method, and non-transitory computer-readable medium
CN107341476A (zh) 一种基于系统计算原理的无监督人体模型构建方法
WO2022079795A1 (ja) 画像選択装置、画像選択方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant