CN117474785A - 一种多个人物姿态图像合成一个图像的方法 - Google Patents

一种多个人物姿态图像合成一个图像的方法 Download PDF

Info

Publication number
CN117474785A
CN117474785A CN202311817945.8A CN202311817945A CN117474785A CN 117474785 A CN117474785 A CN 117474785A CN 202311817945 A CN202311817945 A CN 202311817945A CN 117474785 A CN117474785 A CN 117474785A
Authority
CN
China
Prior art keywords
image
template
synthesized
hpimg
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311817945.8A
Other languages
English (en)
Other versions
CN117474785B (zh
Inventor
凌靖
汝乐
陈来松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Austin Photoelectric Technology Co ltd
Original Assignee
Jiangsu Austin Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Austin Photoelectric Technology Co ltd filed Critical Jiangsu Austin Photoelectric Technology Co ltd
Priority to CN202311817945.8A priority Critical patent/CN117474785B/zh
Publication of CN117474785A publication Critical patent/CN117474785A/zh
Application granted granted Critical
Publication of CN117474785B publication Critical patent/CN117474785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种多个人物姿态图像合成一个图像的方法，所述人物姿态图像是指单个人物模仿模板中的人物姿态后得到的待合成人物姿态图像，所述模板中包括多个人物姿态；具体方法包括如下步骤：步骤1，获取模板中的各个人物姿态以及所在模板图像中的位置；步骤2，获取待合成人物姿态图像中的人物姿态；步骤3，将待合成人物姿态与模板中每个人物姿态作对比，找出模板中与待合成人物姿态最相似的人物姿态，并使用所述待合成人物图像替换模板中所述最相似的人物图像；重复步骤3，使用每一个待合成人物图像替换模板中与其姿态最相似的人物图像，得到合成后的图像OUT1。且进一步的对合成图像整体进行亮度、饱和度的一致化。

Description

一种多个人物姿态图像合成一个图像的方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种多个人物姿态图像合成一个图像的方法。
背景技术
在很多分布式场合，例如网络会议、远程同步的同学会上，需要各自作出一个姿态，然后合成出一个完整的图像作为纪念。现有的方案是各自在图像中划置出一个指定大小的框，各自单独显示，这些方案没有把所有人融合成一个整体，缺乏团体效果，显得单调。如果在全国范围内，几位朋友各自模仿模板中的一个人物姿态，再各自拍摄成人物姿态图像，需要把他们各自的人物姿态图像合成到一个图像中，形成更加有气氛、更加有团建效果的图像。例如，如图1所示，模板图像ImMP1中包括了模板人物MP1和模板人物MP2，模板人物的姿态为一人伸出左臂，一人伸出右臂，活动参与人员分别模仿模板人物的姿态，一人模仿模板人物MP1的姿态，得到待合成人物HP1的姿态图像，另一个人模仿模板人物MP2的姿态，得到待合成人物HP2的姿态图像；把两人各自单独的姿态图像按模板中姿态排列的方式合成一个整体图像。
发明内容
本发明基于现有数据处理技术、人工智能技术，提出了一种多个人物姿态图像合成一个图像的方法，把所有人待合成的人物姿态从图像中提取出来，再把各个待合成的人物姿态匹配上模板中对应姿态的人物区域、调整角度、大小，并调整整体的亮度、明度，从而合成出一个整体的图像。
本发明提出的一种多个人物姿态图像合成一个图像的方法，所述人物姿态图像是指单个人物模仿模板中的人物姿态后得到的待合成人物姿态图像，所述模板中包括多个人物姿态；所述方法包括如下步骤：
步骤1，获取模板中的各个人物姿态以及所在模板图像中的位置；
步骤2，获取待合成人物姿态图像中的人物姿态；
步骤3，将待合成人物姿态与模板中每个人物姿态作对比，找出模板中与待合成人物姿态最相似的人物姿态，并使用所述待合成人物姿态图像替换模板中与其姿态最相似的人物图像；
步骤4，重复步骤3，使用每一个待合成人物姿态图像替换模板中与其姿态最相似的人物图像，得到合成后的图像OUT1。
进一步的，步骤1中获取模板中的各个人物姿态所在区域以及姿态，包括如下步骤：
步骤1.1，将模板图像转化成人物骨骼图，提取人物骨骼图中各人物骨骼关键点；
采用OpenPose方法，将模板图像ImMP1转换成为骨骼图像ImMP2，模板中每个人物骨骼图像采用SKMP(mpi)表示，其中mpi的范围是从1到mpn，mpn表示骨骼图像ImMP2中共有mpn个人物骨骼图像，
模板中第mpi个人物的骨骼关键点坐标表示为SKMP(mpi,ski)，ski是骨骼点的编号，ski的取值范围是1~18；
所述关键点包括鼻子、脖颈、右肩、右肘、右手、左肩、左肘、左手、右髋、右膝、右脚、左髋、左膝、左脚、右眼、左眼、右耳、左耳；
步骤1.2，获取模板中每个人物的最小外包络圆，第mpi个人物的最小外包络圆表示为SKMPC(mpi)={x,y,r}，其中x,y是外包络圆圆心的坐标，r是半径；
步骤1.3，设置参考半径rref，将模板中所有人物骨骼图像进行缩放，使得缩放后的人物骨骼图像的最小外包络圆半径均为rref；
具体为，找出mpn个外包络圆SKMPC(mpi)中半径r最大的外包络圆，记为r_mpmax，参考半径rref等于r_mpmax；
步骤1.4，将缩放后的人物骨骼图像投影到笛卡尔坐标系中，第mpi个人物的第ski个骨骼关键点坐标表示为mpux(mpi,ski)、mpuy(mpi,ski)。
进一步的，步骤2中获取待合成人物姿态图像的人物姿态，具体包括如下步骤：
步骤2.1，采用OpenPose方法将待合成人物姿态图像ImHP1(hpimg)转换成为骨骼图像ImHP2(hpimg)，其中ImHP1(hpimg)是指第hpimg个待合成人物姿态图像；所述待合成人物姿态图像ImHP1(hpimg)中包含一个模仿模板中人物姿态的目标人物；
步骤2.2，获取待合成人物骨骼图像中目标人物的最小外包络圆；
步骤2.3，对目标人物骨骼图像进行缩放，使得缩放后的目标人物骨骼图像的最小外包络圆半径均为rref；
步骤2.4，将缩放后的目标人物骨骼图像投影到笛卡尔坐标系中，待合成人物姿态图像ImHP1(hpimg)中目标人物骨骼关键点坐标表示为hpux(hpimg,ski)、hpuy(hpimg,ski)。
进一步的，在步骤2中，当待合成人物姿态图像ImHP1(hpimg)中不仅包含模仿模板中人物姿态的目标人物，还包含了干扰人物时，寻找合成图像ImHP1(hpimg)中的目标人物，方法如下：
设待合成人物姿态图像ImHP1(hpimg)中包括hpi个人物，其中只有一个为目标人物；获取待合成人物骨骼图像ImHP2(hpimg)中每个人物骨骼图像的最小外包络圆，共有hpi个包络圆；在hpi个包络圆中，半径最大的包络圆对应的人物就是待合成的目标人物。
进一步的，步骤3中将待合成人物姿态与模板中每个人物姿态作对比，找出模板中与待合成人物姿态最相似的人物姿态，并使用所述待合成人物姿态图像替换模板中与其姿态最相似的人物图像，具体包括如下步骤：
步骤3.1，将每个待合成人物姿态图像ImHP1(hpimg)中目标人物骨骼关键点坐标排列成行，得到待合成人物骨骼特征行，记为SKHPF(hpimg)={ hpux(hpimg,1), hpuy(hpimg,1), hpux(hpimg,2), hpuy(hpimg,2),…, hpux(hpimg,18), hpuy(hpimg,18)}，再转置成列，得到待合成人物的骨骼特征列；
步骤3.2，对待合成人物的骨骼特征列进行theta角旋转，得到骨骼特征SKHPF(hpimg, theta)；theta取值范围是1~360度，分辨率为1度；
步骤3.3，在不同的theta旋转后，计算矩阵：
；
步骤3.4，找出矩阵的最大值，记为M2_SMH(mpi, hpimg)，及其对应的theta角，记为theta1hpimg；
步骤3.5，在矩阵M2_SMH(mpi, hpimg)的hpimg列中找出最大值，所述最大值对应的行号mpi，就是最相似的人物姿态；从而找出每个待合成人物姿态在模板中对应的人物姿态及位置；
步骤3.6，将待合成人物姿态图像ImHP1(hpimg)中目标人物旋转theta1hpimg角后，替换模板中对应的最相似人物图像。
进一步的，步骤3.6中将待合成人物姿态图像ImHP1(hpimg)中目标人物图像旋转theta1hpimg角后，替换模板中对应的最相似人物图像，具体包括如下步骤：
步骤3.6.1，从待合成人物姿态图像ImHP1(hpimg)中提取目标人物图像；以及从模板中删除与所述目标人物对应的最相似人物图像；
步骤3.6.2，对模板中删除的图像部分进行背景填充；
步骤3.6.3，对提取的目标人物图像进行缩放，使得缩放后目标人物骨骼图像的最小外包络圆半径，与提取的模板中最相似人物图像的外包络圆半径相同；
步骤3.6.4，将缩放后的目标人物图像旋转theta1hpimg角后，放在模板中对应的最相似人物图像所在区域。
进一步的，采用无监督生成对抗网络对所述合成后的图像OUT1进行风格调整，采用的损失函数为：
其中，MT是图OUT1的总长，NT是图像OUT1的总宽，mi是长度方向的第mi个像素，ni是宽度方向的第ni个像素；合成图像OUT1输入到所述无监督生成对抗网络后再不断调整后生成新图像OUT2。S_OUT2是图像OUT2的HSV空间图像中的饱和度分量，V_OUT2是图像OUT2的HSV空间图像中的明度分量。S_ImMP1是模板图像ImMP1的HSV空间图像中的饱和度分量，V_ImMP1是模板图像ImMP1的HSV空间图像中的明度分量。
有益效果：本发明的一种多个人物姿态图像合成一个图像的方法，提取出模板中人物姿态、待合成人物姿态，找出模板中与待合成人物姿态最相似的人物，把待合成人物放置到模板中的对应区域，实现了将每个单独的人物姿态图像依模板融合成一张群体图像，且进一步的对合成图像整体进行亮度、饱和度的一致化。
与现在技术相比，本发明在合成的过程中，进行了目标人物定位、判断大小尺寸等，解决了从多人中提取目标人物、角度旋转、与模板中人物大小不一等问题。同时，现有的AI合成技术主要面向的是单张图像，而本发明解决了多张合成的合成内容定义问题。
附图说明
图1是本发明实施例的模板图像和待合成图像的关系示意图；
图2是本发明实施例的整体流程示意图；
图3是本发明实施例的最小外包络圆的示意图；
图4是本发明实施例的步骤2中从3维降2维的关系示意图。
具体实施方式
如图2所示，本发明的一种多个人物姿态图像合成一个图像的方法主要包括4个步骤：
步骤1，对模板图像进行人物区域提取和姿态提取，对待合成人物进行姿态提取。
步骤1.1，对模板中人物区域进行提取；
工作目标是提取出模板中每个人物所在的区域、计算每个人物所在区域的中心位置、尺寸大小，模板中每个人物的姿态 (MPA)。
步骤1.1.1，采用OpenPose方法，将模板图像ImMP1转换成为骨骼图ImMP2。
其中，OpenPose是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以Caffe为框架开发的人体姿态识别算法开源库，其说明和源代码可见网址（https://github.com/CMU-Perceptual-Computing-Lab/openpose）。
骨骼图像ImMP2包含有模板中所有人物的骨骼信息，假设模板中有mpn个人物骨骼图，每个人物骨骼图像表示为SKMP(mpi)，其中mpi表示人物骨骼图像的编号，mpi的范围是从1到mpn。每个SKMP(mpi)都是无背景的18个点标准的骨骼数据SKMP(mpi,ski)。其中，ski是骨骼点的编号，ski的取值范围是1~18。18个骨骼点编号分别对应身体的18个关键点，每个关键点有在骨骼图像ImMP2上的坐标x和y坐标记为ImMP2x(mpi, mki)、ImMP2y(mpi,mki)；ImMP2x(mpi, mki)、ImMP2y(mpi, mki)表示模板中第mpi个人物的第mki个关键点的坐标。
18个关键点在物理意义上依次为：鼻子、脖颈、右肩、右肘、右手、左肩、左肘、左手、右髋、右膝、右脚、左髋、左膝、左脚、右眼、左眼、右耳、左耳。
步骤1.1.2，如图3所示，以最小外包络圆，而非常见类似于YOLO方案中的IOU方案，对模板中每个人物骨骼图SKMP(mpi)进行区域提取区域，具体是采用达芬奇人体骨骼图的方案，寻找到每个人物姿态的核心区域。该步骤执行后得到mpi个包络圆，每个包络圆表示为SKMPC(mpi)={x,y,r}，其中x,y是外包络圆圆心的坐标，r是半径，也就是该区域的尺寸大小。
步骤1.1.3，找出mpn个包络图半径r中的最大值，记为r_mpmax，对模板中所有的人物骨骼图SKMP(mpi)进行比例放大，使得放大后模板中每个人物的外包络图的半径均为r_mpmax。
步骤1.1.4，然后，把每个人物姿态的最小外包络圆中的骨骼图投影到单独的新的笛卡尔坐标系中，得到mpi个大小一致的骨骼数据SKMPU(mpi)，统一大小后的第mpi个人物的第ski个骨骼关键点的坐标SKMPU(mpi, ski) ={mupx,mpuy}；第mpi个人物的第ski个骨骼关键点的坐标ux和uy也可以写成mpux(mpi,ski)、mpuy(mpi,ski)。
步骤1.1.5，把模板中每个人物的骨骼关键点坐标mpux(mpi,ski)、mpuy(mpi,ski)排列成一个行，得到模板中每个人物(MP)的骨骼特征行SKMPF(mpi)={ mpux(mpi,1), mpuy(mpi,1), mpux(mpi,2), mpuy(mpi,2),…, mpux(mpi,18), mpuy(mpi,18)}，SKMPF(mpi)本质上是反映了模板中每个人物的姿态 (MPA)。
步骤1.2，对待合成人物姿态图像进行人物区域提取；
该部分的工作目标是提取出待合成人物(HP)区域，计算区域的中心位置、尺寸大小，待合成人物的姿态 (HPA)。
步骤1.2.1 与步骤1.1.1一样，采用OpenPose方法将待合成人物姿态图像ImHP1(hpimg)转换成为骨骼数据ImHP2(hpimg)，hpimg是第hpimg个待合成人物姿态图像。需要注意的是，待合成人物姿态图像ImHP1(hpimg)中有hpi个人物，hpi大于等于1，也就是说待合成人物姿态图像ImHP1(hpimg)中不仅包含模仿模板中姿态的目标人物，还有可能包含了干扰人物，干扰人物不对模板中的姿态进行模仿。
步骤1.2.2，与步骤1.1.2一样，以最小外包络圆的方式，得到一组包络圆SKHPC(hpi)={x,y,r}，其中x,y是包络圆的圆心位置，r是包络图半径，表示了包络圆所在区域的尺寸大小。
步骤1.2.3，比较待合成人物姿态图像ImHP1(hpimg)中hpi 个包络圆的半径r，找出最大半径r_hpmax，最大半径的包络圆对应的人物就是待合成的目标人物，然后，将目标人物骨骼图的尺寸进行放大，使得待合成人物姿态图像ImHP1(hpimg)中目标人物外包络图的半径等于步骤1.1.3中的尺寸r_mpmax。
步骤1.2.4，将待合成人物姿态图像ImHP1(hpimg)中目标人物骨骼图投影到一个单独的新的笛卡尔坐标系中，得到统一大小过后的骨骼图SKHPU(hpi)，这样就得到第hpimg个待合成人物姿态图像，统一大小过后，待合成人物姿态图像ImHP1(hpimg)中目标人物骨骼关键点的坐标SKHPU(hpimg,ski) ={ux,uy}，待合成人物姿态图像ImHP1(hpimg)中目标人物骨骼关键点坐标hpux和hpuy也可以写成hpux(hpimg,ski)、hpuy(hpimg,ski)。
步骤1.2.5，重复步骤1.2.1-1.2.4，得到所有待合成人物姿态图像ImHP1(hpimg)的hpimg 的统一大小后的骨骼点坐标SKHPU(hpimg,ski)。
步骤1.2.6，把每个待合成人物的骨骼坐标hpux(hpimg,ski)、hpuy(hpimg,ski)排列成一行，得到每个待合成人物(HP)的骨骼特征行SKHPF(hpimg)={ hpux(hpimg,1), hpuy(hpimg,1), hpux(hpimg,2), hpuy(hpimg,2),…, hpux(hpimg,18), hpuy(hpimg,18)}，SKHPF(hpimg)从本质上反映了每个待合成人物HP的其姿态 (HPA)。
步骤2，分析出MPA和HPA的在所有旋转角度下的相似性；
该部分的工作目的是自动分析出每个待合成人物姿态HPA和模板中每个人物姿态MPA的相似程度，从而判断出每个待合成人物姿态图像应该放置到模板中哪个人物姿态的位置上。其中，为了防止相同的姿态，由于拍摄角度的不同，出现旋转角度的偏差，所以在本具体实施方式中把每个待合成人物姿态HPA的图像进行不同角度的旋转，然后在经过不同的旋转角度后的图像找到最大的相似关系。其具体的方案是：
把待合成人物的骨骼特征行SKHPF(hpimg)转置成列，并进行theta角旋转，得到经theta旋转角旋转的待合成人物的骨骼特征SKHPF(hpimg, theta)，把模板中每个人物的SKMPF(mpi)和SKHPF(hpimg, theta)相乘，得到三维矩阵M1_SMH(mpi, hpimg, theta)，写作：
M1_SMH(mpi, hpimg, theta)= SKMPF(mpi)* SKHPF(hpimg, theta) ；
其中，theta取值范围是1~360度，分辨率为1度。
那么三维矩阵M1_SMH(mpi, hpimg, theta)从theta维度看是360层，每层是一个在固定theta角度下的M1_SMH(mpi, hpimg,theta)，例如旋转角为1度时，就是M1_SMH(mpi,hpimg,1)；然后，在不同的theta下，计算矩阵SMH(mpi, hpimg)。
SMH(mpi, hpimg)= mpux(mpi,ski), mpuy(mpi,ski)
矩阵SMH(mpi, hpimg)表示模板中人物MP的骨骼点x坐标和每个待合成人物姿态的骨骼点的x坐标相乘，每个模板中人物MP的骨骼点y坐标和每个待合成人物姿态的骨骼点的y坐标相乘，然后相加。这样，就得到一个关系矩阵SMH(mpi, hpimg)。关系矩阵SMH(mpi,hpimg)是三维矩阵M1_SMH(mpi, hpimg, theta)中的一层。
如图4所示，然后，寻找不同角度中的矩阵SMH(mpi, hpimg)的最大值，其数学内容就是进行降维，从3维降到2维，对每一个相同位置(mpi, hpimg)的而言，在360个theta值中，取最大值的那个，形成2维的相关度矩阵M2_SMH(mpi, hpimg)，因为最大值对应一个mpi和hpimg在该角度的角度相关性最大，并记下这个角度，形成角度值矩阵Theta1(mpi,hpimg)矩阵，这个矩阵是2维的。
然后，在这个关系矩阵M2_SMH(mpi, hpimg)中，每一列()中找出最大值，其 对应的行号(mpi)，就是最相似姿态，从而判断出每个待合成人物姿态图像应该放置到模板 中哪个人物的位置上，即对应关系式mpi=OP(hpimg)，并从Theta1(mpi, hpimg)矩阵中把那 个最大值的位置对应的角度值挑选出来，形成角度值矩阵Theta2(mpi, hpimg)矩阵，这个 矩阵是1维的，它的含义是，把待合成人物姿态图像放置到模板中对应人物姿态位置前，需 要旋转的角度。
步骤3，图像合成；
该步骤的工作主要有3个，一个是对待合成人物姿态图像人物部分(HPImg)、模板中人物姿态图像(MPImg)部分进行提取；二是对模板中原有的人物姿态图像(MPImg)提取后，填充其背景；三是把待合成人物姿态图像人物部分HPImg放大旋转后移植到模板中人物姿态图像MPImg部分。
步骤3.1，图像提取；
对于人物图像提取部分，本发明采用的是文献[1]（Achanta R , Shaji A ,Smith K ,et al. SLIC Superpixels Compared to State-of-the-Art SuperpixelMethods[J].IEEE Transactions on Software Engineering, 2012, 34(11).DOI:10.1109/TPAMI.2012.120.）中的提取方案；
通过文献[1]提出的方法，本发明可以把每个hpimg对应待合成人物姿态图像人物部分HPImg(hpimg)，和mpi对应的模板中人物姿态图像MPImg(mpi)提取出来，但是这两个图像在轮廓上是有不同的，所以不能直接替代，需要把模板中提取人物姿态后的背景填充好，再替代，从而防止由于模板人物和待合成人物轮廓不一致导致边界出现问题。
步骤3.2，背景填充；
对于背景填充问题，本发明采用的是文献[2]（张恒志. 基于图像结构和注意力机制的图像填充算法的研究与应用[D].太原科技大学,2022.DOI:10.27721/d.cnki.gyzjc.2022.000229）中的填充方案。通过文献[2]提出的方案，本发明把每个mpi对应的模板中人物姿态图像MPImg(mpi)提取出来后，在原先的地方，填充好一个与背景风格统一的背景图像。
步骤3.3，替代；
利用在步骤2、3中提取的最小外包络圆的半径，把每个hpimg对应图像HPImg(hpimg)调整到时模板中其对应的人物姿态图像MPImg(mpi)的大小，例如原先HPImg(hpimg) 最小外包络圆的半径是100、MPImg(mpi) 最小外包络圆的半径是200的话，那么就是放大到200，这样其HPImg(hpimg)整体就是放大2倍。
然后，按照步骤2的内容，把HPImg(hpimg)图像按照Theta2(mpi, hpimg)矩阵对应的角度进行旋转。
然后把HPImg(hpimg)中心值放到MPImg(mpi)的中心值的位置；这样就得到了初步的合成图像OUT1。
步骤4，对成的图像的整体风格进行一致性调整；
上面的步骤已经是实现了内容的合成，但是由于待合成的图像和模板的多个图像之间是在不同拍摄条件下拍摄的，所以无论是饱和度、亮度等细节上，有着很大的差异，因此需要把整体风格进行调整。这里，采用的是无监督生成对抗网络的方式，整体的网络结构采用的是文献[3] (A multi-stage underwater image aesthetic enhancementalgorithm based on a generative adversarial network. https://doi.org/10.1016/j.engappai.2023.106196.)中的网络框架，对其中的损失函数进行了修改，将其判别器的损失函数修改为：
其中MT是图像的总长，NT是图像的总宽，mi是长方向的第mi个像素，ni是宽方向的第ni个像素。OUT2是第3步合成图像OUT1输入到生成网络后不断调整后生成的新图像。S_OUT2是图像OUT2的HSV空间图像中的饱和度分量，V_OUT2是图像OUT2的HSV空间图像中的明度分量。S_ImMP1是第1.1.1步模板图像ImMP1的HSV空间图像中的饱和度分量，V_ ImMP1是第1.1.1.步模板图像ImMP1的HSV空间图像中的明度分量。该损失函数的作用就是通过生成对抗网络，不断调整输出图像OUT2，使得OUT2在明度和饱和度上，与原先的模板图像相似，而不管内容细节，从而达到在饱和度、明度上的一致性。
这样，通过实现本发明，在基于模板图像，可以把所有的人的姿态提取出来，自动把各个待合成人物的姿态图像匹配上模板的对应的姿态的位置，调整角度、大小，并调整好整体的亮度、明度，从而合成出一个整体的图像，形成一个更加有气势、更加有团建效果的图像。
本发明方法面向用户的操作流程是：
[1].用户选择好模板图像，模板图像内容包括多个人物姿态，以及一个共同的宣传背景；保证模板中人物数量与目标人物数量一致。
[2].用户按模板中人物姿态进行模仿，得到多张待合成的人物姿态图像，所述待合成的人物姿态图像中存在干扰人物情况下，目标人物在图像中所占的面积为最大。如果有10个人物被合成到背景中，那么就需要10张各包含有1个目标人物的图像。
[3].合成图像后输出。

Claims (9)

1.一种多个人物姿态图像合成一个图像的方法，其特征在于，所述人物姿态图像是指单个人物模仿模板中的人物姿态后得到的待合成人物姿态图像，所述模板中包括多个人物姿态；所述方法包括如下步骤：
步骤1，获取模板中的各个人物姿态以及所在模板图像中的位置；
步骤2，获取待合成人物姿态图像中的人物姿态；
步骤3，将待合成人物姿态与模板中每个人物姿态作对比，找出模板中与待合成人物姿态最相似的人物姿态，并使用所述待合成人物姿态图像替换模板中与其姿态最相似的人物图像；
步骤4，重复步骤3，使用每一个待合成人物姿态图像替换模板中与其姿态最相似的人物图像，得到合成后的图像OUT1。
2.根据权利要求1所述一种多个人物姿态图像合成一个图像的方法，其特征在于，步骤1中获取模板中的各个人物姿态所在区域以及姿态，包括如下步骤：
步骤1.1，将模板图像转化成人物骨骼图，提取人物骨骼图中各人物骨骼关键点；
将模板图像ImMP1转换成为骨骼图像ImMP2，模板中每个人物骨骼图像采用SKMP(mpi)表示，其中mpi的范围是从1到mpn，mpn表示骨骼图像ImMP2中共有mpn个人物骨骼图像，
模板中第mpi个人物的骨骼关键点坐标表示为SKMP(mpi,ski)，ski是骨骼点的编号，ski的取值范围是1~18；
步骤1.2，获取模板图像中每个人物的最小外包络圆，第mpi个人物的最小外包络圆表示为SKMPC(mpi)={x,y,r}，其中x,y是外包络圆圆心的坐标，r是半径；
步骤1.3，设置参考半径rref，将模板图像中所有人物骨骼图像进行缩放，使得缩放后的人物骨骼图像的最小外包络圆半径均为rref；
步骤1.4，将缩放后的人物骨骼图像投影到笛卡尔坐标系中，第mpi个人物的第ski个骨骼关键点坐标表示为mpux(mpi,ski)、mpuy(mpi,ski)。
3.根据权利要求2所述一种多个人物姿态图像合成一个图像的方法，其特征在于，步骤1.1中所述关键点包括鼻子、脖颈、右肩、右肘、右手、左肩、左肘、左手、右髋、右膝、右脚、左髋、左膝、左脚、右眼、左眼、右耳、左耳。
4.根据权利要求2所述一种多个人物姿态图像合成一个图像的方法，其特征在于，找出mpn个外包络圆SKMPC(mpi)中半径r最大的外包络圆，记为r_mpmax，参考半径rref等于r_mpmax。
5.根据权利要求1所述一种多个人物姿态图像合成一个图像的方法，其特征在于，步骤2中获取待合成人物姿态图像的人物姿态，具体包括如下步骤：
步骤2.1，将待合成人物姿态图像ImHP1(hpimg)转换成为骨骼图像ImHP2(hpimg)，其中ImHP1(hpimg)是指第hpimg个待合成人物姿态图像；所述待合成人物姿态图像ImHP1(hpimg)中包含一个模仿模板中人物姿态的目标人物；
步骤2.2，获取待合成人物骨骼图像中目标人物的最小外包络圆；
步骤2.3，对目标人物骨骼图像进行缩放，使得缩放后的目标人物骨骼图像的最小外包络圆半径均为rref；
步骤2.4，将缩放后的目标人物骨骼图像投影到笛卡尔坐标系中，待合成人物姿态图像ImHP1(hpimg)中目标人物骨骼关键点坐标表示为hpux(hpimg,ski)、hpuy(hpimg,ski)。
6.根据权利要求5所述一种多个人物姿态图像合成一个图像的方法，其特征在于，在步骤2中，当待合成人物姿态图像ImHP1(hpimg)中不仅包含模仿模板中人物姿态的目标人物，还包含了干扰人物时，寻找合成图像ImHP1(hpimg)中的目标人物，方法如下：
设待合成人物姿态图像ImHP1(hpimg)中包括hpi个人物，其中只有一个为目标人物；获取待合成人物骨骼图像ImHP2(hpimg)中每个人物骨骼图像的最小外包络圆，共有hpi个包络圆；在hpi个包络圆中，半径最大的包络圆对应的人物就是待合成的目标人物。
7.根据权利要求5所述一种多个人物姿态图像合成一个图像的方法，其特征在于，步骤3中将待合成人物姿态与模板中每个人物姿态作对比，找出模板中与待合成人物姿态最相似的人物姿态，并使用所述待合成人物姿态图像替换模板中与其姿态最相似的人物图像，具体包括如下步骤：
步骤3.1，将每个待合成人物姿态图像ImHP1(hpimg)中目标人物骨骼关键点坐标排列成行，得到待合成人物骨骼特征行，记为SKHPF(hpimg)={ hpux(hpimg,1), hpuy(hpimg,1), hpux(hpimg,2), hpuy(hpimg,2),…, hpux(hpimg,18), hpuy(hpimg,18)}，再转置成列，得到待合成人物的骨骼特征列；
步骤3.2，对待合成人物的骨骼特征列进行theta角旋转，得到骨骼特征SKHPF(hpimg,theta)；theta取值范围是1~360度，分辨率为1度；
步骤3.3，在不同的theta旋转后，计算矩阵：
；
步骤3.4，找出矩阵的最大值，记为M2_SMH(mpi, hpimg)，及其对应的theta角，记为theta1hpimg；
步骤3.5，在矩阵M2_SMH(mpi, hpimg)的hpimg列中找出最大值，所述最大值对应的行号mpi，就是最相似的人物姿态；从而找出每个待合成人物姿态在模板中对应的人物姿态及位置；
步骤3.6，将待合成人物姿态图像ImHP1(hpimg)中目标人物旋转theta1hpimg角后，替换模板中对应的最相似人物图像。
8.根据权利要求7所述一种多个人物姿态图像合成一个图像的方法，其特征在于，步骤3.6中将待合成人物姿态图像ImHP1(hpimg)中目标人物图像旋转theta1hpimg角后，替换模板中对应的最相似人物图像，具体包括如下步骤：
步骤3.6.1，从待合成人物姿态图像ImHP1(hpimg)中提取目标人物图像；以及从模板中删除与所述目标人物对应的最相似人物图像；
步骤3.6.2，对模板中删除的图像部分进行背景填充；
步骤3.6.3，对提取的目标人物图像进行缩放，使得缩放后目标人物骨骼图像的最小外包络圆半径，与提取的模板中最相似人物图像的外包络圆半径相同；
步骤3.6.4，将缩放后的目标人物图像旋转theta1hpimg角后，放在模板中对应的最相似人物图像所在区域。
9.根据权利要求1所述一种多个人物姿态图像合成一个图像的方法，其特征在于，采用无监督生成对抗网络对所述合成后的图像OUT1进行风格调整，采用的损失函数为：
；
其中，MT是图OUT1的总长，NT是图像OUT1的总宽，mi是长度方向的第mi个像素，ni是宽度方向的第ni个像素；合成图像OUT1输入到所述无监督生成对抗网络后再不断调整后生成新图像OUT2；S_OUT2是图像OUT2的HSV空间图像中的饱和度分量，V_OUT2是图像OUT2的HSV空间图像中的明度分量；S_ImMP1是模板图像ImMP1的HSV空间图像中的饱和度分量，V_ImMP1是模板图像ImMP1的HSV空间图像中的明度分量。
CN202311817945.8A 2023-12-27 2023-12-27 一种多个人物姿态图像合成一个图像的方法 Active CN117474785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311817945.8A CN117474785B (zh) 2023-12-27 2023-12-27 一种多个人物姿态图像合成一个图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311817945.8A CN117474785B (zh) 2023-12-27 2023-12-27 一种多个人物姿态图像合成一个图像的方法

Publications (2)

Publication Number Publication Date
CN117474785A true CN117474785A (zh) 2024-01-30
CN117474785B CN117474785B (zh) 2024-05-10

Family

ID=89626044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311817945.8A Active CN117474785B (zh) 2023-12-27 2023-12-27 一种多个人物姿态图像合成一个图像的方法

Country Status (1)

Country Link
CN (1) CN117474785B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689782A (zh) * 2024-02-02 2024-03-12 腾讯科技（深圳）有限公司 一种生成海报图像的方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777766A (zh) * 2018-08-10 2018-11-09 维沃移动通信有限公司 一种多人拍照方法、终端及存储介质
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
US20190371080A1 (en) * 2018-06-05 2019-12-05 Cristian SMINCHISESCU Image processing method, system and device
CN111738096A (zh) * 2020-05-28 2020-10-02 复旦大学 一种基于骨架姿态的人物跟踪算法
CN112639809A (zh) * 2018-09-07 2021-04-09 高通股份有限公司 生物测定认证的用户自适应
CN113012042A (zh) * 2019-12-20 2021-06-22 海信集团有限公司 显示装置、虚拟合照生成方法及存储介质
CN115761801A (zh) * 2022-11-23 2023-03-07 同济人工智能研究院(苏州)有限公司 一种基于视频时序信息的三维人体姿态迁移方法
CN116524586A (zh) * 2023-02-21 2023-08-01 深圳市敏思跃动科技有限公司 基于cnn与gcn姿态估计与相似度匹配的舞蹈评分算法
CN116935441A (zh) * 2023-07-19 2023-10-24 北京卡路里信息技术有限公司 图像检测方法以及装置
CN117131271A (zh) * 2023-08-29 2023-11-28 支付宝(杭州)信息技术有限公司 一种内容生成方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190371080A1 (en) * 2018-06-05 2019-12-05 Cristian SMINCHISESCU Image processing method, system and device
CN108777766A (zh) * 2018-08-10 2018-11-09 维沃移动通信有限公司 一种多人拍照方法、终端及存储介质
CN112639809A (zh) * 2018-09-07 2021-04-09 高通股份有限公司 生物测定认证的用户自适应
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
CN113012042A (zh) * 2019-12-20 2021-06-22 海信集团有限公司 显示装置、虚拟合照生成方法及存储介质
CN111738096A (zh) * 2020-05-28 2020-10-02 复旦大学 一种基于骨架姿态的人物跟踪算法
CN115761801A (zh) * 2022-11-23 2023-03-07 同济人工智能研究院(苏州)有限公司 一种基于视频时序信息的三维人体姿态迁移方法
CN116524586A (zh) * 2023-02-21 2023-08-01 深圳市敏思跃动科技有限公司 基于cnn与gcn姿态估计与相似度匹配的舞蹈评分算法
CN116935441A (zh) * 2023-07-19 2023-10-24 北京卡路里信息技术有限公司 图像检测方法以及装置
CN117131271A (zh) * 2023-08-29 2023-11-28 支付宝(杭州)信息技术有限公司 一种内容生成方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AARON P. SHON 等: "Learning Shared Latent Structure for Image Synthesis and Robotic Imitation", 《NIPS\'05: PROCEEDINGS OF THE 18TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》, 5 December 2005 (2005-12-05), pages 1233 - 1240 *
林之钊 等: "从单幅图像生成人物三维动画", 《计算机辅助设计与图形学学报》, vol. 34, no. 9, 12 August 2022 (2022-08-12), pages 1 - 11 *
钟晓静 等: "基于嵌套残差注意力模块的人物姿态转换 方法", 《计算机科学与应用》, vol. 11, no. 4, 21 April 2021 (2021-04-21), pages 876 - 884 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689782A (zh) * 2024-02-02 2024-03-12 腾讯科技（深圳）有限公司 一种生成海报图像的方法、装置、设备及存储介质
CN117689782B (zh) * 2024-02-02 2024-05-28 腾讯科技（深圳）有限公司 一种生成海报图像的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117474785B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN117474785B (zh) 一种多个人物姿态图像合成一个图像的方法
US6163322A (en) Method and apparatus for providing real-time animation utilizing a database of postures
WO2021169806A1 (zh) 图像处理方法、装置、计算机设备及存储介质
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
CN103593870B (zh) 一种基于人脸的图像处理装置及其方法
CN110738161A (zh) 一种基于改进生成式对抗网络的人脸图像矫正方法
CN107730573A (zh) 一种基于特征提取的人物肖像漫画风格化生成方法
US20060023923A1 (en) Method and system for a three dimensional facial recognition system
CN105096353B (zh) 一种图像处理方法及装置
CN109816784B (zh) 三维重构人体的方法和系统及介质
Vretos et al. 3D facial expression recognition using Zernike moments on depth images
CN108805090A (zh) 一种基于平面网格模型的虚拟试妆方法
CN109410119A (zh) 面具图像变形方法及其系统
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN115797851B (zh) 一种动漫视频处理方法及系统
CN116050284B (zh) 一种利用aigc技术的时装再设计系统
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN116524586A (zh) 基于cnn与gcn姿态估计与相似度匹配的舞蹈评分算法
CN109993135A (zh) 一种基于增强现实的手势识别方法、系统及装置
CN113706709A (zh) 文本特效生成方法及相关装置、设备、存储介质
CN109460690A (zh) 一种用于模式识别的方法和装置
CN111275610A (zh) 一种人脸变老图像处理方法及系统
CN116402676A (zh) 游戏角色皮肤的建模方法、装置、设备及存储介质
CN115171152A (zh) 一种基于骨骼关节点识别的人体姿态特征提取方法
Huang et al. A method of shadow puppet figure modeling and animation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant