CN112270764B - 一种用于合影的虚拟人姿态生成方法 - Google Patents

Abstract

本发明提出了一种用于合影的虚拟人姿态生成方法，采用姿态特征向量表征给定的用户姿势Φ_I与虚拟人姿势Φ_f，再通过执行虚拟人姿势获取操作来对虚拟人的姿势进行迭代更新，以搜索到一个既自身美观、又与用户合影美观的最优虚拟人姿势；由此可见，本发明更关注拍摄过程中用户与虚拟人物之间的相互关系和互动，尤其是两人之间的情感，并根据视觉内容便捷地合成虚拟人物的姿势，为每一个姿势的每个身体关节生成合适的角度，使虚拟人物从视觉审美的角度与用户相匹配，从而生成生动逼真、满足视觉审美的标准的照片，并通过感知研究验证了其有效性；同时，本发明虚拟人物的姿态合成由用户的姿态驱动，生成的姿势不是一成不变的，与用户的姿势语义相关。

Description

一种用于合影的虚拟人姿态生成方法

技术领域

本发明属于混合现实技术领域，尤其涉及一种用于合影的虚拟人姿态生成方法。

背景技术

当游玩一个主题公园、访问一个名胜古迹、参加一场音乐节，或是享受一次精彩纷呈的游行时，和标志性的角色合影便成了其中一项极具吸引力的事情。比如，很多人都想和圣诞节集市上的等身大小雕像合影，很多人也会想在音乐会上和著名巨星合影。但是，大多数时候，我们需要匆匆忙忙地拍照。排着长长的队伍等待拍照，拍照时间又有限，我们拍的照片往往不尽如人意。

仓促的拍照总是不令人满意的原因在于，照片的美学表达很大程度依赖于用户(照片中的主角)姿势和虚拟人物姿势之间的关系。计算机图形学的技术的发展为实时地合成数字化的虚拟化身和高质量的虚拟人物提供了条件。然后通过这些技术，用混合现实设备(如，智能手机)传送虚拟人物，用户便可以和虚拟人物一同摆姿势拍照了。

一些商业的3D应用，如Holo，开发了在实时照片中添加虚拟角色的功能。然而，这些应用程序中的虚拟角色都是固定的姿势，不考虑与用户的任何交互。由于作为照片中的主角，其审美表达在很大程度上取决于用户姿势和虚拟人物姿势之间的关系，所以这可能会导致一张不自然的照片。然而，为虚拟角色手动设计姿势在实践中是乏味且不切实际的。

由于一些美学原则和照片质量的要求，人像摄影需要大量的人力和专业技能的参与。为此提出了很多计算方法来自动分析美学摄影图像的色彩和谐、光照、清晰度、照片内容、景深的使用、画面构图等。除了这些基本元素外，还可以根据人的评分来评估摄影美学，以获得审美得分分布。

如今，现有的摄影辅助系统的开发旨在通过理解环境语义和学习摄影规则来提供专业的指导，以满足用户在摄影层面的视觉满意度，目前主要有两种摆姿推荐方案：一种是基于参考姿势的方法。一些智能手机平台上已经提供了一些姿势参考，作为视觉引导直接将参考姿势叠加在用户的相机视图中，例如SOVS，POING，Holo等照片应用程序。但是，此类参考姿势的数量有限且缺乏多样性，其中可能只包含基于基本摄影规则的姿势。另一种是基于检索姿势的方法。这类方法旨在通过在现有的专业人像摄影照片集中检索与用户姿势相似的姿势来指导用户摆姿。有关此类方法的研究很多，如Zhang et al提出一种通过基于照片构成特征注意力的框架，检索相似参考照片。Ma et al提出一种基于用户服装颜色和性别的站位推荐和姿势检索方法。基于参考姿势的方法利用先前验证为有效的姿势检索工作来做人像姿势推荐，该推荐方法不考虑场景内容。

发明内容

为解决上述问题，本发明提供一种用于合影的虚拟人姿态生成方法，属于根据用户的姿态自动合成虚拟人物姿态的双人合影姿势辅助算法，让用户能够与虚拟人物合影的。

一种用于合影的虚拟人姿态生成方法，对于每一个给定的用户姿势Φ_I，分别执行虚拟人姿势获取操作，得到与用户姿势最匹配的最优虚拟人姿势；同时，用户姿势Φ_I与虚拟人姿势Φ_f均采用姿态特征向量表征，其中，所述姿态特征向量的获取方式为：将表征完整人体姿势所需要的关节组成关节集合，将关节集合中所有相邻关节之间的姿态角组成姿态特征向量，且各姿态角对应的空间分布不完全相同；

其中，所述虚拟人姿势获取操作包括以下步骤：

S1：更新虚拟人姿势对应的姿态特征向量Ψ_f，具体为：

S11：按照设定的采样概率从姿态特征向量Ψ_f中选取一个姿态角θ，判断姿态特征向量Ψ_f剩余姿态角中是否存在与姿态角θ的相关性大于设定值的姿态角θ^*，若存在，进入步骤S12，若不存在，进入步骤S13；其中，第一次更新姿态特征向量Ψ_f时，姿态特征向量Ψ_f为设定的初始值；

S12：将姿态角θ^*与姿态角θ构成姿态角组，并根据姿态角θ^*与姿态角θ对应的空间分布获取姿态角组对应的联合分布；对所述联合分布进行采样，得到姿态角组中各姿态角的取值，实现姿态特征向量Ψ_f的更新，进入步骤S2；

S13：对姿态角θ对应的空间分布进行采样，得到姿态角θ的取值，实现姿态特征向量Ψ_f的更新，进入步骤S2；

S2：采用Metropolis-Hastings算法获取更新后的姿态特征向量

对应的虚拟人姿势与给定的用户姿势Φ_I之间的接受概率，判断所述接受概率是否满足设定要求，若满足，则当前得到的姿态特征向量

对应的虚拟人姿势为最优虚拟人姿势，若不满足，则将更新后的姿态特征向量

代替步骤S11中的姿态特征向量Ψ_f，再重复执行步骤S11～S13，直到所述接受概率满足设定要求或更新次数达到设定上限。

进一步地，步骤S2中所述的接受概率的计算公式为：

其中，A为接受概率，C(Θ,Φ_I)为上一次更新得到的虚拟人姿势对应的姿态特征向量的成本值，C(Θ′,Φ_I)为本次更新得到的虚拟人姿势对应的姿态特征向量的成本值，T为模拟退火过程的步长；

其中，成本值C(X,Φ_I)的计算方法为：

C(X,Φ_I)＝C_p(X,Φ_I)+λC_s(X)

其中，X＝Θ或Θ′，当X＝Θ时，C_p(Θ,Φ_I)为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I之间的结对姿势成本，C_s(Θ)为上一次更新得到的虚拟人姿势的个体成本；当X＝Θ′时，C_p(Θ′,Φ_I)为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I之间的结对姿势成本，C_s(Θ′)为本次更新得到的虚拟人姿势的个体成本；λ为设定权重；

C_p(X,Φ_I)的计算方法为：

其中，当X＝Θ时，x₁为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I匹配的概率，x₂为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I不匹配的概率；当X＝Θ′时，x₁为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I匹配的概率，x₂为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I不匹配的概率；

C_s(X)的计算方法为：

其中，当X＝Θ时，x₃为上一次更新得到的虚拟人姿势的评价为优概率，x₄为上一次更新得到的虚拟人姿势评价为差的概率；当X＝Θ′时，x₃为本次更新得到的虚拟人姿势评价为优的概率，x₄为本次更新得到的虚拟人姿势评价为差的概率。

进一步地，x₁与x₂的获取方法为：

将用户姿势Φ_I的姿态特征向量与虚拟人姿势的姿态特征向量进行连接，得到双人姿态特征向量，将双人姿态特征向量输入训练好的双人姿态美学分类器，得到虚拟人姿势与给定的用户姿势Φ_I匹配的概率x₁，且x₂＝1-x₁；

其中，所述双人姿态美学分类器的训练方法为：

获取训练集，并将训练集中各训练样本的用户姿势Φ_I的姿态特征向量与虚拟人姿势的姿态特征向量进行连接，得到双人姿态特征向量；

分别对各训练样本中用户姿势Φ_I与虚拟人姿势是否匹配进行标注，得到双人姿势匹配的正样本集与双人姿势不匹配的负样本集；

基于正样本集和负样本集，以双人姿态特征向量为输入，虚拟人姿势与用户姿势Φ_I匹配的概率为输出，对神经网络进行训练，得到双人姿态美学分类器。

进一步地，x₃与x₄的获取方法为：

将虚拟人姿势的姿态特征向量输入训练好的单人姿态美学分类器，得到虚拟人姿势评价为优的概率x₃，且x₄＝1-x₃；

其中，所述单人姿态美学分类器的训练方法为：

获取训练集中各训练样本的虚拟人姿势对应的姿态特征向量；

分别对各训练样本中虚拟人姿势的评价是否为优进行标注，得到虚拟人姿势评价为优的正样本集与虚拟人姿势评价为差的负样本集；

基于正样本集和负样本集，以虚拟人姿势对应的姿态特征向量为输入，虚拟人姿势评价为优的概率为输出，对神经网络进行训练，得到单人姿态美学分类器。

进一步地，所述模拟退火过程的步长T初始值为1，每进行N次虚拟人姿势对应的姿态特征向量的更新，步长T下降0.05，其中，N至少为10。

进一步地，步骤S11中所述的采样概率的设定方法为：

其中，Δθ为姿态角θ的采样概率，N为姿态角θ在其对应的空间分布中的所有可能的取值的个数，θ⁰为自然站姿下姿态角θ的取值，θⁿ为姿态角θ在其对应的空间分布中的第n个取值，Z为姿态角θ在其对应的空间分布中的所有可能的取值相对于θ⁰的差值最大值。

进一步地，所述关节集合包括头部、颈椎、胸椎、左肩关节、右肩关节、左肘关节、右肘关节、左腕关节、右腕关节、腰椎、左髋关节、右髋关节、左膝关节、右膝关节、左踝关节以及右踝关节。

进一步地，所述接受概率满足的设定要求为：接受概率的绝对值变化在过去的M次虚拟人姿势的姿态特征向量更新中小于5％，其中，M至少为25。

有益效果：

1、本发明提出了一种用于合影的虚拟人姿态生成方法，采用姿态特征向量表征给定的用户姿势Φ_I与虚拟人姿势Φ_f，再通过执行虚拟人姿势获取操作来对虚拟人的姿势进行迭代更新，以搜索到一个既自身美观、又与用户合影美观的最优虚拟人姿势；

由此可见，本发明与以前的应用程序中虚拟角色是固定的姿势，不考虑与用户进行任何交互的不同之处在于，本发明的双人摄影除了单人的美学表达外，更关注拍摄过程中用户与虚拟人物之间的相互关系和互动，尤其是两人之间的情感，并根据视觉内容便捷地合成虚拟人物的姿势，为每一个姿势的每个身体关节生成合适的角度，使虚拟人物从视觉审美的角度与用户相匹配，从而生成生动逼真、满足视觉审美的标准的照片，并通过感知研究验证了其有效性；同时，本发明虚拟人物的姿态合成由用户的姿态驱动，生成的姿势不是一成不变的，与用户的姿势语义相关。

2、本发明提出了一种用于合影的虚拟人姿态生成方法，设计了一个计算框架来合成虚拟角色的姿势，具体的，本发明通过一个成本函数来表达美学标准，其中，成本函数中既对双人结对姿势的美观程度进行优化，又对虚拟人单个姿势的美观程度进行优化；此外，本发明成本函数的求解过程实际为蒙特卡罗马尔可夫链(MCMC)的采样过程，也即本发明基于MCMC不断优化虚拟人物的姿势，从而自动生成符合美学标准的姿势，得到一个既自身美观、又与用户合影美观的最优虚拟人姿势。

附图说明

图1为本发明的实现框架示意图；

图2为本发明所使用的数据集示例，positive指数据集中的正样本，negative即数据集中的负样本；

图3为本发明相关的姿势特征示意图；

图4为本发明采样过程中上臂绕其轴方向上进行旋转时，肘部发生上下移动的示意图；

图5为本发明采样过程中肘部发生上下移动时，前臂相对于上臂发生弯曲和延伸的示意图；

图6为本发明在研究人体关节相关性时分析的相关性热力图；

图7为本发明虚拟人姿态生成并合影的成像示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

通常，用户可以通过以下两种方式与标志性角色合影，(a)采用传统的方法，即由工作人员穿着动漫人物的服装来协助用户合影；(b)用户基于智能手机平台提供的一些特定人物的固定姿势，在有限的选择中完成合影。本发明的目的是根据用户姿势自动生成虚拟角色的姿势，以使它们从视觉美学的角度相互匹配，从而合成逼真的生动的照片，也即交互式地配合用户的姿势来生成匹配的虚拟角色的姿势。

通过类似智能手机的摄像头可以查看到，合成的虚拟角色被渲染在真人的照片中。为了实现这一目标，我们设计了一个基于用户的虚拟角色姿态自动生成框架，框架说明如图1所示，系统总共分为两个阶段：学习和优化。学习阶段的目的是从审美表达的角度提出评价姿势的标准，优化阶段的目标是通过多次修正虚拟角色的姿势并评估相应的分数得到符合美学标准的姿势。

具体的，一种用于合影的虚拟人姿态生成方法，其特征在于，对于每一个给定的用户姿势Φ_I，分别执行虚拟人姿势获取操作，得到与用户姿势最匹配的最优虚拟人姿势；同时，用户姿势Φ_I与虚拟人姿势Φ_f均采用姿态特征向量表征，其中，所述姿态特征向量的获取方式为：将表征完整人体姿势所需要的关节组成关节集合，将关节集合中所有相邻关节之间的姿态角组成姿态特征向量，且各姿态角对应的空间分布不完全相同；

需要说明的是，人体骨骼由大大小小多个关节组成，本发明为了在准确表征完整人体姿势的前提下，最大限度的提高虚拟人姿态生成的效率，采用表征完整人体姿势所需要的最少关节组成关节集合，可选的，包括头部、颈椎、胸椎、左肩关节、右肩关节、左肘关节、右肘关节、左腕关节、右腕关节、腰椎、左髋关节、右髋关节、左膝关节、右膝关节、左踝关节以及右踝关节。

也就是说，本发明选取其中16个明显影响姿态的关键关节作为姿态特征。这些关键关节包括肩膀、肘部、躯干等。本发明将每两个相邻的关键关节连接起来，并转换成极坐标角坐标。这样，每个坐标由15个极角度表征其姿势，如图3所示。对于单个姿势，这15个角度直接被用作姿势特征。对于双人照片，本发明将两个人各自的15维姿态角特征向量连接在一起作为一个完整双人姿态特征。

需要说明的是，对于给定输入的用户姿势Φ_I，本发明需要执行虚拟人姿势获取操作来对虚拟人的姿势Θ进行迭代更新(虚拟人的初始姿势为Θ₀，不断迭代采样Θ₁，Θ₂，...)，以搜索到一个既自身美观、又与用户合影美观的最优虚拟人姿势Θ^*。其中Θ＝(Θ₁,Θ₂,...,Θ₁₅),

由三个欧拉转角表示，i＝1,2,...,15。

其中，所述虚拟人姿势获取操作可以采用蒙特卡罗马尔可夫(MCMC)方法，迭代地探索姿势空间，搜索最优姿态。每一次迭代分为两个阶段，采样和更新。即在每一次迭代中，先按照采样规则根据上一次迭代的姿态Θ生成新的候选姿势Θ′——即采样，然后依据接受规则决定接受此次采样姿态或者维持原有姿态——即更新。具体的，所述虚拟人姿势获取操作包括以下步骤：

S1：更新虚拟人姿势对应的姿态特征向量Ψ_f，具体为：

S11：按照设定的采样概率从姿态特征向量Ψ_f中选取一个姿态角θ，判断姿态特征向量Ψ_f剩余姿态角中是否存在与姿态角θ的相关性大于设定值的姿态角θ^*，若存在，进入步骤S12，若不存在，进入步骤S13；其中，第一次更新姿态特征向量Ψ_f时，姿态特征向量Ψ_f为设定的初始值；

需要说明的是，每个姿态角被选中的概率是不相同的，各个姿态角对应的采样概率的计算公式为：

其中，Δθ为姿态角θ的采样概率，N为姿态角θ在其对应的空间分布中的所有可能的取值的个数，θ⁰为自然站姿下姿态角θ的取值，θⁿ为姿态角θ在其对应的空间分布中的第n个取值，Z为姿态角θ在其对应的空间分布中的所有可能的取值相对于θ⁰的差值最大值。

S12：将姿态角θ^*与姿态角θ构成姿态角组，并根据姿态角θ^*与姿态角θ对应的空间分布获取姿态角组对应的联合分布；对所述联合分布进行采样，得到姿态角组中各姿态角的取值，实现姿态特征向量Ψ_f的更新，进入步骤S2；

也就是说，当一个人物摆好姿势时，他的一些关节之间都是有相关性的。例如，在大多数情况下，当上臂绕其轴方向上进行旋转时，其肘部也会因此发生上下移动，如图4所示，因此这导致了前臂相对于上臂的弯曲和延伸，如图5所示。为了有效地探索姿势空间，本发明可以从收集到的单人照片数据集和双人照片数据集中学习关节间的相关性。相关性被可视化成一张热力图，如图6所示。如果选择的要采样的关节有与之具有强相关性的关节，本发明便对关节组的联合分布进行采样。比如，如果此次选择对第m个关节(上臂)进行采样，由于上臂和下臂有强关联性，最终本发明对上臂和下臂的联合分布中同时进行采样。新的候选姿态为Θ’＝(Θ₁,Θ₂,...,Θ′_m,...Θ′_n,...Θ₁₅)，Θ′_m和Θ′_n分别为上臂和下臂的角度。

S13：对姿态角θ对应的空间分布进行采样，得到姿态角θ的取值，实现姿态特征向量Ψ_f的更新，进入步骤S2；

也就是说，当一个人摆出一个姿势来拍一张吸引人的照片时，他/她调整的关节通常集中在一些区域内。在这些区域内进行采样，会有更大可能找到最优解。因此本发明从单人数据集中学习了每个关节在空间中的分布。比如，此次迭代对第i个关节(如膝关节)进行更新，本发明便从第i个关节的正态分布中采样，新的候选姿态为Θ’＝(Θ₁,Θ₂,...,Θ′_i,....Θ₁₅)。

S2：采用Metropolis-Hastings算法获取更新后的姿态特征向量

对应的虚拟人姿势与给定的用户姿势Φ_I之间的接受概率，判断所述接受概率是否满足设定要求，若满足，则当前得到的姿态特征向量

对应的虚拟人姿势为最优虚拟人姿势，若不满足，则将更新后的姿态特征向量

代替步骤S11中的姿态特征向量Ψ_f，再重复执行步骤S11～S13，直到所述接受概率满足设定要求或更新次数达到设定上限。

可选的，接受概率满足的设定要求为：接受概率的绝对值变化在过去的M次虚拟人姿势的姿态特征向量更新中小于5％，其中，M至少为25。

进一步地，所述的接受概率的计算公式为：

其中，A为接受概率，C(Θ,Φ_I)为上一次更新得到的虚拟人姿势对应的姿态特征向量的成本值，C(Θ′,Φ_I)为本次更新得到的虚拟人姿势对应的姿态特征向量的成本值，T为模拟退火过程的步长；

需要说明的是，模拟退火过程的步长T初始值为1，允许优化器更积极地在搜索空间内寻找解决方案；每进行10次虚拟人姿势对应的姿态特征向量的更新，步长T下降0.05，使优化器能够在接近结束时获得更精细的解决方案。

其中，成本值C(X,Φ_I)的计算方法为：

C(X,Φ_I)＝C_p(X,Φ_I)+λC_s(X)

其中，X＝Θ或Θ′，当X＝Θ时，C_p(Θ,Φ_I)为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I之间的结对姿势成本，C_s(Θ)为上一次更新得到的虚拟人姿势的个体成本；当X＝Θ′时，C_p(Θ′,Φ_I)为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I之间的结对姿势成本，C_s(Θ′)为本次更新得到的虚拟人姿势的个体成本；λ为平衡两个成本项的设定权重，实验中，λ默认设置为0.5；

C_p(X,Φ_I)的计算方法为：

其中，当X＝Θ时，x₁为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I匹配的概率，x₂为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I不匹配的概率；当X＝Θ′时，x₁为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I匹配的概率，x₂为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I不匹配的概率；

C_s(X)的计算方法为：

其中，当X＝Θ时，x₃为上一次更新得到的虚拟人姿势的评价为优概率，x₄为上一次更新得到的虚拟人姿势评价为差的概率；当X＝Θ′时，x₃为本次更新得到的虚拟人姿势评价为优的概率，x₄为本次更新得到的虚拟人姿势评价为差的概率。

由此可见，在成本函数C(X,Φ_I)的定义中，本发明从两个方面评估一个虚拟人姿态的好坏。一方面评估其作为与用户结对的姿势的美观度，另一方面评估其作为单人姿势的美观度。C_p(X,Φ_I)是结对姿势成本，它从美学角度评估了将虚拟人生成姿势X和用户的输入姿势Φ_I放在一起时的视觉感觉。本发明将虚拟角色的姿势Θ转化成15维的姿态特征Φ_f(转化方法为，首先使用该姿态角度通过渲染技术获得一个二维图像，再采用姿态学习的方法获得特征)，这一姿态特征和用户姿势Φ_I连接成一个30维的向量，输入到双人姿势分类器中。C_s(Θ)表示单个姿态的cost，其定义与双人结对成本相似。

下面介绍x₁与x₂的获取方法，具体为：

将用户姿势Φ_I的姿态特征向量与虚拟人姿势的姿态特征向量进行连接，得到双人姿态特征向量，将双人姿态特征向量输入训练好的双人姿态美学分类器，得到虚拟人姿势与给定的用户姿势Φ_I匹配的概率x₁，且x₂＝1-x₁；

其中，所述双人姿态美学分类器的训练方法为：

获取训练集，并将训练集中各训练样本的用户姿势Φ_I的姿态特征向量与虚拟人姿势的姿态特征向量进行连接，得到双人姿态特征向量；

分别对各训练样本中用户姿势Φ_I与虚拟人姿势是否匹配进行标注，得到双人姿势匹配的正样本集与双人姿势不匹配的负样本集；

基于正样本集和负样本集，以双人姿态特征向量为输入，虚拟人姿势与用户姿势Φ_I匹配的概率为输出，对神经网络进行训练，得到双人姿态美学分类器。

由此可见，[x₁,x₂]^T是双人姿态美学分类器的全连接层的输出，x₁和x₂分别反映了生成姿势与给定用户的姿势的匹配和不匹配的概率。

下面介绍x₃与x₄的获取方法，具体为：

将虚拟人姿势的姿态特征向量输入训练好的单人姿态美学分类器，得到虚拟人姿势评价为优的概率x₃，且x₄＝1-x₃；

其中，所述单人姿态美学分类器的训练方法为：

获取训练集中各训练样本的虚拟人姿势对应的姿态特征向量；

分别对各训练样本中虚拟人姿势的评价是否为优进行标注，得到虚拟人姿势评价为优的正样本集与虚拟人姿势评价为差的负样本集；

基于正样本集和负样本集，以虚拟人姿势对应的姿态特征向量为输入，虚拟人姿势评价为优的概率为输出，对神经网络进行训练，得到单人姿态美学分类器。

也就是说，为了获取x₁～x₄，本发明收集了两个数据集：单人照片数据集和双人照片数据集。对于单人照片数据集，数据集中的每张照片都包含一个人。单人数据集由2100个组成照片。对于双人照片数据集，数据集中的每张照片由两个人组成，本发明将他们的姿势视为一对，并在随后用于双人姿势美学分类器的学习。双人数据集共包含1664张照片和其相对应的成对姿势，如图2所示。由于缺乏大量的3D姿态，本发明从专业摄影网站收集了2D照片，这些照片是根据其美学表现而精心设计和挑选的。

然后，本发明利用两个神经网络从单人姿势数据集和双人姿势数据集中学习单人和双人的两种姿态美学分类器。首先，本发明需要对全部姿态进行预处理，提取出相应的姿态特征，并将其传播到神经网络中。预处理分3步形成分类器的姿态特征：(1)照片由一种现有的姿势检测算法OpenPose检测，OpenPose的输出是两个由骨架表示的姿势。然后，本发明为数据集中的姿态进行标注。以上所述的数据集中的所有姿势都被视为训练阶段的正样本(“好”)，因为这些照片均来自专业摄影网站；而负样本(“Bad”)是本发明通过随机抽样姿势参数获得的，本发明生成了2000个单人姿势和1600个双人姿势的负样本。图2以骨架的形式显示了本发明训练数据的一些示例。

最后，利用神经网络学习美学评估标准。两种分类器均采用相同的全连通神经网络结构对姿态进行美学分类。神经网络模型设计为三个全连接层层(这三层的输出分别是256、128和2个输出)。前两层应用ReLU激活函数，第三层使用Sigmoid激活函数。本发明使用binary cross entropy作为损失函数。在每个神经网络的学习任务中，数据集中80％的数据用于训练，其余的20％用于测试。训练网络的batch size为32，momentum为0.9，learningrate为0.0001且其权值衰减设为0.1。

需要说明的是，训练单人和双人的两种姿态美学分类器的目的在于，为了指导姿势最优搜索的过程，本发明需要指定一个“优化目标”——即为“好的姿势”定义一个标准。因此，本发明利用通过上述学习过程得到的姿态美学评估分类器作为指导准则，其既指导了虚拟人作为单个个体如何摆出一个好的姿势，同时也指导了虚拟人作为一个合影同伴，如何配合用户摆出一个好的姿势。

肖像摄影的主要目的是通过对被摄对象的审美刻画来传达他或她对场景的偏好，即摄影师寻求的传达被摄对象独特的本质、情感和情感复杂性，这是现代旅游摄影概念的中心目标。以前的姿势辅助算法主要集中在单人摄影中场景，本发明提出了双人合影姿势辅助算法，让用户能够与虚拟人物合影的。如图7所示，为本发明的虚拟人姿态生成并合影的成像示意图，由此可见，本发明与以往只针对单人姿势的优化系统相比，引入虚拟人物配合摄影，寻求一种优化双人合影的技术。单人摄影辅助系统通常通过检索的方式寻找适合用户的姿势，这依赖于姿势库的规模，并且忽略了一些内容和语义。本发明通过学习姿势数据集定义了一种更不受局限的美学评估标准，能够在应对新的姿势的时候做出同样有效的评价。本发明的美学评估标准由成本函数中的单人姿势的美观度成本决定，这将驱动姿势采样过程偏向更符合美学标准的姿势。

此外，与智能平台上虚拟人物的姿势通常是固定不变的相比，本发明的姿势是灵活生成的。本发明将用户姿势作为驱动，使虚拟人物的姿势与用户姿势有更好地交互。此外，本发明在对虚拟人物优化过程定义的成本函数汇中还包括双人结对姿势的美观程度。成本函数驱动MCMC采样过程不断优化虚拟人物的姿势，从而自动生成符合美学标准的姿势。本发明的姿势不是一成不变的，且生成的姿势是结合语境、由用户姿势驱动的。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种用于合影的虚拟人姿态生成方法，其特征在于，对于每一个给定的用户姿势Φ_I，分别执行虚拟人姿势获取操作，得到与用户姿势最匹配的最优虚拟人姿势；同时，用户姿势Φ_I与虚拟人姿势Φ_f均采用姿态特征向量表征，其中，所述姿态特征向量的获取方式为：将表征完整人体姿势所需要的关节组成关节集合，将关节集合中所有相邻关节之间的姿态角组成姿态特征向量，且各姿态角对应的空间分布不完全相同；

其中，所述虚拟人姿势获取操作包括以下步骤：

S1：更新虚拟人姿势对应的姿态特征向量Ψ_f，具体为：

S11：按照设定的采样概率从姿态特征向量Ψ_f中选取一个姿态角θ，判断姿态特征向量Ψ_f剩余姿态角中是否存在与姿态角θ的相关性大于设定值的姿态角θ^*，若存在，进入步骤S12，若不存在，进入步骤S13；其中，第一次更新姿态特征向量Ψ_f时，姿态特征向量Ψ_f为设定的初始值；

S12：将姿态角θ^*与姿态角θ构成姿态角组，并根据姿态角θ^*与姿态角θ对应的空间分布获取姿态角组对应的联合分布；对所述联合分布进行采样，得到姿态角组中各姿态角的取值，实现姿态特征向量Ψ_f的更新，进入步骤S2；

S13：对姿态角θ对应的空间分布进行采样，得到姿态角θ的取值，实现姿态特征向量Ψ_f的更新，进入步骤S2；

S2：采用Metropolis-Hastings算法获取更新后的姿态特征向量

对应的虚拟人姿势与给定的用户姿势Φ_I之间的接受概率，判断所述接受概率是否满足设定要求，若满足，则当前得到的姿态特征向量

对应的虚拟人姿势为最优虚拟人姿势，若不满足，则将更新后的姿态特征向量

代替步骤S11中的姿态特征向量Ψ_f，再重复执行步骤S11～S13，直到所述接受概率满足设定要求或更新次数达到设定上限。

2.如权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，步骤S2中所述的接受概率的计算公式为：

其中，A为接受概率，C(Θ,Φ_I)为上一次更新得到的虚拟人姿势对应的姿态特征向量的成本值，C(Θ′,Φ_I)为本次更新得到的虚拟人姿势对应的姿态特征向量的成本值，T为模拟退火过程的步长；

其中，成本值C(X,Φ_I)的计算方法为：

C(X,Φ_I)＝C_p(X,Φ_I)+λC_s(X)

其中，X＝Θ或Θ′，当X＝Θ时，C_p(Θ,Φ_I)为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I之间的结对姿势成本，C_s(Θ)为上一次更新得到的虚拟人姿势的个体成本；当X＝Θ′时，C_p(Θ′,Φ_I)为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I之间的结对姿势成本，C_s(Θ′)为本次更新得到的虚拟人姿势的个体成本；λ为设定权重；

C_p(X,Φ_I)的计算方法为：

其中，当X＝Θ时，x₁为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I匹配的概率，x₂为上一次更新得到的虚拟人姿势与给定的用户姿势Φ_I不匹配的概率；当X＝Θ′时，x₁为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I匹配的概率，x₂为本次更新得到的虚拟人姿势与给定的用户姿势Φ_I不匹配的概率；

C_s(X)的计算方法为：

其中，当X＝Θ时，x₃为上一次更新得到的虚拟人姿势的评价为优概率，x₄为上一次更新得到的虚拟人姿势评价为差的概率；当X＝Θ′时，x₃为本次更新得到的虚拟人姿势评价为优的概率，x₄为本次更新得到的虚拟人姿势评价为差的概率。

3.如权利要求2所述的一种用于合影的虚拟人姿态生成方法，其特征在于，x₁与x₂的获取方法为：

将用户姿势Φ_I的姿态特征向量与虚拟人姿势的姿态特征向量进行连接，得到双人姿态特征向量，将双人姿态特征向量输入训练好的双人姿态美学分类器，得到虚拟人姿势与给定的用户姿势Φ_I匹配的概率x₁，且x₂＝1-x₁；

其中，所述双人姿态美学分类器的训练方法为：

获取训练集，并将训练集中各训练样本的用户姿势Φ_I的姿态特征向量与虚拟人姿势的姿态特征向量进行连接，得到双人姿态特征向量；

分别对各训练样本中用户姿势Φ_I与虚拟人姿势是否匹配进行标注，得到双人姿势匹配的正样本集与双人姿势不匹配的负样本集；

基于正样本集和负样本集，以双人姿态特征向量为输入，虚拟人姿势与用户姿势Φ_I匹配的概率为输出，对神经网络进行训练，得到双人姿态美学分类器。

4.如权利要求2所述的一种用于合影的虚拟人姿态生成方法，其特征在于，x₃与x₄的获取方法为：

将虚拟人姿势的姿态特征向量输入训练好的单人姿态美学分类器，得到虚拟人姿势评价为优的概率x₃，且x₄＝1-x₃；

其中，所述单人姿态美学分类器的训练方法为：

获取训练集中各训练样本的虚拟人姿势对应的姿态特征向量；

分别对各训练样本中虚拟人姿势的评价是否为优进行标注，得到虚拟人姿势评价为优的正样本集与虚拟人姿势评价为差的负样本集；

基于正样本集和负样本集，以虚拟人姿势对应的姿态特征向量为输入，虚拟人姿势评价为优的概率为输出，对神经网络进行训练，得到单人姿态美学分类器。

5.如权利要求2所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述模拟退火过程的步长T初始值为1，每进行N次虚拟人姿势对应的姿态特征向量的更新，步长T下降0.05，其中，N至少为10。

6.如权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，步骤S11中所述的采样概率的设定方法为：

其中，Δθ为姿态角θ的采样概率，N为姿态角θ在其对应的空间分布中的所有可能的取值的个数，θ⁰为自然站姿下姿态角θ的取值，θⁿ为姿态角θ在其对应的空间分布中的第n个取值，Z为姿态角θ在其对应的空间分布中的所有可能的取值相对于θ⁰的差值最大值。

7.如权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述关节集合包括头部、颈椎、胸椎、左肩关节、右肩关节、左肘关节、右肘关节、左腕关节、右腕关节、腰椎、左髋关节、右髋关节、左膝关节、右膝关节、左踝关节以及右踝关节。

8.如权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述接受概率满足的设定要求为：接受概率的绝对值变化在过去的M次虚拟人姿势的姿态特征向量更新中小于5％，其中，M至少为25。

Images