CN111640167A - 一种ar合影方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本公开提供了一种AR合影方法、装置、计算机设备及存储介质，其中，该方法包括：对第一图像中的至少一个人体进行位姿检测，得到所述至少一个人体中每个人体的第一位姿信息；基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息；基于所述第二位姿信息，以及所述AR人物特效，生成所述人体和所述AR人物特效的合影。本公开实施例通过确定AR人物特效在合影中的位置和姿态的过程，增强与用户之间的互动，交互性更强。

Description

一种AR合影方法、装置、计算机设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种多人合影方法、装置、计算机设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)是一种全新的人机交互技术，利用这种技术可以模拟真实的现场景观；使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。AR合影是AR技术的一种重要应用。当前的AR合影方法存在交互性差的问题。

发明内容

本公开实施例至少提供一种AR合影方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种增强现实AR合影方法，包括：

对第一图像中的至少一个人体进行位姿检测，得到所述至少一个人体中每个人体的第一位姿信息；

基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息；

基于所述第二位姿信息，以及所述AR人物特效，生成所述人体和所述AR人物特效的合影。

一种可能的实施方式中，所述对第一图像中的至少一个人体进行位姿检测，包括：

利用预先训练的位姿检测神经网络对所述第一图像进行位姿检测处理，得到所述至少一个人体中每个人体的第一位姿信息。

一种可能的实施方式中，所述第一位姿信息包括：所述人体在所述第一图像中的位置信息、以及所述人体的姿态信息。

一种可能的实施方式中，所述位姿检测神经网络包括：特征提取子网络、人体检检测子网络、以及姿态检测子网络；

所述特征提取子网络用于对所述第一图像进行特征提取处理，得到所述第一图像的特征图；

所述人体检测子网络，用于基于所述特征图，从预先生成的多个候选边界框中，确定多个目标边界框，并基于所述目标边界框，确定所述人体对应的目标区域；其中，所述目标区域用于表征所述人体在所述第一图像中的位置信息；

所述姿态检测子网络，用于对基于所述目标区域和所述特征图确定的特征子图进行姿态检测处理，得到所述人体的姿态信息。

一种可能的实施方式中，采用下述方式确定所述合影动作模板：

响应用户对多个备选合影动作模板的选择指令，将与所述选择指令对应的备选合影动作模板确定为所述合影动作模板；

或者，基于所述至少一个人体分别对应的第一位姿信息，确定所述合影动作模板；

或者，基于所述第一图像中第一人体的数量，确定所述合影动作模板。

一种可能的实施方式中，所述合影动作模板包括：多个模板人体中每个模板人体分别对应的位姿指示信息；

所述基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息，包括：

基于所述至少一个人体分别对应的第一位姿信息、以及多个模板人体分别对应的位姿信息，对所述第一图像中的人体和所述模板人体进行匹配，并基于匹配结果，从多个所述模板人体中，确定未能匹配到所述人体的目标模板人体；

将所述目标模板人体的位姿信息，确定为所述AR人物特效的第二位姿信息。

一种可能的实施方式中，还包括：

在显示屏幕上显示与所述合影动作模板对应的位姿信息。

一种可能的实施方式中，还包括：获取所述第一图像，并将所述第一图像显示在显示屏幕中；

在所述基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息后，还包括：

基于所述第二位姿信息，将所述AR人物特效显示在所述显示屏幕中。

第二方面，本公开实施例还提供一种AR合影装置，包括：检测模块，用于对第一图像中的至少一个人体进行位姿检测，得到所述至少一个人体中每个人体的第一位姿信息；

第一确定模块，用于基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息；

生成模块，用于基于所述第二位姿信息，以及所述AR人物特效，生成所述人体和所述AR人物特效的合影。

一种可能的实施方式中，所述检测模块，在对第一图像中的至少一个人体进行位姿检测时，用于：

利用预先训练的位姿检测神经网络对所述第一图像进行位姿检测处理，得到所述至少一个人体中每个人体的第一位姿信息。

一种可能的实施方式中，所述第一位姿信息包括：所述人体在所述第一图像中的位置信息、以及所述人体的姿态信息。

一种可能的实施方式中，所述位姿检测神经网络包括：特征提取子网络、人体检检测子网络、以及姿态检测子网络；

所述特征提取子网络用于对所述第一图像进行特征提取处理，得到所述第一图像的特征图；

所述人体检测子网络，用于基于所述特征图，从预先生成的多个候选边界框中，确定多个目标边界框，并基于所述目标边界框，确定所述人体对应的目标区域；其中，所述目标区域用于表征所述人体在所述第一图像中的位置信息；

所述姿态检测子网络，用于对基于所述目标区域和所述特征图确定的特征子图进行姿态检测处理，得到所述人体的姿态信息。

一种可能的实施方式中，还包括：第二确定模块，用于采用下述方式确定所述合影动作模板：

响应用户对多个备选合影动作模板的选择指令，将与所述选择指令对应的备选合影动作模板确定为所述合影动作模板；

或者，基于所述至少一个人体分别对应的第一位姿信息，确定所述合影动作模板；

或者，基于所述第一图像中第一人体的数量，确定所述合影动作模板。

一种可能的实施方式中，所述合影动作模板包括：多个模板人体中每个模板人体分别对应的位姿指示信息；

所述确定模块，在基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息时，用于：

基于所述至少一个人体分别对应的第一位姿信息、以及多个模板人体分别对应的位姿信息，对所述第一图像中的人体和所述模板人体进行匹配，并基于匹配结果，从多个所述模板人体中，确定未能匹配到所述人体的目标模板人体；

将所述目标模板人体的位姿信息，确定为所述AR人物特效的第二位姿信息。

一种可能的实施方式中，还包括第一显示模块，用于在显示屏幕上显示与所述合影动作模板对应的位姿信息。

一种可能的实施方式中，还包括第二显示模块，用于获取所述第一图像，并将所述第一图像显示在显示屏幕中；

在所述基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息后，所述第二显示模块还用于：

基于所述第二位姿信息，将所述AR人物特效显示在所述显示屏幕中。

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

本公开实施例通过对第一图像中至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息，并基于第二位姿信息、以及AR人物特效，生成人体和AR人物特效的合影，从而通过确定AR人物特效在合影中的位置和姿态的过程，增强与用户之间的互动，交互性更强。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种AR合影方法的流程图；

图2示出了本公开实施例所提供的AR合影中，基于合影动作模板、第一图像生成AR合影的具体示例；

图3示出了本公开实施例所提供的一种AR合影装置的示意图；

图4示出了本公开实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，当前的AR合影过程一般为基于用户预先选择的AR特效，在摄像头捕获人体图像后，将AR特效叠加在人体图像中进行显示，并合影。该种AR合影方法存在交互性差的问题。

基于上述研究，本公开提供了一种AR合影方法及装置，通过对第一图像中至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息，并基于第二位姿信息、以及AR人物特效，生成人体和AR人物特效的合影，从而通过确定AR人物特效在合影中的位置和姿态的过程，增强与用户之间的互动，交互性更强。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种增强现实AR合影方法进行详细介绍，本公开实施例所提供的AR合影方法的执行主体一般为具有图像处理能力的AR合影设备，该AR合影设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该AR合影方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为AR合影设备为例对本公开实施例提供的AR合影方法加以说明。

参见图1所示，为本公开实施例提供的AR合影方法的流程图，所述方法包括步骤S101～S103，其中：

S101：对第一图像中的至少一个人体进行位姿检测，得到所述至少一个人体中每个人体的第一位姿信息；

S102：基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息；

S103：基于所述第二位姿信息，以及所述AR人物特效，生成所述人体和所述AR人物特效的合影。

下面分别对上述S101～S103加以详细描述。

I：在上述S101中，所获取的第一图像可以有一张，也可以是连续的多张。在该种情况下，第一图像可以是即时获取的第一图像，也可以并非是即时获取的第一图像。

在第一图像为即时获取的第一图像的情况下，第一图像例如可以通过AR合影设备上设置的图像获取装置即时获取的；在第一图像并给是即时获取的情况下，第一图像可以为其他设备传输给AR合影设备的，也可以是AR合影设备调用本地相册获取的第一图像。在该种情况下，所生成的人体与AR人物特效的合影，例如为在第一图像中叠加AR人物特效。

第一图像有连续的多张的情况下，多张连续的第一图像例如为实时视频流中的多帧第一图像。此时，AR合影设备上例如设置有图像获取装置，图像获取装置能够实时捕获拍摄视野范围内的画面，并将实时捕获的画面作为第一图像传输给AR合影设备的处理器；AR合影设备的处理器基于获取的每帧第一图像，生成人体与AR人物特效的合影，并将合影显示在AR合影设备的显示屏上，进而使得显示屏实时呈现人体与AR人物特效的合影画面。这里，随着多帧第一图像的人体的位姿不断发生变化，不同第一图像对应的AR人物特效的位姿也在不断发生变化，进而为用户呈现出动态的显示效果。

在另一实施例中，多张连续的第一图像例如为已经拍摄完成的视频中的多帧第一图像，也可以基于上述过程对多帧第一图像进行处理，生成与每帧第一图像分别对应的AR人物特效和人体的合影，并将合影在显示屏上显示出来。

另外，为了降低AR合影设备的计算压力，多张连续的第一图像，例如还可以是基于视频进行间隔采样得到的多帧第一图像。在生成合影的时候，针对每两帧相邻的第一图像，在前的第一图像对应的合影，是基于在前的第一图像确定的AR人物特效的第二位姿信息、以及在前的第一图像生成的；在后的第一图像对应的合影，是基于在后的第一图像确定的AR人物特效的第二位姿信息、以及在后的第一图像生成的；位于两帧相邻的第一图像之间的其他图像对应的合影，是基于在前的第一图像确定的AR人物特效的第二位姿信息、以及该其他图像生成的。

示例性的，针对一段视频，包括a1、a2、……、a10十帧图像；对该视频进行间隔采样，得到3帧第一图像，分别为a1、a5、a9，对于a1而言，a1对应的合影，是基于a1确定的AR人物特效的第二位姿信息以及a1生成的；对于a2对应的合影，是基于a1确定的AR人物特效的第二位置信息以及a2生成的……；a5对应的合影，是基于a5确定的AR人物特效的第二位姿信息以及a5生成的。

另外，本公开实施例还提供一种对第一图像中的至少一个人体进行位姿检测的具体方法啊，包括：

利用预先训练的位姿检测神经网络对所述第一图像进行位姿检测处理，得到所述至少一个人体中每个人体的第一位姿信息。

其中，每个人体的第一位姿信息，包括：人体在所述第一图像中的位置信息、以及所述人体的姿态信息。

本公开实施例提供一种位姿检测模型的具体结构的示例。位姿检测神经网络包括：特征提取子网络、人体检检测子网络、以及姿态检测子网络；

其中：所述特征提取子网络用于对所述第一图像进行特征提取处理，得到所述第一图像的特征图；

所述人体检测子网络，用于基于所述特征图，从预先生成的多个候选边界框中，确定多个目标边界框，并基于所述目标边界框，确定所述人体对应的目标区域；其中，所述目标区域用于表征所述人体在所述第一图像中的位置信息；

所述姿态检测子网络，用于对基于所述目标区域和所述特征图确定的特征子图进行姿态检测处理，得到所述人体的姿态信息。

在具体实施中，特征提取子网络例如为卷积神经网络(Convolutional NeuralNetwork，CNN)，CNN能够对第一图像进行至少一级卷积处理，得到第一图像的特征图。

人体检测子网络例如包括：目边界框预测网络，例如RoIAlign、ROI-Pooling等，以RoIAlign为例，RoIAlign可以对预先生成的多个候选边界框进行遍历，确定各个候选边界框对应的子图像属于第一图像中任一人体的感兴趣区域(region of interest，ROI)值，该ROI值越高，与之对应的候选边界框对应的子图像属于某个人体的概率也就越大；在确定了每个候选边界框对应的ROI值后，根据各个候选边界框分别对应的ROI值从大到小的顺序，从候选边界框中确定多个目标边界框。

目标边界框例如为矩形；目标边界框的信息例如包括：目标边界框中任一顶点在第一图像中的坐标，以及目标边界框的高度值和宽度值。或者，目标边界框的信息例如包括：目标边界框中任一顶点在第一图像的特征图中的坐标，以及目标边界框的高度值和宽度值。

在得到多个目标边界框后，基于多个目标边界框，确定第一图像中所有的人体分别对应的目标区域。

在基于目标边界框确定与人体分别对应的目标区域时，例如可以基于目标边界框，从第一图像的特征图中，截取与目标边界框对应的子图，然后利用边界框回归算法，基于与目标边界框对应的子图，对目标边界框进行边界框回归处理，得到人体对应的目标区域。

在得到第一图像中各个人体对应的目标区域后，基于该目标区域，从第一图像的特征图中，截取与该目标区域对应的特征子图。

姿态检测子网络，基于每个人体对应的特征子图，进行姿势检测处理，得到人体的姿态信息。

此处，人体的姿态信息例如包括三维姿态信息，或者二维姿态信息。

在人体的姿态信息为二维姿态信息时，二维姿态信息包括：人体的各个关键点在第一图像中的二维坐标值。该姿态检测子网络例如能够基于特征子图，确定人体中多个关键点中每个关键点在第一图像中的位置；将各个关键点按照人体的结构连接后，得到人体的二维姿态。

在人体的姿态信息为三维姿态信息时，三维姿态信息包括：人体的各个关键点在与第一图像对应的相机坐标系下的三维坐标值。该姿态检测子网络例如能够基于特征子图，确定人体中多个关键点中每个关键点在相机坐标系中的坐标值；将各个关键点按照人体的结构连接后，得到人体的三维姿态。

此处，针对不同的合影动作模板，需要确定的人体的姿态信息有所区别。例如，在某些合影动作模板较为简单，在能够基于人体的二维姿态信息检测到用户做出对应动作的情况下，可以采用二维姿态信息表征人体的姿态信息；在某些合影动作模板较为复杂，基于人体的二维姿态信息无法检测到用户是否做出对应动作的情况下，可以采用三维姿态信息表征人体的姿态信息。

II：在上述S102中，合影动作模板，用于指示多人拍照时，每个人分别摆出的合影动作，和/或多人之间的相互位置。具体地，合影动作模板的相关信息，例如包括：与多个不同的模板人体分别对应的位姿信息。模板人体的数量例如可以大于第一图像中人体的数量。

在至少一个人体按照合影动作模板摆出对应的合影动作和/或相互位置时，AR合影设备会基于至少一个人体分别对应的第一位姿信息、以及多个模板人体分别对应的位姿信息，将第一图像中的人体和模板人体进行匹配，并基于匹配结果，从多个模板人体中，确定未匹配到人体的目标人体模板，然后将目标人体模板的位姿信息，作为AR人物特效的第二位姿信息。

其中，AR人物特效的第二位姿信息用于指示AR人物特效在合影中的位置与姿势。

在具体实施中，如图2中a所示，提供一种合影动作模板的具体示例，例如合影动作模板包括：5个模板人体21分别对应的位姿信息，该合影动作模板用于指示5个人排列为两排，且每个人均摆出“举手”的姿态；如图2中b所示，提供一种第一图像的具体示例；在该第一图像中，包括4个人体22，4个人体排列成两排，且分别摆出“心形”的姿态。将合影动作模板中的模板人体，和第一图像中的人体进行匹配时，确定的目标模板人体如图2中a中的23所示，则此时，会确定一历史人物的AR人物特效24，并在生成的合影中，控制AR人物特效24和第一图像中人体22的关系如图2中c所示。

在本公开实施例中，合影动作模板例如可以采用下述方式中任一种确定：

(1)：响应用户对多个备选合影动作模板的选择指令，将与所述选择指令对应的备选合影动作模板确定为所述合影动作模板。

在具体实施中，AR合影设备在生成确定至少一个历史人物的AR人物特效的第二位姿信息之前，例如可以在显示屏幕上为用户显示多个备选合影动作模板。用户可以对多个备选合影动作模板中的任一个进行选择；AR合影设备响应用户对多个备选合影动作模板的选择指令，将与选择指令对应的备选和嘤动作模板，确定为在确定第二位姿信息时所用的合影动作模板。

(2)：基于所述至少一个人体分别对应的第一位姿信息，确定所述合影动作模板。

在具体实施中，在至少一个用户进入到AR合影场景后，AR合影装置自动基于第一图像中所包括的各个人体分别对应的第一位姿信息，为进入到AR合影场景的用户匹配合影动作模板。在另一实施例中，随着用户不断变化位姿，AR合影装置可以适应性的不断调整为用户匹配的合影动作模板，并确定AR人物特效，以增加AR合影的趣味性。

(3)：基于所述第一图像中第一人体的数量，确定所述合影动作模板。

在具体实施中，在至少一个用户进入到AR合影场景后，AR合影装置能够检测到进入AR合影场景的用户的数量，并基于该数量为进入到AR合影场景的用户匹配合影动作模板。

在上述实施例中，AR合影装置还可以将确定的合影动作模板对应的位姿信息显示在显示屏幕上，以指引用户做出与合影动作模板对应的动作。

III：在上述S103中，在确定了第二位姿信息后，就能够基于第二位姿信息，以及人物特效，生成人体和AR人物特效的合影。

在具体实施中，所生成的人体和AR人物特效的合影，例如为基于AR人物特效的第二位姿信息，在第一图像中叠加与AR人物特效对应的贴纸。

在另一实施例中，还可以将第一图像显示在AR合影装置的显示屏幕中。在确定了AR人物特效的第二位姿信息后，也可以基于该第二位姿信息，将AR人物特效显示在显示屏幕中，从而令用户能够从显示屏幕中看到AR合影的具体显示效果。

本公开实施例通过对第一图像中至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息，并基于第二位姿信息、以及AR人物特效，生成人体和AR人物特效的合影，从而通过确定AR人物特效在合影中的位置和姿态的过程，增强与用户之间的互动，交互性更强。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与AR合影方法对应的AR合影装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR合影方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种AR合影装置的示意图，所述装置包括：检测模块31、第一确定模块32、以及生成模块33；其中，

检测模块31，用于对第一图像中的至少一个人体进行位姿检测，得到所述至少一个人体中每个人体的第一位姿信息；

第一确定模块32，用于基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息；

生成模块33，用于基于所述第二位姿信息，以及所述AR人物特效，生成所述人体和所述AR人物特效的合影。

一种可能的实施方式中，所述检测模块31，在对第一图像中的至少一个人体进行位姿检测时，用于：

利用预先训练的位姿检测神经网络对所述第一图像进行位姿检测处理，得到所述至少一个人体中每个人体的第一位姿信息。

一种可能的实施方式中，所述第一位姿信息包括：所述人体在所述第一图像中的位置信息、以及所述人体的姿态信息。

一种可能的实施方式中，所述位姿检测神经网络包括：特征提取子网络、人体检检测子网络、以及姿态检测子网络；

所述特征提取子网络用于对所述第一图像进行特征提取处理，得到所述第一图像的特征图；

所述人体检测子网络，用于基于所述特征图，从预先生成的多个候选边界框中，确定多个目标边界框，并基于所述目标边界框，确定所述人体对应的目标区域；其中，所述目标区域用于表征所述人体在所述第一图像中的位置信息；

所述姿态检测子网络，用于对基于所述目标区域和所述特征图确定的特征子图进行姿态检测处理，得到所述人体的姿态信息。

一种可能的实施方式中，还包括：第二确定模块34，用于采用下述方式确定所述合影动作模板：

响应用户对多个备选合影动作模板的选择指令，将与所述选择指令对应的备选合影动作模板确定为所述合影动作模板；

或者，基于所述至少一个人体分别对应的第一位姿信息，确定所述合影动作模板；

或者，基于所述第一图像中第一人体的数量，确定所述合影动作模板。

一种可能的实施方式中，所述合影动作模板包括：多个模板人体中每个模板人体分别对应的位姿指示信息；

所述第一确定模块32，在基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息时，用于：

基于所述至少一个人体分别对应的第一位姿信息、以及多个模板人体分别对应的位姿信息，对所述第一图像中的人体和所述模板人体进行匹配，并基于匹配结果，从多个所述模板人体中，确定未能匹配到所述人体的目标模板人体；

将所述目标模板人体的位姿信息，确定为所述AR人物特效的第二位姿信息。

一种可能的实施方式中，还包括第一显示模块35，用于在显示屏幕上显示与所述合影动作模板对应的位姿信息。

一种可能的实施方式中，还包括第二显示模块36，用于获取所述第一图像，并将所述第一图像显示在显示屏幕中；

在所述基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息后，所述第二显示模块36还用于：

基于所述第二位姿信息，将所述AR人物特效显示在所述显示屏幕中。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图4所示，为本公开实施例提供的计算机设备结构示意图，包括：

处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当计算机设备运行时，所述机器可读指令被所述处理器执行以实现下述步骤：

对第一图像中的至少一个人体进行位姿检测，得到所述至少一个人体中每个人体的第一位姿信息；

基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息；

基于所述第二位姿信息，以及所述AR人物特效，生成所述人体和所述AR人物特效的合影。

上述指令的具体执行过程可以参考本公开实施例中所述的AR合影方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的AR合影方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的AR合影方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的AR合影方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种增强现实AR合影方法，其特征在于，包括：

对第一图像中的至少一个人体进行位姿检测，得到所述至少一个人体中每个人体的第一位姿信息；

基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息；

基于所述第二位姿信息，以及所述AR人物特效，生成所述人体和所述AR人物特效的合影。

2.根据权利要求1所述的AR合影方法，其特征在于，所述对第一图像中的至少一个人体进行位姿检测，包括：

利用预先训练的位姿检测神经网络对所述第一图像进行位姿检测处理，得到所述至少一个人体中每个人体的第一位姿信息。

3.根据权利要求2所述的AR合影方法，其特征在于，所述第一位姿信息包括：所述人体在所述第一图像中的位置信息、以及所述人体的姿态信息。

4.根据权利要求2或者3所述的AR合影方法，其特征在于，所述位姿检测神经网络包括：特征提取子网络、人体检检测子网络、以及姿态检测子网络；

所述特征提取子网络用于对所述第一图像进行特征提取处理，得到所述第一图像的特征图；

所述人体检测子网络，用于基于所述特征图，从预先生成的多个候选边界框中，确定多个目标边界框，并基于所述目标边界框，确定所述人体对应的目标区域；其中，所述目标区域用于表征所述人体在所述第一图像中的位置信息；

所述姿态检测子网络，用于对基于所述目标区域和所述特征图确定的特征子图进行姿态检测处理，得到所述人体的姿态信息。

5.根据权利要求1-4任一项所述的AR合影方法，其特征在于，采用下述方式确定所述合影动作模板：

响应用户对多个备选合影动作模板的选择指令，将与所述选择指令对应的备选合影动作模板确定为所述合影动作模板；

或者，基于所述至少一个人体分别对应的第一位姿信息，确定所述合影动作模板；

或者，基于所述第一图像中第一人体的数量，确定所述合影动作模板。

6.根据权利要求1-5中任一项所述的AR合影方法，其特征在于，所述合影动作模板包括：多个模板人体中每个模板人体分别对应的位姿指示信息；

所述基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息，包括：

基于所述至少一个人体分别对应的第一位姿信息、以及多个模板人体分别对应的位姿信息，对所述第一图像中的人体和所述模板人体进行匹配，并基于匹配结果，从多个所述模板人体中，确定未能匹配到所述人体的目标模板人体；

将所述目标模板人体的位姿信息，确定为所述AR人物特效的第二位姿信息。

7.根据权利要求6所述的AR合影方法，其特征在于，还包括：

在显示屏幕上显示与所述合影动作模板对应的位姿信息。

8.根据权利要求1-7任一项所述的AR合影方法，还包括：获取所述第一图像，并将所述第一图像显示在显示屏幕中；

在所述基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息后，还包括：

基于所述第二位姿信息，将所述AR人物特效显示在所述显示屏幕中。

9.一种增强现实AR合影装置，其特征在于，包括：

检测模块，用于对第一图像中的至少一个人体进行位姿检测，得到所述至少一个人体中每个人体的第一位姿信息；

第一确定模块，用于基于所述至少一个人体分别对应的第一位姿信息，以及合影动作模板，确定至少一个历史人物的AR人物特效的第二位姿信息；

生成模块，用于基于所述第二位姿信息，以及所述AR人物特效，生成所述人体和所述AR人物特效的合影。

10.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至8任一项所述的AR合影方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至8任意一项所述的AR合影方法的步骤。

Images