CN115294273A - 拍摄方法及其装置 - Google Patents

Abstract

本申请公开了一种拍摄方法及其装置，属于摄像技术领域。其中，所述方法包括：在采集到原始图像的情况下，确定所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息；根据所述第一图像重建第一3D躯体数据；根据目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据；对所述第二3D躯体数据进行渲染，得到第二图像及掩膜数据；根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像。

Description

拍摄方法及其装置

技术领域

本申请属于摄像技术领域，具体涉及一种拍摄方法及其装置。

背景技术

“影分身”特效是指同一个人出现在一张照片的多个位置的拍摄效果。当前，“影分身”特效得到越来越多的拍摄爱好者青睐。

现有的“影分身”特效可以通过两种方式实现。其中一种方式需要拍摄人员采用全景拍照模式配合人物不同走位实现，该方式对拍摄人员的拍摄技巧要求较高，不适于普通人员拍摄。另一种方式则是通过人像抠图融合算法，将多个人像抠图融合至一张图像上实现，该方式不仅需要拍摄多张图像，还需要拍摄人员具有专业的抠图、拼图技巧，且其算法复杂、处理时间长、容易出现人像融合异常情况。

发明内容

本申请实施例的目的是提供一种拍摄方法，能够解决现有技术中拍摄具有分身特效图像的方式较为繁琐的问题。

第一方面，本申请实施例提供了一种设置方法，该方法包括：

在采集到原始图像的情况下，确定所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息；

根据所述第一图像重建第一3D躯体数据；

根据目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据；

对所述第二3D躯体数据进行渲染，得到第二图像及掩膜数据；

根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像。

第二方面，本申请实施例提供了一种拍摄装置，该装置包括：

获取模块，用于在采集到原始图像的情况下，确定所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息；

重建模块，用于根据所述第一图像重建第一3D躯体数据；

空间变换模块，用于根据目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据；

渲染模块，用于对所述第二3D躯体数据进行渲染，得到第二图像及掩膜数据；

融合模块，用于根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，在采集到原始图像的情况下，确定原始图像中的目标躯体部位的第一图像、及第一图像的第一坐标信息；根据第一图像重建第一3D 躯体数据；根据分身特效参数，对第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据；对第二3D躯体数据进行渲染，得到第二图像及掩膜数据；根据分身特效参数、第一坐标信息及掩膜数据，将第二图像与原始图像融合为目标图像。用户仅需控制摄像头拍摄，即可基于所采集得到的原始图像，自动生成具有不同姿态的目标图像，省去了人物走位、多次拍摄的步骤，因而有效解决现有技术中拍摄具有分身特效图像的方式较为繁琐的问题。

附图说明

图1是本申请实施例提供的拍摄方法的步骤流程图；

图2是本申请实施例中对单人脸执行分身特效拍摄的过程示意图；

图3是本申请实施例提供的拍摄装置的结构示意图；

图4是本申请实施例提供的电子设备的结构示意图；

图5是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的设置方法进行详细地说明。

请参阅图1，示出了本申请实施例提供的设置方法的步骤流程图，其中，该方法可以包括步骤101～步骤105。

在实际应用中，该方法可应用于具有摄像功能的电子设备，该电子设备可以为手机、平板电脑、摄像机、智能手表等配置有一个或多个摄像头的终端设备。

步骤101、在采集到原始图像的情况下，确定所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息。

上述步骤101中，原始图像可以为摄像头的拍摄图像或预览图像；目标躯体部位为需要实现分身特效的躯体部位，具体可以为人脸、手部或整个人体，该目标躯体部位可以为一个或多个；上述第一坐标信息为图像躯体图像在原始图像中的位置信息。

上述步骤101中，即在检测到拍摄图像或预览图像的情况下，自动获取其中的目标躯体部位的第一图像，并判定该目标躯体部位的第一图像在上述拍摄图像或预览图像中的位置信息。

步骤102、根据所述第一图像重建第一3D躯体数据。

上述102中，利用3D单帧重建算法，对从原始图像中所获取的目标躯体部位的第一图像进行实时3D重建，获得目标躯体部位对应3D数据，也即上述第一3D躯体数据。可选地，该数据包括点云数据、纹理信息及位姿状态矩阵。

步骤103、根据目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据。

上述步骤103中，上述目标分身特效参数为表示各个分身的姿态及位置的参数，该目标分身特效参数可以为固定值；该目标分身特效参数也可以在接收到用户的第一输入时，根据该第一输入进行设定，该第一输入为用户设置分身特效参数的输入；该步骤中，根据目标分身特效参数，对步骤102中得到的第一3D躯体数据进行空间姿态变换处理，处理得到多个第二3D躯体数据，该多个第二3D躯体数据，可以按相同的纹理呈现出分身特效中各个分身的全部动作姿态。也即对于分身特效中每一个分身的动作姿态，多个第二3D躯体数据中均有一个第二3D躯体数据可以呈现出上述分身的动作姿态。

步骤104、对所述第二3D躯体数据进行渲染，得到第二图像及掩膜数据。

上述步骤104中，对步骤103中变换得到的不同姿态的第二3D躯体数据分别实时渲染，得到分身特效中各个分身对应的第二图像及各第二图像对应的掩膜(mask)数据。

步骤105、根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像。

上述步骤105中，根据分身特效参数及第一图像的第一坐标信息，锚定目标躯体部位的第一图像在原始图像上的具体位置，然后将各第二图像叠加至原始图像的相应位置，再按上述掩膜数据进行融合，并对融合边缘进行平滑处理，即可以多张不同姿态的目标躯体部位的第二图像融合至原图上，实现目标躯体部位的“影分身”特效。

可选地，根据分身特效参数及第一图像的第一坐标信息，将各第二图像叠加至原始图像的不同位置，然后按上述掩膜数据进行融合，确保各第二图像与第一图像两两不重叠，使得各分身效果能够呈现地更完整。

上述拍摄方法中，用户仅需控制摄像头拍摄，即可基于所采集得到的原始图像，自动生成具有多个不同姿态的目标图像，省去了人物走位、多次拍摄的步骤，因而有效解决现有技术中拍摄具有分身特效图像的方式较为繁琐的问题。

可选地，在一种实施方式中，用户可以预先设定是否开启分身特效拍摄模式，在开启分身特效拍摄模式的情况下，选定需要呈现分身效果的目标躯体，例如选定人脸作为目标躯体，该目标躯体可以设置为一个或多个；在开启摄像头进行拍摄时，若检测到已开启分身特效拍摄模式且已选定目标躯体，则执行本申请实施例所提供的拍摄方法。

可选地，在一种具体实施方式中，在目标躯体为设置为一个的情况下，若在原始图像中获取到一个目标躯体部位的第一图像则执行后续实现分身特效的步骤，否则直接将原始图像反馈给显示端。该具体实施方式中，仅在采集到的原始图像中存在一个目标躯体部位的第一图像的情况下，自动生成具有多个不同姿态的目标图像，可以实现单个目标躯体部位的第一图像的分身特效。

可选地，在一种实施方式中，本申请实施例所提供的拍摄方法中，上述目标躯体部位为人脸；上述获取所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息的步骤，包括步骤111～步骤113。

步骤111、对所述原始图像进行人脸图像检测。

上述111中，利用人脸检测技术，识别原始图像中是否存在人脸图像。

步骤112、在检测出人脸图像的情况下，确定所述人脸图像所在矩形区域的第二坐标信息。

上述112中，在检测到原始图像中存在人脸图像的情况下，利用矩形框框选出人脸图像所在原始图像中的图像区域，在上述矩形框刚好能够框住人脸图像时，确定该矩形框的坐标信息，作为上述第二坐标信息。

可选地，在一种具体实施方式中，在上述矩形区域的各边分别与原始图像像素坐标系的横轴及纵轴平行的情况下，上述第二坐标信息包括上述矩形区域的两相间顶点的坐标信息。该实施方式中，因为在上述矩形的各边所在方向确定的情况下，利用两个相间顶点即可以确定该矩形，因而在上述矩形区域的各边分别与原始图像像素坐标系的横轴及纵轴平行的情况下，仅需获取该矩形区域的左上顶点和右下顶点的坐标信息，或者右上顶点和左下顶点的坐标信息，即可以确定人脸图像所在矩形区域范围。

步骤113、根据所述第二坐标信息，从所述原始图像中抠取所述人脸图像，并将所述第二坐标信息确定为所述第一坐标信息。

上述113中，因为第二坐标信息界定了人脸图像在原始图像中的范围，因而根据该第二坐标信息，可以从第二图像中抠取出人脸图像，并可以将该第二坐标信息作为第一坐标信息，即将矩形区域直接作为人脸图像所在区域。

示例地，在上述矩形区域的左上顶点与右下顶点在原始图像的像素坐标系下坐标点P1(X1，Y1)、P2(X2，Y2)，则根据该矩形区域的顶点坐标信息P1， P2可在原始图像上切割出其X坐标范围在X2与X1之间、Y坐标范围在Y2 至Y1之间的图像，作为上述人脸图像，以输出给3D重建算法进行实时3D人脸重建，同时保存P1、P2坐标位置信息，用以后期人脸图像融合。

可选地，在一种实施方式中，本申请实施例所提供的拍摄方法中，上述第一3D躯体数据包括第一点云数据、纹理信息及第一位姿矩阵；上述步骤103 包括步骤301～步骤303。

步骤301、根据所述目标分身特效参数及所述第一位姿矩阵，确定第二位姿矩阵。

上述301中，上述分身特效参数确定了分身特效中目标躯体的各个分身对应的姿态，而各分身对应的姿态可以通过第二位姿矩阵表示，该第二位姿矩阵由第一图像原有的第一位姿矩阵变换而来，因而可以根据上述分身特效参数及第一位姿矩阵，确定多个第二位姿矩阵，使得各位姿矩阵分别与分身特效的相应分身姿态对应。

可选地，在一种实施方式中，分身特效参数包括旋转矩阵偏置量；第一位姿矩阵包括第一旋转矩阵，第二位姿矩阵包括第二旋转矩阵；上述步骤301包括：根据所述第一旋转矩阵与所述旋转矩阵偏置量，确定所述第二旋转矩阵。

在本申请该实施方式中，由第一旋转矩阵与上述满足分身特效需求的旋转矩阵偏置量之和，确定上述第二旋转矩阵，然后直接根据该第二旋转矩阵确定上述第二位姿矩阵，此时该第二位姿矩阵的平移矩阵为零矩阵，后续基于该第二位姿矩阵对第一点云数据进行空间变换处理，可以得到在3D空间内不同处于不同朝向但位置相同的第二点云数据。

可选地，在另一种实施方式中，分身特效参数包括旋转矩阵偏置量及平移矩阵偏置量，第一位姿矩阵包括第一旋转矩阵及第一平移矩阵，第二位姿矩阵包括第二旋转矩阵及第二平移矩阵，上述步骤301包括：根据所述第一旋转矩阵与所述旋转矩阵偏置量，确定所述第二旋转矩阵；根据所述第一平移矩阵与所述平移矩阵偏置量，确定所述第二平移矩阵。

在该实施方式中，由第一旋转矩阵与上述满足分身特效需求的旋转矩阵偏置量之和作为上述第二旋转矩阵，并由第一平移矩阵与上述满足分身特效需求的平移矩阵偏置量之和作为上述第二平移矩阵，然后将该第二旋转矩阵与第二平移矩阵组合作为上述第二位姿矩阵，后续基于该第二位姿矩阵对第一点云数据进行空间变换处理，可以得到在3D空间内不同处于不同朝向且位置不同的第二点云数据。

步骤302、根据所述第一点云数据，确定与所述第二位姿矩阵对应的第二点云数据。

上述302中，对于每一个第二位姿矩阵，将其旋转矩阵乘以第一点云数据，并加上其平移矩阵，即可以得到该第二位姿矩阵对应的第二点云数据，该第二点云数据可以呈现上述第二位姿矩阵对应的分身姿态。

在实际应用中，对第一旋转矩阵R叠加不同偏置量，则原始的第一3D点云数据Points会旋转朝向不对方向，可得到一组不同朝向的3D点云数据 Points*，再对上述Points*进行平移变换，可得到一组围绕在原始的第一3D点云数据Points四周的不同朝向的第二3D点云数据Points*。

步骤303、将所述纹理信息叠加至所述第二点云数据，得到所述第二3D 躯体数据。

上述303中，将3D重建时由目标躯体部位的第一图像数据所生成的纹理信息叠加至不同位姿的第二点云数据，即可以得到多组相同纹理、不同姿态的 3D躯体数据，也即上述第二3D躯体数据。

本实施方式中，根据姿态特效需求，利用重建得到的第一3D躯体数据进行空间姿态变换处理，得到多个相同纹理、不同姿态的第二3D人脸数据，后续将该第二3D人脸数据融合至原始图像，即可以获得目标躯体的分身特效图像。

可选地，在一种实施方式中，第一3D躯体数据包括第一位姿矩阵；第一位姿矩阵包括第一平移矩阵，分身特效参数包括平移矩阵偏置量；上述步骤105 包括步骤501～步骤503。

步骤501、根据所述第一图像、所述第二图像对应的第二3D躯体数据与所述第一3D躯体数据，将所述第二图像进行尺寸变换为第三图像。

该步骤中，因为第二3D躯体数据与第一3D躯体数据反映了目标躯体部位的第一图像与分身对应的第三图像之间的远近关系，而物体成像符合近大远小的成像逻辑关系，因而可以根据第二3D躯体数据与第一3D躯体数据确定第三图像与第一图像之间的尺寸关系，然后结合第一图像的尺寸，即可以确定出第三图像的尺寸大小，并根据该尺寸大小对第二图像仅需尺寸变换，得到的图像即为上述第三图像。

步骤502、根据所述平移矩阵偏置量、所述第一平移矩阵及第三图像的实际尺寸，确定所述第三图像的平移量。

该步骤中，平移矩阵偏置量确定了立体空间中目标躯体的各个分身相对第一3D躯体数据的位移量，且各个分身成像大小需要符合近大远小的成像逻辑关系，成像大小不同时，相同平移矩阵偏置量在二维平面上的平移量也不同，因而需要结合各个分身对应二维图像的实际尺寸确定其平移量。

具体地，通过公式(1)和公式(2)计算上述平移量包括x轴向平移量ΔP_x及y轴向平移量ΔP_y：

其中，T_x表示第一平移矩阵在x轴向的分量，T_x表示平移矩阵偏置量在y 轴向的分量，

表示平移矩阵偏置量在x轴向的分量，

表示平移矩阵偏置量在y轴向的分量，W表示第三图像的宽度，H表示第三图像的高度。

步骤503、根据所述平移量、所述第一坐标信息及所述掩膜数据，将所述第三图像与所述原始图像融合为目标图像。

该步骤中，因为第一坐标信息可以锚定原始的目标躯体部位的第一图像在原始图像上的具体位置，掩膜数据则确定了各分身特效的第三图像所需要屏蔽、隐藏的部分，而每个第三图像对应的平移量确定了第三图像相对目标躯体部位的第一图像在原始图像上的位移量，因而以上述第一坐标信息为参照，控制第三图像由目标躯体部位的第一图像处，按该第三图像对应的平移量平移至相应位置，然后按上述掩膜数据与原始图像融合，即可以得到呈现上述分身特效参数对应的分身特效的目标图像。

该具体实施方式中，在该具体实施方式中，在将渲染得到的第二图像与原始图像进行融合之前，先对其进行尺寸变换处理，并根据平移矩阵偏置量计算其平移量，再将变换处理后的第二图像按上述平移量平移后与原始图像进行融合，使得融合得到的图像不仅能够呈现所需的分身特效，也符合远小近大的正常成像逻辑。

可选地，在一种具体实施方式中，上述步骤501包括步骤511～步骤513。

步骤511、确定所述第一图像的原始尺寸、所述第二3D图躯体数据的第二平均深度及所述第一3D躯体数据的第一平均深度。

该步骤中，根据第一图像的第一坐标信息，确定其原始尺寸，该原始尺寸可以包括原始宽度及原始高度；根据第一3D躯体数据中的第一点云数据，即可计算其第一平均深度；根据第二3D躯体数据中的第二点云数据，即可计算其第二平均深度。

步骤512、根据所述原始尺寸、所述第一平均深度及所述第二平均深度，计算所述第三图像的目标尺寸。

该步骤中，因为深度越深，说明相应的分身距离摄像头越远，其尺寸也就越小，而目标躯体部位的原始图像尺寸为定值，因而可以以其原始尺寸，结合第一平均深度与第二平均深度之间的比例关系，确定相应分身的图像尺寸，作为第三图像的目标尺寸。

具体地，通过公式(3)和公式(4)计算第三图像的宽度及高度分别为W 及H，则：

其中，W^*表示第一图像的宽度，H^*表示第一图像的高度，Z^*表示第一平均深度，Z表示第二平均深度。

步骤513、根据所述目标尺寸变换所述第二图像，得到所述第三图像。

该步骤中，即将渲染得到的第二图像变换至上述目标尺寸，得到的图像作为上述第三图像。

该具体实施方式中，基于第一图像的原始尺寸、第二3D图躯体数据的第二平均深度及第一3D躯体数据的第一平均深度，确定第三图像的目标尺寸，然后将第二图像变换至上述目标尺寸，得到符合远小近大成像逻辑的各个第三图像，进而使得最终得到的分身特效也能够符合正常的成像逻辑，分身特效更加真实、自然。

请参阅图2，图2示出了本申请实施例中对单人脸执行分身特效拍摄的过程示意图。

如图2所示，在步骤201中，在开启拍摄功能后，获取摄像头所采集的单帧原始图像；

在步骤202中，抓取该单帧原始图像进行人脸检测，确定检测出的人脸矩形框数量；

在步骤203中，根据人脸矩形框数量对原始图像进行单人脸场景判断；如果人脸矩形框数量数量不为1，则判定原始图像不符合单人脸场景，直接将原始图像返回值显示端进行显示；如果人脸矩形框数量数量为1，则判定原始图像符合单人脸场景，因而进入步骤204中；

在步骤204中，根据该人脸矩形框的坐上顶点P1(X1，Y1)及右下顶点 P2(X2，Y2)，可在原始图像上切割出一个宽度为W＝X2-X1、高度为H＝Y2-Y1 大小的人脸图像，同时保存P1，P2坐标位置信息作为人脸位置信息；

在步骤205中，将步骤203中切割得到的人脸图像输出给3D单帧人脸重建算法进行实时3D人脸重建，得到3D人脸数据，具体包括点云数据、纹理信息及位姿状态矩阵R/T，其中，R是旋转矩阵，T是平移矩阵；

在步骤206中，根据分身特效参数，对步骤204中重建得到的3D人脸数据进行空间姿态变换处理，得到多个相同纹理且不同姿态的3D人脸数据；

在步骤207中，对变换得到的不同位姿3D人脸数据实时渲染，得到同一像素坐标系下不同位置的人脸图像及对应人脸图像的mask数据；

在步骤208中，根据近大远小的成像逻辑关系，将步骤207中渲染得到的多张不同姿态的人脸图像进行尺寸变换，并根据分身特效参数确定尺寸变换后人脸图像的平移量，再以上述人脸位置信息，锚定原始的人脸图像在原始图像上的具体位置，基于上述平移量将各尺寸变换后的不同姿态的人脸图像融合至原始图像上，并将其反馈至显示端；

在步骤209中，显示端显示所接收到的图像，呈现单人脸“影分身”特效。

本申请实施例提供的设置方法，执行主体可以为拍摄装置。本申请实施例中以拍摄装置执行拍摄方法为例，说明本申请实施例提供的拍摄装置。

请参阅图3，示出了本申请实施例提供的一种拍摄装置的结构示意图，如图3所示，所述装置包括：

获取模块31，用于在采集到原始图像的情况下，确定所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息；

重建模块32，用于根据所述第一图像重建第一3D躯体数据；

空间变换模块33，用于根据目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据；

渲染模块34，用于对所述第二3D躯体数据进行渲染，得到第二图像及掩膜数据；

融合模块35，用于根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像。

可选地，所述的装置中，所述第一3D躯体数据包括第一点云数据、纹理信息及第一位姿矩阵；

所述空间变换模块33包括：

第一确定单元，用于根据所述目标分身特效参数及所述第一位姿矩阵，确定个第二位姿矩阵；

第二确定单元，用于根据所述第一点云数据，确定与所述第二位姿矩阵对应的第二点云数据；

叠加单元，用于将所述纹理信息叠加至所述第二点云数据，得到所述第二 3D躯体数据。

可选地，所述的装置中，所述分身特效参数包括旋转矩阵偏置量；所述第一位姿矩阵包括第一旋转矩阵，所述第二位姿矩阵包括第二旋转矩阵；

所述第一确定单元，具体用于根据所述第一旋转矩阵与所述旋转矩阵偏置量，确定所述第二旋转矩阵。

可选地，所述的装置中，所述分身特效参数包括旋转矩阵偏置量及平移矩阵偏置量；所述第一位姿矩阵包括第一旋转矩阵及第一平移矩阵，所述第二位姿矩阵包括第二旋转矩阵及第二平移矩阵；

所述第一确定单元，具体用于根据所述第一旋转矩阵与所述旋转矩阵偏置量，确定所述第二旋转矩阵；

根据所述第一平移矩阵与所述平移矩阵偏置量，确定所述第二平移矩阵。

可选地，所述的装置中，所述第一3D躯体数据包括第一位姿矩阵；所述第一位姿矩阵包括第一平移矩阵，所述分身特效参数包括平移矩阵偏置量；

所述融合模块35包括：

尺寸变换单元，用于根据所述第一图像、所述第二3D躯体数据与所述第一3D躯体数据，将所述第二图像进行尺寸变换为第三图像；

第三确定单元，用于根据所述平移矩阵偏置量、所述第一平移矩阵及第三图像的实际尺寸，确定所述第三图像的平移量；

融合单元，用于根据所述平移量、所述第一坐标信息及所述掩膜数据，将所述第三图像与所述原始图像融合为目标图像。

可选地，所述的装置中，所述尺寸变换单元包括：

确定子单元，用于确定所述第一图像的原始尺寸、所述第二3D躯体数据的第二平均深度及所述第一3D躯体数据的第一平均深度；

计算子单元，用于根据所述原始尺寸、所述第一平均深度及所述第二平均深度，计算所述第三图像的目标尺寸；

变换子单元，用于根据所述目标尺寸变换所述第二图像，得到所述第三图像。

可选地，所述的装置中，所述目标躯体部位的为人脸；

获取模块31包括：

检测单元，用于对所述原始图像进行人脸图像检测；

第三确定单元，用于在检测出人脸图像的情况下，确定所述人脸图像所在矩形区域的第二坐标信息；

图像抠取单元，用于根据所述第二坐标信息，从所述原始图像中抠取所述人脸图像，并将所述第二坐标信息确定为所述第一坐标信息。

综上所述，本申请实施例提供的拍摄装置，用户仅需控制摄像头拍摄，即可基于所采集得到的原始图像，自动生成具有不同姿态的目标图像，省去了人物走位、多次拍摄的步骤，因而有效解决现有技术中拍摄具有分身特效图像的方式较为繁琐的问题。

本申请实施例中的拍摄装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实 (augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer， PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的拍摄装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的拍摄装置能够实现图1至图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401和存储器402，存储器402上存储有可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述设置方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图5为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。

本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，用户输入单元607，用于接收用户对分身特效参数输入操作；

处理器610，用于在采集到原始图像的情况下，确定所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息；根据所述第一图像重建第一3D躯体数据；根据目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据；对所述第二3D躯体数据进行渲染，得到第二图像及掩膜数据；根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像

显示单元606，用于显示目标图像。

本申请实施例提供的电子设备，用户仅需控制摄像头拍摄，即可基于所采集得到的原始图像，自动生成具有不同姿态的目标图像，省去了人物走位、多次拍摄的步骤，因而有效解决现有技术中拍摄具有分身特效图像的方式较为繁琐的问题。

可选地，所述第一3D躯体数据包括第一点云数据、纹理信息及第一位姿矩阵；；

处理器610，具体用于根据所述目标分身特效参数及所述第一位姿矩阵，确定第二位姿矩阵；根据所述第一点云数据，确定与所述第二位姿矩阵对应的第二点云数据；将所述纹理信息叠加至所述第二点云数据，得到所述第二3D 躯体数据。

可选地，所述分身特效参数包括旋转矩阵偏置量；所述第一位姿矩阵包括第一旋转矩阵，所述第二位姿矩阵包括第二旋转矩阵；

处理器610，具体用于根据所述第一旋转矩阵与所述旋转矩阵偏置量，确定所述第二旋转矩阵。

可选地，所述分身特效参数包括旋转矩阵偏置量及平移矩阵偏置量；所述第一位姿矩阵包括第一旋转矩阵及第一平移矩阵，所述第二位姿矩阵包括第二旋转矩阵及第二平移矩阵；

处理器610，具体用于根据所述第一旋转矩阵与所述旋转矩阵偏置量，确定所述第二旋转矩阵；根据所述第一平移矩阵与所述平移矩阵偏置量，确定所述第二平移矩阵。

可选地，所述第一3D躯体数据包括第一位姿矩阵；所述第一位姿矩阵包括第一平移矩阵，所述分身特效参数包括平移矩阵偏置量；

处理器610，具体用于根据所述第一图像、所述第二3D躯体数据与所述第一3D躯体数据，将所述第二图像进行尺寸变换为第三图像；根据所述平移矩阵偏置量、所述第一平移矩阵及第三图像的实际尺寸，确定所述第三图像的平移量；根据所述平移量、所述第一坐标信息及所述掩膜数据，将所述第三图像与所述原始图像融合为目标图像。

可选地，处理器610，具体用于确定所述第一图像的原始尺寸、所述第二 3D躯体数据的第二平均深度及所述第一3D躯体数据的第一平均深度；根据所述原始尺寸、所述第一平均深度及所述第二平均深度，计算所述第三图像的目标尺寸；根据所述目标尺寸变换所述第二图像，得到所述第三图像。

可选地，所述目标躯体部位的为人脸；

处理器610，具体用于对所述原始图像进行人脸图像检测；在检测出人脸图像的情况下，确定所述人脸图像所在矩形区域的第二坐标信息；根据所述第二坐标信息，从所述原始图像中抠取所述人脸图像，并将所述第二坐标信息确定为所述第一坐标信息。

应理解的是，本申请实施例中，输入单元604可以包括图形处理器 (GraphicsProcessing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607 包括触控面板6071以及其他输入设备6072中的至少一种。触控面板6071，也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器609可以包括易失性存储器或非易失性存储器，或者，存储器x09可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器 (Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM， EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM， DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器 (Direct Rambus RAM，DRRAM)。本申请实施例中的存储器609包括但不限于这些和任意其它适合类型的存储器。

处理器610可包括一个或多个处理单元；可选的，处理器610集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述拍摄方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述拍摄方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述拍摄方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘) 中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种拍摄方法，其特征在于，包括：

在采集到原始图像的情况下，确定所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息；

根据所述第一图像重建第一3D躯体数据；

根据目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据；

对所述第二3D躯体数据进行渲染，得到第二图像及掩膜数据；

根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像。

2.根据权利要求1所述的拍摄方法，其特征在于，所述第一3D躯体数据包括第一点云数据、纹理信息及第一位姿矩阵；

根据所述目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据，包括：

根据所述目标分身特效参数及所述第一位姿矩阵，确定第二位姿矩阵；

根据所述第一点云数据，确定与所述第二位姿矩阵对应的第二点云数据；

将所述纹理信息叠加至所述第二点云数据，得到所述第二3D躯体数据。

3.根据权利要求2所述的拍摄方法，其特征在于，所述分身特效参数包括旋转矩阵偏置量及平移矩阵偏置量；所述第一位姿矩阵包括第一旋转矩阵及第一平移矩阵，所述第二位姿矩阵包括第二旋转矩阵及第二平移矩阵；

根据分身特效参数及所述第一位姿矩阵，确定第二位姿矩阵，包括：

根据所述第一旋转矩阵与所述旋转矩阵偏置量，确定所述第二旋转矩阵；

根据所述第一平移矩阵与所述平移矩阵偏置量，确定所述第二平移矩阵。

4.根据权利要求1所述的拍摄方法，其特征在于，所述第一3D躯体数据包括第一位姿矩阵；所述第一位姿矩阵包括第一平移矩阵，所述分身特效参数包括平移矩阵偏置量；

根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像，包括：

根据所述第一图像、所述第二3D躯体数据与所述第一3D躯体数据，将所述第二图像进行尺寸变换为第三图像；

根据所述平移矩阵偏置量、所述第一平移矩阵及第三图像的实际尺寸，确定所述第三图像的平移量；

根据所述平移量、所述第一坐标信息及所述掩膜数据，将所述第三图像与所述原始图像融合为目标图像。

5.根据权利要求4所述的拍摄方法，其特征在于，根据所述第一图像、所述第二图像对应的第二3D躯体数据与所述第一3D躯体数据，将所述第二图像进行尺寸变换为第三图像，包括：

确定所述第一图像的原始尺寸、所述第二3D躯体数据的第二平均深度及所述第一3D躯体数据的第一平均深度；

根据所述原始尺寸、所述第一平均深度及所述第二平均深度，计算所述第三图像的目标尺寸；

根据所述目标尺寸变换所述第二图像，得到所述第三图像。

6.一种拍摄装置，其特征在于，包括：

获取模块，用于在采集到原始图像的情况下，确定所述原始图像中的目标躯体部位的第一图像、及所述第一图像的第一坐标信息；

重建模块，用于根据所述第一图像重建第一3D躯体数据；

空间变换模块，用于根据目标分身特效参数，对所述第一3D躯体数据进行空间姿态变换处理，得到不同姿态的第二3D躯体数据；

渲染模块，用于对所述第二3D躯体数据进行渲染，得到第二图像及掩膜数据；

融合模块，用于根据所述目标分身特效参数、所述第一坐标信息及所述掩膜数据，将所述第二图像与所述原始图像融合为目标图像。

7.根据权利要求6所述的装置，其特征在于，所述第一3D躯体数据包括第一点云数据、纹理信息及第一位姿矩阵；

所述空间变换模块包括：

第一确定单元，用于根据所述目标分身特效参数及所述第一位姿矩阵，确定个第二位姿矩阵；

第二确定单元，用于根据所述第一点云数据，确定与所述第二位姿矩阵对应的第二点云数据；

叠加单元，用于将所述纹理信息叠加至所述第二点云数据，得到所述第二3D躯体数据。

8.根据权利要求7所述的装置，其特征在于，所述分身特效参数包括旋转矩阵偏置量及平移矩阵偏置量；所述第一位姿矩阵包括第一旋转矩阵及第一平移矩阵，所述第二位姿矩阵包括第二旋转矩阵及第二平移矩阵；

所述第一确定单元，具体用于根据所述第一旋转矩阵与所述旋转矩阵偏置量，确定所述第二旋转矩阵；

根据所述第一平移矩阵与所述平移矩阵偏置量，确定所述第二平移矩阵。

9.根据权利要求6所述的装置，其特征在于，所述第一3D躯体数据包括第一位姿矩阵；所述第一位姿矩阵包括第一平移矩阵，所述分身特效参数包括平移矩阵偏置量；

所述融合模块包括：

尺寸变换单元，用于根据所述第一图像、所述第二3D躯体数据与所述第一3D躯体数据，将所述第二图像进行尺寸变换为第三图像；

第三确定单元，用于根据所述平移矩阵偏置量、所述第一平移矩阵及第三图像的实际尺寸，确定所述第三图像的平移量；

融合单元，用于根据所述平移量、所述第一坐标信息及所述掩膜数据，将所述第三图像与所述原始图像融合为目标图像。

10.根据权利要求9所述的装置，其特征在于，所述尺寸变换单元包括：

确定子单元，用于确定所述第一图像的原始尺寸、所述第二3D躯体数据的第二平均深度及所述第一3D躯体数据的第一平均深度；

计算子单元，用于根据所述原始尺寸、所述第一平均深度及所述第二平均深度，计算所述第三图像的目标尺寸；

变换子单元，用于根据所述目标尺寸变换所述第二图像，得到所述第三图像。

Images