CN112511815B

CN112511815B - 图像或视频生成方法及装置

Info

Publication number: CN112511815B
Application number: CN201911236086.7A
Authority: CN
Inventors: 纪德威
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2022-01-21
Anticipated expiration: 2039-12-05
Also published as: WO2021109764A1; CN112511815A

Abstract

本公开提供一种图像或视频生成方法，获取背景图像，并确定背景图像中的目标位置，获取待使用的3D模型，获取拍摄对象的面部表情和/或肢体动作信息，根据拍摄对象的面部表情和/或肢体动作信息、待使用的3D模型、背景图像和目标位置，生成与拍摄对象对应的目标对象在背景图像中目标位置的图像或视频；本公开实施例可以不受拍摄场景的条件制约，拍摄出理想的图像或视频，能够提升拍摄的娱乐性、趣味性，增强产品的竞争力。本公开还提供一种图像或视频生成装置、计算机设备和计算机可读介质。

Description

图像或视频生成方法及装置

技术领域

本公开涉及增强现实技术领域，具体涉及一种图像或视频生成方法、装置、计算机设备及计算机可读介质。

背景技术

随着短视频的兴起，手机、平板电脑等待拍摄功能的智能设备使用越来越广泛，虽然手机或者平板电脑在拍摄功能和效果上还远远无法达到单反的级别，但是随着软件、硬件技术的不断发展，手机、平板已经取代了卡片相机，成为用户拍摄的主要工具。相机拍摄效果的好坏与娱乐性、趣味性业已成为用户选择的重要因素之一，相关领域的各项技术也业已成为各大厂商竞争的热点之一。随着5G(5th generation mobile networks，第五代移动通信技术)技术的广泛应用的到来，高分辨率的照片及视频拍摄、分享会成为各大运营商重要的业务增长点之一。因此，从运营商到用户，对拍摄的照片及视频的质量、趣味性和娱乐性会越来越重视。

发明内容

本公开针对现有技术中存在的上述不足，提供一种图像或视频生成方法、装置、计算机设备及计算机可读介质。

第一方面，本公开实施例提供一种图像或视频生成方法，所述方法包括：

获取背景图像，并确定所述背景图像中的目标位置；

获取待使用的3D模型；

获取拍摄对象的面部表情和/或肢体动作信息；

根据所述拍摄对象的面部表情和/或肢体动作信息、所述待使用的3D模型、所述背景图像和所述目标位置，生成与所述拍摄对象对应的目标对象在所述背景图像中所述目标位置的图像或视频。

优选的，所述根据所述拍摄对象的面部表情和/或肢体动作信息、所述待使用的3D模型、所述背景图像和所述目标位置，生成与所述拍摄对象在所述背景图像中所述目标位置的图像或视频，包括：

将所述拍摄对象的面部表情和/或肢体动作信息输入所述3D模型，得到与所述面部表情和/或肢体动作对应的第一3D图像；

将所述第一3D图像迁移或映射至所述背景图像的所述目标位置。

优选的，所述将所述拍摄对象的面部表情和/或肢体动作信息输入所述3D模型，得到与所述面部表情和/或肢体动作的第一3D图像，包括：

利用所述3D模型对所述拍摄对象的面部表情和/或肢体动作进行3D处理，得到第二3D图像；

根据所述3D模型的纹理库对所述第二3D图像进行纹理处理，得到所述目标对象的面部表情和/或肢体动作的第一3D图像，其中，所述目标对象为所述纹理库中的人物或动物。

优选的，所述目标对象为所述拍摄对象；所述将所述第一3D图像迁移或映射至所述背景图像的所述目标位置，包括：

将所述目标对象的面部表情和/或肢体动作的第一3D图像迁移至所述背景图像的所述目标位置，其中，所述图像或视频中的面部表情和/或肢体动作与所述拍摄对象的面部表情和/或肢体动作相同。

优选的，所述目标对象为除所述拍摄对象之外的其他人物或动物；所述将所述第一3D图像迁移或映射至所述背景图像的所述目标位置，包括：

根据所述拍摄对象的面部表情和/或肢体动作以及预设的第一面部表情和/或肢体动作与第二面部表情和/或肢体动作之间的映射关系，将所述第一3D图像映射为所述目标对象的第二面部表情和/或肢体动作的第三3D图像；其中，所述第一面部表情和/或肢体动作为所述拍摄对象的面部表情和/或肢体动作，所述第二面部表情和/或肢体动作为用于呈现在图像或视频中的面部表情和/或肢体动作；

将所述第三3D图像与所述背景图像合成，以使所述目标对象位于所述目标位置。

优选的，所述获取待使用的3D模型，包括：

若图像或视频生成装置中预设有3D模型，且所述3D模型不包括预设的纹理库，则获取所述目标对象的照片，根据所述照片提取所述目标对象的特征，并根据所述特征生成纹理库；

若图像或视频生成装置中预设有3D模型，且所述3D模型包括预设的纹理库，则选择所述3D模型作为待使用的3D模型。

进一步的，所述获取待使用的3D模型，还包括：

若图像或视频生成装置中未预设3D模型，且所述图像或视频生成装置具有3D建模功能，则创建3D模型，获取目标对象的照片，根据所述照片提取所述目标对象的特征，并根据所述特征生成纹理库；

若图像或视频生成装置中未预设3D模型，且所述图像或视频生成装置不具有3D建模功能，则从其他设备获取3D模型。

又一方面，本公开实施例还提供一种图像或视频生成方法，包括：

获取待使用的3D模型；

获取拍摄对象的面部表情和/或肢体动作信息；

根据所述拍摄对象的面部表情和/或肢体动作信息以及所述待使用的3D模型，生成与所述拍摄对象对应的目标对象的图像或视频。

另一方面，本公开实施例还提供一种图像或视频生成装置，包括：第一获取模块、确定模块、第二获取模块、第三获取模块和第一生成模块，所述第一获取模块用于，获取背景图像；

所述确定模块用于，确定所述背景图像中的目标位置；

所述第二获取模块用于，获取待使用的3D模型；

所述第三获取模块用于，获取拍摄对象的面部表情和/或肢体动作信息；

所述第一生成模块用于，根据所述拍摄对象的面部表情和/或肢体动作信息、所述待使用的3D模型、所述背景图像和所述目标位置，生成与所述拍摄对象对应的目标对象在所述背景图像中所述目标位置的图像或视频。

又一方面，本公开实施例还提供一种图像或视频生成装置，包括：第四获取模块、第五获取模块和第三生成模块，所述第四获取模块用于，获取待使用的3D模型；

所述第五获取模块用于，获取拍摄对象的面部表情和/或肢体动作信息；

所述第三生成模块用于，根据所述拍摄对象的面部表情和/或肢体动作信息以及所述待使用的3D模型，生成与所述拍摄对象对应的目标对象的图像或视频。

再一方面，本公开实施例还提供一种计算机设备，包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的图像或视频生成方法。

本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述各实施例所提供的图像或视频生成方法。

本公开实施例提供的一种图像或视频生成方法，获取背景图像，并确定背景图像中的目标位置，获取待使用的3D模型，获取拍摄对象的面部表情和/或肢体动作信息，根据拍摄对象的面部表情和/或肢体动作信息、待使用的3D模型和、背景图像和目标位置，生成与拍摄对象对应的目标对象在背景图像中目标位置的图像或视频；本公开实施例可以不受拍摄场景的条件制约，拍摄出理想的图像或视频，能够提升拍摄的娱乐性、趣味性，增强产品的竞争力。

本公开实施例提供一种图像或视频生成方法，获取待使用的3D模型；获取拍摄对象的面部表情和/或肢体动作信息；根据所述拍摄对象的面部表情和/或肢体动作信息以及所述待使用的3D模型，生成与所述拍摄对象对应的目标对象的图像或视频；本公开实施例可以将拍摄对象的二维面部表情和/或肢体动作信息转换为三维信息，提升拍摄的娱乐性、趣味性，增强产品的竞争力。

附图说明

图1为本公开实施例提供的图像或视频生成方法的流程图之一；

图2为本公开实施例提供的生成图像或视频流程示意图之一；

图3为本公开实施例提供的生成图像或视频流程示意图之二；

图4为本公开实施例提供的获取待使用的3D模型的流程图；

图5为本公开实施例提供的图像或视频生成方法的流程图之二；

图6为本公开实施例提供的图像或视频生成装置的结构示意图之一；

图7为本公开实施例提供的图像或视频生成装置的结构示意图之二。

具体实施方式

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

本公开实施例提供一种图像或视频生成方法，所述方法应用于图像或视频生成装置，图像或视频生成装置可以为手机、平板电脑、相机等带有拍摄功能的智能设备。如图1所示，所述图像或视频生成方法包括以下步骤：

步骤11，获取背景图像，并确定所述背景图像中的目标位置。

在本步骤中，图像或视频生成装置通过第一获取模块获取背景图像，第一获取模块可以为后置摄像头。目标位置可以由用户自行选择，例如，用户利用手机的后置摄像头拍摄风景以作为背景图像，在图像预览界面中预览拍摄到的背景图像，通过触控点击图像预览界面选择背景图像中的某个位置作为目标位置。

步骤12，获取待使用的3D模型。

在本步骤中，可以通过以下几种方式获取待使用的3D模型：从图像或视频生成装置内预设的3D模型中选择待使用的3D模型，或者，从其他设备下载待使用的3D模型，或者，由图像或视频生成装置创建待使用的3D模型，获取3D模型的方式后续结合图4再详细说明。

步骤13，获取拍摄对象的面部表情和/或肢体动作信息。

在本步骤中，图像或视频生成装置通过第三获取模块获取拍摄对象的面部表情和/或肢体动作信息，第三获取模块可以为前置摄像头。拍摄对象可以是人物或者动物，肢体动作可以包括各种手势、身体姿态等。

步骤14，根据拍摄对象的面部表情和/或肢体动作信息、待使用的3D模型、背景图像和目标位置，生成与拍摄对象对应的目标对象在背景图像中目标位置的图像或视频。

本步骤生成的图像或视频为增强现实图像或视频。增强现实(Augmented Realty，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。增强现实技术将原本在现实世界一定时间和空间范围内很难体验到的实体信息，如视觉、声音，甚至味道和触觉等，通过模拟仿真后，得到相应的虚拟信息，在显示屏上将该虚拟信息套现在现实世界，以被用户感官感知，从而达到超越现实的感官体验。

增强现实图像或视频中显示的目标对象可以为拍摄对象，也就是说，本步骤中得到的增强现实图像或视频可以是拍摄对象的实时反映，即增强现实图像或视频中为拍摄对象真实的形象。增强现实图像或视频中显示的目标对象也可以为除拍摄对象之外的其他人物或动物，也就是说，本步骤中得到的增强现实图像或视频中的形象可以不是拍摄对象的真实形象，而是预先设定的形象，例如，卡通形象等。

通过步骤11-14可以看出，本公开实施例提供的图像或视频生成方法，获取背景图像，并确定背景图像中的目标位置，获取待使用的3D模型，获取拍摄对象的面部表情和/或肢体动作信息，根据拍摄对象的面部表情和/或肢体动作信息、待使用的3D模型和、背景图像和目标位置，生成与拍摄对象对应的目标对象在背景图像中目标位置的图像或视频；本公开实施例可以不受拍摄场景的条件制约，拍摄出理想的图像或视频，能够提升拍摄的娱乐性、趣味性，增强产品的竞争力。

在一些实施例中，如图2所示，所述根据拍摄对象的面部表情和/或肢体动作、待使用的3D模型、背景图像和目标位置，生成与拍摄对象对应的目标对象在背景图像中目标位置的增强现实图像或视频(即步骤14)，包括以下步骤：

步骤21，将拍摄对象的面部表情和/或肢体动作信息输入3D模型，得到与面部表情和/或肢体动作对应的第一3D图像。

3D模型用于将拍摄对象的面部表情和/或肢体动作的二维信息转化为三维信息，即实现拍摄对象的面部表情和/或肢体动作的3D效果。需要说明的是，第一3D图像中的形象可以是拍摄对象本身的形象，也可以是与该拍摄对象对应的目标对象的形象。第一3D图像中的面部表情和/或肢体动作可以与获取到的拍摄对象的面部表情和/或肢体动作相同，也可以与获取到的拍摄对象的面部表情和/或肢体动作不同。通常，当目标对象为拍摄对象时，第一3D图像中的面部表情和/或肢体动作与获取到的拍摄对象的面部表情和/或肢体动作相同；当目标对象为除拍摄对象之外的其他人物或动物时，第一3D图像中的面部表情和/或肢体动作与获取到的拍摄对象的面部表情和/或肢体动作不同。

步骤22，将第一3D图像迁移或映射至背景图像的目标位置。

通过本步骤，可以得到与拍摄对象对应的目标对象在背景图像中目标位置的增强现实图像或视频。

在一些实施例中，所述将拍摄对象的面部表情和/或肢体动作信息输入3D模型，得到与面部表情和/或肢体动作的第一3D图像(即步骤21)，包括：利用3D模型对拍摄对象的面部表情和/或肢体动作信息进行3D处理，得到第二3D图像；根据3D模型的纹理库对第二3D图像进行纹理处理，得到目标对象的面部表情和/或肢体动作的第一3D图像，其中，目标对象为纹理库中的人物或动物。

通过对第二3D图像进行纹理处理，可以对第二3D图像中的人物或动物的五官、皮肤、服装等添加纹理，达到逼真、生动的效果。通过纹理处理也可以转换形象，即将纹理库中人物或动物的纹理特征赋予拍摄对象，从而将原形象(即拍摄对象的形象)转换为纹理库中人物或动物的形象。需要说明的是，无论是目标对象为拍摄对象的情况，还是目标对象为除拍摄对象之外的其他人物或动物的情况，第二3D图像中仍然是拍摄对象的形象，只不过是拍摄对象的3D效果。增强现实图像或视频中的目标对象的形象是由纹理库中的人物或动物的形象决定的，若纹理库中的人物或动物就是拍摄对象本身，则第一3D图像以及增强现实图像或视频中呈现的目标对象的形象即为拍摄对象的形象；若纹理库中的人物或动物是除拍摄对象之外的其他人物或动物，则第一3D图像以及增强现实图像或视频中出现的形象即为该人物或动物(即拍摄对象)的形象。

在一些实施例中，针对增强现实图像或视频不改变拍摄对象的形象的场景，即目标对象为拍摄对象的场景，所述将第一3D图像迁移或映射至背景图像的目标位置(即步骤22)，包括：将目标对象的面部表情和/或肢体动作的第一3D图像迁移至背景图像的目标位置，其中，图像或视频中的面部表情和/或肢体动作与拍摄对象的面部表情和/或肢体动作相同。也就是说，拍摄对象做出的表情和/或肢体动作可以直观反映在生成的图像或视频中。

在一些实施例中，针对增强现实图像或视频改变拍摄对象的形象和形态(即表情和/或肢体动作)的场景，即目标对象为除拍摄对象之外的其他人物或动物，如图3所示，所述将第一3D图像迁移或映射至背景图像的目标位置(即步骤22)，包括以下步骤：

步骤31，根据拍摄对象的面部表情和/或肢体动作以及预设的第一面部表情和/或肢体动作与第二面部表情和/或肢体动作之间的映射关系，将第一3D图像映射为目标对象的第二面部表情和/或肢体动作的第三3D图像。

第一面部表情和/或肢体动作为拍摄对象的面部表情和/或肢体动作，第二面部表情和/或肢体动作为用于呈现在图像或视频中的面部表情和/或肢体动作。

图像或视频生成装置中预设有第一面部表情和/或肢体动作与第二面部表情和/或肢体动作之间的映射关系，图像或视频生成装置可以将包括拍摄对象的第一面部表情和/或肢体动作的第一3D图像映射为包括目标对象的第二面部表情和/或肢体动作的第三3D图像。

步骤32，将第三3D图像与背景图像合成，以使所述目标对象位于目标位置。

在本步骤中，图像或视频生成装置将将第三3D图像与背景图像合成，从而生成与拍摄对象对应的目标对象在背景图像中目标位置的增强现实图像或视频。

以下结合图4，详细说明获取3D模型的方式。如图4所示，所述获取待使用的3D模型(即步骤12)，包括以下步骤：

步骤41，判断图像或视频生成装置中是否预设有3D模型，若有，则执行步骤42，否则，执行步骤45。

在本步骤中，图像或视频生成装置判断本设备中是否已有3D模型，若有，则进一步判断该3D模型是否包括纹理库(即执行步骤42)；若本设备中没有3D模型，则进一步判断本设备是否具有3D建模功能(即执行步骤45)。

步骤42，判断所述3D模型是否包括预设的纹理库，若不包括纹理库，则执行步骤43，否则执行步骤44。

在本步骤中，若图像或视频生成装置判断出本设备预设的3D模型不包括纹理库，则需要为该3D模型生成纹理库(即执行步骤43)；若图像或视频生成装置判断出本设备预设的3D模型包括纹理库，说明该3D模型可以直接使用，则选择该3D模型作为待使用的3D模型(即执行步骤44)。

步骤43，获取目标对象的照片，根据照片提取目标对象的特征，并根据特征生成纹理库。

在本步骤中，图像或视频生成装置可以提示用户提供用于生成纹理库的照片，例如，提示用户从本地相册中选择照片。需要说明的是，提供的照片为包括目标对象的照片，目标对象可以是拍摄对象，也可以是除拍摄对象之外的其他人物或动物。图像或视频生成装置从用户选择的照片中提取目标对象的特征，并根据提取出的特征生成纹理库。

步骤44，选择所述3D模型作为待使用的3D模型。

步骤45，判断图像或视频生成装置是否具有3D建模功能，若具有，则执行步骤46；否则，执行步骤47。

在本步骤中，图像或视频生成装置判断本设备是否具有3D建模功能，例如，可以通过确定本设备是否具有TOF(Time of flight，飞行时间测距)模块来判断是否具有3D建模功能，具有TOF模块则说明具有3D建模功能，不具有TOF模块则说明不具有3D建模功能。若具有3D建模功能，则由图像或视频生成装置创建3D模型(即执行步骤46)；若不具有3D建模功能，则从其他设备获取3D模型(即执行步骤47)。

步骤46，创建3D模型。

需要说明的是，在创建完3D模型之后，还需进一步生成纹理库，即继续执行步骤43。

步骤47，从其他设备获取3D模型。

在本步骤中，图像或视频生成装置可以从其他设备下载3D模型。若下载的3D模型不包括纹理库，则还需再生成纹理库。

本公开实施例利用增强现实技术，对拍摄对象3D建模或者通过其他第三方的设备获取3D模型，在拍摄时通过前摄前置摄像头来获取用户拍摄对象的表情、动作、手势等，并将拍摄对象的表情、动作、手势等作用于3D模型以生成3D图像，根据用户选择的照片，对3D图像进行纹理处理，实现逼真的效果，并将上述处理后的3D图像放置到利用后置摄像头拍摄的背景图像中，从而实现AR拍照或拍摄视频的功能。本公开实施例，针对拍摄距离、拍摄范围受到制约的场景，比如无法直接到达最佳站位的场景，以及无法完成高难度动作的场景，可以拍出比较理想的AR图像或视频。

本公开另一实施例还提供一种图像或视频生成方法，如图5所示，所述方法包括以下步骤：

步骤51，获取待使用的3D模型。

在本步骤中，可以通过以下几种方式获取待使用的3D模型：从图像或视频生成装置内预设的3D模型中选择待使用的3D模型，或者，从其他设备下载待使用的3D模型，或者，由图像或视频生成装置创建待使用的3D模型，获取3D模型的方式如前所述，在此不再赘述。

步骤52，获取拍摄对象的面部表情和/或肢体动作信息。

步骤53，根据拍摄对象的面部表情和/或肢体动作信息以及待使用的3D模型，生成与拍摄对象对应的目标对象的图像或视频。

通过步骤51-53可以看出，本公开实施例提供的图像或视频生成方法，获取待使用的3D模型；获取拍摄对象的面部表情和/或肢体动作信息；根据所述拍摄对象的面部表情和/或肢体动作信息以及所述待使用的3D模型，生成与所述拍摄对象对应的目标对象的图像或视频；本公开实施例可以将拍摄对象的二维面部表情和/或肢体动作信息转换为三维信息，提升拍摄的娱乐性、趣味性，增强产品的竞争力。

基于相同的技术构思，本公开实施例还提供一种图像或视频生成装置，如图6所示，所述图像或视频生成装置包括：第一获取模块61、确定模块62、第二获取模块63、第三获取模块64和第一生成模块65，第一获取模块61用于，获取背景图像。

确定模块62用于，确定所述背景图像中的目标位置。

第二获取模块63用于，获取待使用的3D模型。

第三获取模块64用于，获取拍摄对象的面部表情和/或肢体动作信息。

第一生成模块65用于，根据所述拍摄对象的面部表情和/或肢体动作信息、所述待使用的3D模型、所述背景图像和所述目标位置，生成与所述拍摄对象对应的目标对象在所述背景图像中所述目标位置的增强现实图像或视频。

在一些实施例中，第一生成模块65用于，将所述拍摄对象的面部表情和/或肢体动作信息输入所述3D模型，得到与所述面部表情和/或肢体动作对应的第一3D图像；将所述第一3D图像迁移或映射至所述背景图像的所述目标位置。

在一些实施例中，第一生成模块65用于，利用所述3D模型对所述拍摄对象的面部表情和/或肢体动作信息进行3D处理，得到第二3D图像；根据所述3D模型的纹理库对所述第二3D图像进行纹理处理，得到所述目标对象的面部表情和/或肢体动作的第一3D图像，其中，所述目标对象为所述纹理库中的人物或动物。

在一些实施例中，所述目标对象为所述拍摄对象；第一生成模块65用于，将所述目标对象的面部表情和/或肢体动作的第一3D图像迁移至所述背景图像的所述目标位置，其中，所述增强现实图像或视频中的面部表情和/或肢体动作与所述拍摄对象的面部表情和/或肢体动作相同。

在一些实施例中，所述目标对象为除所述拍摄对象之外的其他人物或动物；第一生成模块65用于，根据所述拍摄对象的面部表情和/或肢体动作以及预设的第一面部表情和/或肢体动作与第二面部表情和/或肢体动作之间的映射关系，将所述第一3D图像映射为所述目标对象的第二面部表情和/或肢体动作的第三3D图像；其中，所述第一面部表情和/或肢体动作为所述拍摄对象的面部表情和/或肢体动作，所述第二面部表情和/或肢体动作为用于呈现在增强现实图像或视频中的面部表情和/或肢体动作；将所述第三3D图像与所述背景图像合成，以使所述目标对象位于所述目标位置。

在一些实施例中，第二获取模块63用于，若图像或视频生成装置中预设有3D模型，且所述3D模型包括预设的纹理库，则选择所述3D模型作为待使用的3D模型。

所述图像或视频生成装置还包括第二生成模块，所述第二生成模块用于，若图像或视频生成装置中预设有3D模型，且所述3D模型不包括预设的纹理库，则获取所述目标对象的照片，根据所述照片提取所述目标对象的特征，并根据所述特征生成纹理库。

在一些实施例中，第二获取模块63还用于，若图像或视频生成装置中未预设3D模型，且所述图像或视频生成装置具有3D建模功能，则创建3D模型；若图像或视频生成装置中未预设3D模型，且所述图像或视频生成装置不具有3D建模功能，则从其他设备获取3D模型。

基于相同的技术构思，本公开实施例还提供一种图像或视频生成装置，如图7所示，所述图像或视频生成装置包括：第四获取模块71、第五获取模块72和第三生成模块73，第四获取模块71用于，获取待使用的3D模型。

第五获取模块72用于，获取拍摄对象的面部表情和/或肢体动作信息。

第三生成模块73用于，根据所述拍摄对象的面部表情和/或肢体动作信息以及所述待使用的3D模型，生成与所述拍摄对象对应的目标对象的图像或视频。

本公开实施例还提供了一种计算机设备，该计算机设备包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的图像或视频生成方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本发明的范围的情况下，可进行各种形式和细节上的改变。

Claims

1.一种图像或视频生成方法，包括：

获取背景图像，并确定所述背景图像中的目标位置；

获取待使用的3D模型；

获取拍摄对象的面部表情和/或肢体动作信息；

根据所述拍摄对象的面部表情和/或肢体动作信息、所述待使用的3D模型、所述背景图像和所述目标位置，生成与所述拍摄对象对应的目标对象在所述背景图像中所述目标位置的图像或视频；

所述根据所述拍摄对象的面部表情和/或肢体动作信息、所述待使用的3D模型、所述背景图像和所述目标位置，生成与所述拍摄对象在所述背景图像中所述目标位置的图像或视频，包括：

将所述拍摄对象的面部表情和/或肢体动作信息输入所述3D模型，得到与所述面部表情和/或肢体动作对应的第一3D图像；其中，所述目标对象为除所述拍摄对象之外的其他人物或动物，所述第一3D图像中的面部表情和/或肢体动作与所述拍摄对象的面部表情和/或肢体动作不同；

2.如权利要求1所述的方法，其中，所述将所述拍摄对象的面部表情和/或肢体动作信息输入所述3D模型，得到与所述面部表情和/或肢体动作的第一3D图像，包括：

利用所述3D模型对所述拍摄对象的面部表情和/或肢体动作信息进行3D处理，得到第二3D图像；

3.如权利要求2所述的方法，其中，所述目标对象为所述拍摄对象；所述将所述第一3D图像迁移或映射至所述背景图像的所述目标位置，包括：

4.如权利要求2所述的方法，其中，所述目标对象为除所述拍摄对象之外的其他人物或动物；所述将所述第一3D图像迁移或映射至所述背景图像的所述目标位置，包括：

5.如权利要求2所述的方法，其中，所述获取待使用的3D模型，包括：

6.如权利要求5所述的方法，其中，所述获取待使用的3D模型，还包括：

7.一种图像或视频生成方法，包括：

获取待使用的3D模型；

获取拍摄对象的面部表情和/或肢体动作信息；

根据所述拍摄对象的面部表情和/或肢体动作信息以及所述待使用的3D模型，生成与所述拍摄对象对应的目标对象的图像或视频；

所述根据所述拍摄对象的面部表情和/或肢体动作信息以及所述待使用的3D模型，生成与所述拍摄对象对应的目标对象的图像或视频，包括：

将所述拍摄对象的面部表情和/或肢体动作信息输入所述3D模型，得到与所述面部表情和/或肢体动作对应的第一3D图像；其中，所述目标对象为除所述拍摄对象之外的其他人物或动物，所述第一3D图像中的面部表情和/或肢体动作与所述拍摄对象的面部表情和/或肢体动作不同。

8.一种图像或视频生成装置，包括：第一获取模块、确定模块、第二获取模块、第三获取模块和第一生成模块，所述第一获取模块用于，获取背景图像；

所述确定模块用于，确定所述背景图像中的目标位置；

所述第二获取模块用于，获取待使用的3D模型；

所述第一生成模块用于，根据所述拍摄对象的面部表情和/或肢体动作信息、所述待使用的3D模型、所述背景图像和所述目标位置，生成与所述拍摄对象对应的目标对象在所述背景图像中所述目标位置的图像或视频；

所述第一生成模块用于，将所述拍摄对象的面部表情和/或肢体动作信息输入所述3D模型，得到与所述面部表情和/或肢体动作对应的第一3D图像；其中，所述目标对象为除所述拍摄对象之外的其他人物或动物，所述第一3D图像中的面部表情和/或肢体动作与所述拍摄对象的面部表情和/或肢体动作不同；将所述第一3D图像迁移或映射至所述背景图像的所述目标位置。

9.一种图像或视频生成装置，包括：第四获取模块、第五获取模块和第三生成模块，所述第四获取模块用于，获取待使用的3D模型；

所述第三生成模块用于，根据所述拍摄对象的面部表情和/或肢体动作信息以及所述待使用的3D模型，生成与所述拍摄对象对应的目标对象的图像或视频；

所述第三生成模块用于，将所述拍摄对象的面部表情和/或肢体动作信息输入所述3D模型，得到与所述面部表情和/或肢体动作对应的第一3D图像；其中，所述目标对象为除所述拍摄对象之外的其他人物或动物，所述第一3D图像中的面部表情和/或肢体动作与所述拍摄对象的面部表情和/或肢体动作不同。

10.一种计算机设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7任一项所述的图像或视频生成方法。

11.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如权利要求1-7任一项所述的图像或视频生成方法。