CN116363331A - 图像生成方法、装置、设备以及存储介质 - Google Patents

Abstract

本公开提供了一种图像生成方法、装置、设备、存储介质以及程序产品，图像处理、人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。具体实现方案为：根据预设场景信息的场景面片，确定对齐位姿，场景面片是按照第一图像生成模式处理预设场景信息和预设相机位姿得到的，对齐位姿表征场景面片从第一图像生成模式转换至第二图像生成模式的调整位姿；按照第一图像生成模式处理对齐位姿和预设场景信息，得到与第二图像生成模式相匹配的场景图像；根据场景图像和虚拟形象图像，生成目标图像，虚拟形象图像是按照第二图像生成模式处理预设虚拟形象信息得到的。

Description

图像生成方法、装置、设备以及存储介质

技术领域

本公开涉及图像处理、人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景，具体涉及一种图像生成方法、装置、设备、存储介质以及程序产品。

背景技术

随着人工智能技术的发展，可以利用人工智能技术进行数据处理，例如可以将相关的图像处理技术应用于增强现实、虚拟现实等。

发明内容

本公开提供了一种图像生成方法、装置、设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种图像生成方法，包括：根据预设场景信息的场景面片，确定对齐位姿，场景面片是按照第一图像生成模式处理预设场景信息和预设相机位姿得到的，对齐位姿表征场景面片从第一图像生成模式转换至第二图像生成模式的调整位姿；按照第一图像生成模式处理对齐位姿和预设场景信息，得到与第二图像生成模式相匹配的场景图像；根据场景图像和虚拟形象图像，生成目标图像，虚拟形象图像是按照第二图像生成模式处理预设虚拟形象信息和预设相机位姿得到的。

根据本公开的另一方面，提供了一种图像生成装置，包括：对齐位姿确定模块，用于根据预设场景信息的场景面片，确定对齐位姿，其中，场景面片是按照第一图像生成模式处理预设场景信息和预设相机位姿得到的，对齐位姿表征了场景面片从第一图像生成模式转换至第二图像生成模式的调整位姿；场景图像第一确定模块，用于按照第一图像生成模式处理对齐位姿和预设场景信息，得到与第二图像生成模式相匹配的场景图像；以及目标图像生成模块，用于根据场景图像和虚拟形象图像，生成目标图像，其中，虚拟形象图像是按照第二图像生成模式处理预设虚拟形象信息和预设相机位姿得到的。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开实施例的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序存储于可读存储介质和电子设备其中至少之一上，计算机程序存储于可读存储介质和电子设备其中至少之一上，计算机程序在被处理器执行时实现本公开实施例的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的图像生成方法和装置的系统架构图；

图2示意性示出了根据本公开实施例的图像生成方法的流程图；

图3示意性示出了根据本公开另一实施例的图像生成方法的示意图；

图4示意性示出了根据本公开实施例的图像生成装置的框图；以及

图5示意性示出了可以实现本公开实施例的图像生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

随着人工智能技术的发展，可以利用人工智能技术进行数据处理，例如可以将相关的图像处理技术应用于增强现实、虚拟现实等。

以虚拟形象场景为例，为了提高虚拟形象所在位置的真实性，提高用户的沉浸式感受，需要将虚拟形象“放置于”真实场景中，生成的图像或者视频显示真实场景背景和虚拟形象。

一些实施方式中，通过多视角合成的方法估计得到真实场景图像的面片，并将该面片与虚拟形象通过渲染引擎渲染，可以生成显示真实场景背景和虚拟形象的图像或者视频。这种方式的图像生成效率较低，且得到的图像质量较低。图像生成效率较低体现在图像生成的速度较慢，比较耗时，无法适应于实时性较高的场景。图像质量较低体现在多视角合成得到的真实场景图像的面片精度较低，且容易出现部分场景缺失的情况。

图1示意性示出了根据本公开一实施例的图像生成方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括客户端101、102、103，网络104、第一服务器105和第二服务器106。网络104用以在客户端101、102、103、第一服务器105以及第二服务器106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用客户端101、102、103通过网络104与第一服务器105、第二服务器106交互，以接收或发送消息等。客户端101、102、103上可以安装有各种通讯客户端应用，例如支持增强现实的相关应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

客户端101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。本公开实施例的客户端101、102、103例如可以运行应用程序。

第一服务器105、第二服务器106可以是提供各种服务的服务器，例如对用户利用客户端101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给客户端。另外，第一服务器105、第二服务器106还可以是云服务器，即第一服务器105、第二服务器106具有云计算功能。

需要说明的是，本公开实施例所提供的图像生成方法可以由第一服务器105执行。相应地，本公开实施例所提供的图像生成装置可以设置于第一服务器105中。本公开实施例所提供的图像生成方法也可以由不同于第一服务器105且能够与客户端101、102、103、第二服务器106和/或第一服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像生成装置也可以设置于不同于第一服务器105且能够与客户端101、102、103、第二服务器106和/或第一服务器105通信的服务器或服务器集群中。

在一种示例中，第一服务器105可以通过网络104获取来自第二服务器106的预设相机位姿和预设场景信息，并生成目标图像，目标图像可以通过网络104发送至客户端101、102、103。第一服务器105例如还可以通过网络104获取来自第二服务器106的相对位置调整指令。

在另一种示例中，第一服务器105可以通过网络104获取来自客户端101、102、103的预设相机位姿和预设场景信息，并生成目标图像，目标图像可以通过网络104发送至客户端101、102、103。第一服务器105例如还可以通过网络104获取来自客户端101、102、103的相对位置调整指令。

在另一种示例中，本公开实施例的系统架构还可以包括第三服务器，第三服务器可以用于训练即时神经图形基元网络。

在另一种示例中，本公开实施例的系统架构还可以包括第四服务器，第四服务器可以用于生成场景图像样本、与场景图像样本对应的位姿。

需要说明的是，第一服务器、第二服务器、第三服务器、第四服务器可以分为是不同的服务器。第一服务器、第二服务器、第三服务器、第四服务器中的任意多个还可以是相同的服务器。

应该理解，图1中的客户端、网络、第一服务器和第二服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、网络、第一服务器和第二服务器。

应注意，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

本公开实施例提供了一种图像生成方法，下面结合图1的系统架构，参考图2～图3来描述根据本公开示例性实施方式的图像生成方法。本公开实施例的图像生成方法例如可以由图1所示的第一服务器105来执行。

图2示意性示出了根据本公开一实施例的图像生成方法的流程图。

如图2所示，本公开实施例的图像生成方法200例如可以包括操作S210～操作S230。

在操作S210，根据预设场景信息的场景面片，确定对齐位姿。

场景面片是按照第一图像生成模式处理预设场景信息和预设相机位姿得到的。

对齐位姿表征了场景面片从第一图像生成模式转换至第二图像生成模式的调整位姿。

预设相机位姿是预先设定的相机位姿，预设场景信息是预设设定的表征场景的信息数据。

面片(即Mesh)可以理解为计算机图形学中用于对各种不规则物体建模的一种数据结构，通常以是多边形网格的形式表征，面片例如可以包括三角面片，三角面片是被分割的最小单位，因此三角面片表示比较简单、灵活且拓扑描述方便，可以适应于各种复杂图像，应用更加广泛。

按照第一图像生成模式处理预设场景信息和预设相机位姿可以得到对应预设相机位姿状态的预设场景的图像fig1。场景面片可以理解为可以用于重建图像fig1的面片。

在操作S220，按照第一图像生成模式处理对齐位姿和预设场景信息，得到与第二图像生成模式的坐标系相匹配的场景图像。

根据本公开实施例的图像生成方法，第一图像生成模式和第二图像生成模式这两种不同的图像生成模式分别得到场景图像和虚拟形象图像，通过对齐位姿，可以适应第一图像生成模式确定向第二图像生成模式匹配的调整转换，按照第一图像生成模式处理对齐位姿和预设场景信息，可以得到与第二图像生成模式相匹配的场景图像。

在操作S230，根据场景图像和虚拟形象图像，生成目标图像。

虚拟形象图像是按照第二图像生成模式处理预设虚拟形象信息和预设相机位姿得到的。

预设虚拟形象信息是预设设定的表征虚拟形象的信息数据。

根据本公开实施例的图像生成方法，由于虚拟形象图像是按照第二图像生成模式处理预设虚拟信息和预设相机位姿得到的，因此，虚拟形象图像是基于第二图像生成模式得到的，经过上述的按照第一图像生成模式处理对齐位姿和预设场景信息得到的场景图像也是匹配于第二图像生成模式的，并且虚拟形象图像与场景图像均是基于相同的预设相机位姿得到的，由此，根据场景图像和虚拟形象生成的目标图像不会出现场景与虚拟形象的显示错误的情况，根据场景图像和虚拟形象生成的目标图像还可以显示虚拟形象和场景，可以应用于例如虚拟主播等场景下，向用户提供更加真实的图像。

另外，根据本公开实施例的图像生成方法，支持通过第一图像生成模式和第二图像生成模式的两种生成模式进行图像生成。第一图像生成模式与第二图像生成模式不同的情况下，可以结合两种不同的图像生成模式的优势，例如可以更加高效地生成目标图像，生成的目标图像例如具有更高的图像质量。

图3示意性示出了根据本公开另一实施例的图像生成方法的示意图。

如图3所示，根据本公开另一实施例的图像生成方法，例如可以利用以下实施例实现操作S310的根据预设场景信息301的场景面片303，确定对齐位姿304的具体示例。

根据预设相机位姿302相对于第一图像生成模式M1和相对于第二图像生成模式M2两者之间的位姿差异，确定相机对齐位姿Pose1。根据场景面片303，将场景面片303相对于第一图像生成模式M1和相对于第二图像生成模式M2两者之间的位姿差异确定为场景对齐位姿Pose2。根据第一图像生成模式M1的坐标系与第二图像生成模式M1的坐标系之间的坐标系差异，确定坐标系对齐位姿Pose3。根据相机对齐位姿Pose1、场景对齐位姿Pose2以及坐标系对齐位姿Pose3，确定对齐位姿304。

根据本公开实施例的图像生成方法，由于第一图像生成模式与第二图像生成模式的不同的图像生成模式，第一图像生成模式的坐标系与第二图像生成模式的世界坐标系、相机坐标系不同，目标图像是根据场景图像和虚拟形象图像得到的，场景图像与场景面片相关，因此，通过相机对齐位姿、场景对齐位姿和坐标系对齐位姿三者得到的对齐位姿可以适应于基于第一图像生成模式生成与第二图像生成模式匹配的场景图像。

在图3的示例中，场景面片303是按照第一图像生成模式M1处理预设场景信息301和预设相机位姿302得到的。图3还示意性示出了操作S320的按照第一图像生成模式M1处理对齐位姿304和预设场景信息，得到与第二图像生成模式M2的坐标系相匹配的场景图像305的具体示例。图3还示意性示出了操作S330的根据场景图像305和虚拟形象图像307，生成目标图像308的具体示例。虚拟形象图像307是按照第二图像生成模式M2处理预设虚拟形象信息306和预设相机位姿302得到的。

需要说明的是，上述相机对齐位姿和坐标系对齐位姿均属于矫正位姿，该矫正位姿是基于第一图像生成模式和第二图像生成模式确定的，该矫正位姿体现了第一图像生成模式和第二图像生成模式之间的差异，例如体现了两个图像生成模式的坐标系之间的差异，又例如体现了两个图像生成模式下的预设相机位姿之间的位姿差异。

需要说明的是，矫正位姿可以包括相机对齐位姿和坐标系对齐位姿之一，即可以忽略相机对齐位姿或者坐标系对齐位姿对上述对齐位姿造成的影响。当矫正位姿同时包括相机对齐位姿和坐标系对齐位姿时，可以提高对齐位姿的准确性。

如图3所示，根据本公开又一实施例的图像生成方法，预设相机位姿例如包括由相机位姿序列表征的运镜位姿。

在图3的示例中，例如可以利用以下实施例实现操作S310的根据预设场景信息的场景面片，确定对齐位姿的具体示例：根据运镜位姿相对于第一图像生成模式M1和相对于第二图像生成模式M2两者之间的位姿差异，确定运镜对齐位姿Pose4。运镜对齐位姿Pose4用于确定对齐位姿304。

示例性地，例如可以根据相机对齐位姿Pose1、场景对齐位姿Pose2、坐标系对齐位姿Pose3运镜对齐位姿Pose4，确定对齐位姿304。

示例性地，相机对齐位姿Pose1、场景对齐位姿Pose2、坐标系对齐位姿Pose3运镜对齐位姿Pose4例如均可以利用矩阵表征，例如可以将相机对齐位姿Pose1、场景对齐位姿Pose2、坐标系对齐位姿Pose3运镜对齐位姿Pose4对应的矩阵相乘得到对齐位姿304。

根据本公开实施例的图像生成方法，针对预设相机位姿包括由相机位姿序列表征的运镜位姿的情况下，由于运镜位姿涉及多个具有序列顺序的相机位姿，因此，通过运镜位姿相对于第一图像生成模式和相对于第二图像生成模式两者之间的位姿差异确定运镜对齐位姿，运镜对齐位姿可以表征由运镜造成的第一图像生成模式向第二图像生成模式转换的调整位姿，根据运镜对齐位姿得到的对齐位姿更准确，后续得到的场景图像更准确地匹配于第二图像生成模式，后续基于场景图像和虚拟形象图像得到的目标图像也更准确，不会出现显示错误的问题。

还需要说明的是，在预设相机位姿例如包括由相机位姿序列表征的运镜位姿的情况下，根据相机位姿序列中的每一个相机位姿可以生成一个目标图像，可以根据相机位姿序列的顺序连接每一个目标图像，得到与运镜位姿对应的目标视频。

根据本公开又一实施例的图像生成方法例如还可以包括：按照第一图像生成模式处理预设相机位姿和预设场景信息，得到对应预设相机位姿的场景图像。根据对应预设相机位姿的场景图像，确定场景面片。

示例性地，例如可以利用Marching Cube(行进立方体法，简称为MC)实现根据预设相机位姿的场景图像，确定场景面片的具体示例。

根据本公开实施例的图像生成方法，由于涉及第一图像生成模式和第二图像生成模式的两者不同的图像生成模式，第一图像生成模式可以根据位姿和图像，生成具有该位姿的图像，为了使得基于第一图像生成模式生成的场景图像可以匹配与第二图像生成模式，本公开实施例的图像生成方法按照第一图像生成模式处理预设相机位姿和预设场景信息，得到对应预设相机位姿的场景图像，并根据对应预设相机位姿的场景图像，确定场景面片，该场景面片对应第一图像生成模式下的预设相机位姿，将该场景面片作为确定对齐位姿的基准，后续可以得到匹配于第二图像生成模式的场景图像。

示例性地，根据本公开又一实施例的图像生成方法例如还可以包括：响应于调整指令，对场景面片与虚拟形象之间的相对位置、比例中的至少一个进行调整。

一些情况下，场景面片与虚拟形象之间的比例、相对位置不满足要求，根据本公开实施例的图像生成方法，可以响应于调整指令，对场景面片与虚拟形象之间的相对位置、比例中的至少一个进行调整，使得场景面片与虚拟形象之间的比例合理，相对位置满足要求，灵活性更高。

示例性地，根据本公开又一实施例的图像生成方法，第一图像生成模式可以是利用即时神经图形基元网络实现的，第二图像生成模式可以是利用渲染引擎实现的。

即时神经图形基元网络即Instant Neural Graphics Primitives with aMultiresolution Hash Encoding，简称为Instant-ngp，即时神经图形基元网络用于解决神经辐射场在对全连接神经网络进行参数化时的效率问题。即时神经图形基元网络可以使用一个较小规模的网络来实现神经辐射场同时不会产生精度的损失。该较小规模的网络由特征向量的多分辨率哈希表实现增强，基于随机梯度下降执行优化。即时神经图形基元网络可以将即时神经图形基元网络的训练以小时计的时间开销提升到秒级。神经辐射场即Neural Radiance Fields，简称为NeRF，是一种利用多视角图像重建三维场景的技术。神经辐射场使用一组多视角图像，通过优化一个潜在连续的体素场景方程来得到一个完整的三维场景。具体地，基于NeRF的渲染首先根据场景不同视角的图像学习到场景表征，再由表征生成任意指定角度的图像，该神经辐射场支持视频合成。

渲染引擎可以用于将三维的光能传递处理转换为一个二维图像的过程。渲染引擎通过对三维模型进行几何变换、投影变换、透视变换和窗口剪裁，再根据获取的材质与光影信息，生成图像。

示例性地，虚拟形象信息例如可以包括可用于表征三维虚拟形象的混合系数(混合系数即BlendShape)。例如可以将混合系数表征的虚拟形象信息导入渲染引擎，由渲染引擎生成该三维虚拟形象对应的二维的虚拟形象图像。

根据本公开实施例的图像生成方法，通过即时神经图形基元网络实现第一图像生成模式可以快速、高效地生成场景图像，适应于例如虚拟主播等实时性要求高的场景，并且即时神经图形基元网络生成的场景图像的分辨率更高，图像质量更优。针对虚拟形象信息，可以通过渲染引擎直接渲染得到虚拟形象图像，基于虚拟形象图像和可快速生成的高质量的场景图像，得到的目标图像也具有更高的图像质量，可以应用于实时性要求更高的场景，即图像生成效率更高。

示例性地，根据本公开又一实施例的图像生成方法，即时神经图形基元网络可以是利用场景图像样本和与场景图像样本对应的位姿训练得到的。

示例性地，场景图像样本可以理解为具有标签的场景图像，该场景图像例如可以是对初始场景图像进行预处理得到的，预处理例如可以包括：通过语义分割的方式去除初始场景图像中的移动目标、估计初始场景图像的位姿，估计得到的初始场景图像的位姿可以作为对应的场景图像样本的位姿。

综上，根据本公开实施例的图像生成方法，可以实现虚拟形象与场景之间相对位置稳定且运镜稳定无漂移，还可以实现虚拟形象与场景在目标图像中以高质量图像呈现，例如可以是高清分辨率。由此，根据本公开实施例的图像生成方法可以应用于例如虚拟主播等对于图像质量、图像生成效率以及实时性均具有更高要求的场景下。

图4示意性示出了根据本公开一实施例的图像生成装置的框图。

如图4所示，本公开实施例的图像生成装置400例如包括对齐位姿确定模块410、场景图像第一确定模块420、目标图像生成模块430。

对齐位姿确定模块410，用于根据预设场景信息的场景面片，确定对齐位姿。

场景面片是按照第一图像生成模式处理预设场景信息和预设相机位姿得到的，对齐位姿表征了场景面片从第一图像生成模式转换至第二图像生成模式的调整位姿；

场景图像第一确定模块420，用于按照第一图像生成模式处理对齐位姿和预设场景信息，得到与第二图像生成模式相匹配的场景图像。

目标图像生成模块430，用于根据场景图像和虚拟形象图像，生成目标图像。

虚拟形象图像是按照第二图像生成模式处理预设虚拟形象信息和预设相机位姿得到的。

示例性地，对齐位姿确定模块包括：场景对齐位姿确定子模块，用于根据场景面片，将场景面片相对于第一图像生成模式和相对于第二图像生成模式两者之间的位姿差异确定为场景对齐位姿；矫正位姿确定子模块，用于根据第一图像生成模式和第二图像生成模式，确定矫正位姿；以及对齐位姿确定子模块，用于根据场景对齐位姿和矫正位姿，确定对齐位姿。

示例性地，矫正位姿确定子模块包括以下中的至少一个：相机对齐位姿确定单元，用于根据预设相机位姿相对于第一图像生成模式和相对于第二图像生成模式两者之间的位姿差异，确定相机对齐位姿；以及坐标系对齐位姿确定单元，用于根据第一图像生成模式的坐标系与第二图像生成模式的坐标系之间的坐标系差异，确定坐标系对齐位姿。

示例性地，预设相机位姿包括由相机位姿序列表征的运镜位姿；对齐位姿确定模块还包括：运镜对齐位姿确定子模块，用于根据运镜位姿相对于第一图像生成模式和相对于第二图像生成模式两者之间的位姿差异，确定运镜对齐位姿，其中，运镜对齐位姿用于确定对齐位姿。

示例性地，矫正位姿包括相机对齐位姿和坐标系对齐位姿；对齐位姿确定模块包括：计算子模块，用于将相机对齐位姿对应的矩阵、场景对齐位姿对应的矩阵、坐标系对齐位姿对应的矩阵和运镜对齐位姿对应的矩阵相乘，得到对齐位姿。

示例性地，根据本公开实施例的图像生成装置还包括：场景图像第二确定模块，用于按照第一图像生成模式处理预设相机位姿和预设场景信息，得到对应预设相机位姿的场景图像。场景面片确定模块，用于根据对应预设相机位姿的场景图像，确定场景面片。

示例性地，根据本公开实施例的图像生成装置还包括：调整模块，用于响应于调整指令，对场景面片与虚拟形象之间的相对位置、比例中的至少一个进行调整。

示例性地，第一图像生成模式是利用即时神经图形基元网络实现的，第二图像生成模式是利用渲染引擎实现的。

示例性地，即时神经图形基元网络利用场景图像样本和与场景图像样本对应的位姿训练得到的。

示例性地，预设相机位姿包括由相机位姿序列表征的运镜位姿，相机位姿序列中的每个相机位姿对应一个目标图像；装置还包括：视频确定模块，用于根据相机位姿序列的顺序，以及与每个相机位姿相对应的目标图像，确定目标视频。

应该理解，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，所解决的技术问题和所达到的技术效果也对应相同或类似，本公开在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如图像生成方法。例如，在一些实施例中，图像生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM503并由计算单元501执行时，可以执行上文描述的图像生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种图像生成方法，包括：

根据预设场景信息的场景面片，确定对齐位姿，其中，所述场景面片是按照第一图像生成模式处理所述预设场景信息和预设相机位姿得到的，所述对齐位姿表征了所述场景面片从所述第一图像生成模式转换至第二图像生成模式的调整位姿；

按照所述第一图像生成模式处理所述对齐位姿和所述预设场景信息，得到与所述第二图像生成模式相匹配的场景图像；以及

根据所述场景图像和虚拟形象图像，生成目标图像，其中，所述虚拟形象图像是按照所述第二图像生成模式处理预设虚拟形象信息和所述预设相机位姿得到的。

2.根据权利要求1所述的方法，其中，所述根据预设场景信息的场景面片，确定对齐位姿包括：

根据所述场景面片，将所述场景面片相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异确定为场景对齐位姿；

根据所述第一图像生成模式和所述第二图像生成模式，确定矫正位姿；以及

根据所述场景对齐位姿和所述矫正位姿，确定所述对齐位姿。

3.根据权利要求2所述的方法，其中，所述根据所述第一图像生成模式和所述第二图像生成模式，确定矫正位姿包括以下中的至少一个：

根据所述预设相机位姿相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异，确定所述矫正位姿中的相机对齐位姿；以及

根据所述第一图像生成模式的坐标系与所述第二图像生成模式的坐标系之间的坐标系差异，确定所述矫正位姿中的坐标系对齐位姿。

4.根据权利要求2所述的方法，其中，所述预设相机位姿包括由相机位姿序列表征的运镜位姿；所述根据预设场景信息的场景面片，确定对齐位姿还包括：

根据所述运镜位姿相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异，确定运镜对齐位姿，其中，所述运镜对齐位姿用于确定所述对齐位姿。

5.根据权利要求4所述的方法，其中，所述矫正位姿包括相机对齐位姿和坐标系对齐位姿；所述根据预设场景信息的场景面片，确定对齐位姿包括：

将所述相机对齐位姿对应的矩阵、所述场景对齐位姿对应的矩阵、所述坐标系对齐位姿对应的矩阵和所述运镜对齐位姿对应的矩阵相乘，得到所述对齐位姿。

6.根据权利要求1-5中任一项所述的方法，还包括：

按照所述第一图像生成模式处理所述预设相机位姿和所述预设场景信息，得到对应所述预设相机位姿的场景图像；以及

根据对应所述预设相机位姿的场景图像，确定所述场景面片。

7.根据权利要求1-5中任一项所述的方法，还包括：

响应于调整指令，对所述场景面片与虚拟形象之间的相对位置、比例中的至少一个进行调整。

8.根据权利要求1-5中任一项所述的方法，其中，所述第一图像生成模式是利用即时神经图形基元网络实现的，所述第二图像生成模式是利用渲染引擎实现的。

9.根据权利要求8所述的方法，其中，所述即时神经图形基元网络利用场景图像样本和与所述场景图像样本对应的位姿训练得到的。

10.根据权利要求1所述的方法，其中，所述预设相机位姿包括由相机位姿序列表征的运镜位姿，所述相机位姿序列中的每个相机位姿对应一个目标图像；所述方法还包括：

根据所述相机位姿序列的顺序，以及与所述每个相机位姿相对应的目标图像，确定目标视频。

11.一种图像生成装置，包括：

对齐位姿确定模块，用于根据预设场景信息的场景面片，确定对齐位姿，其中，所述场景面片是按照第一图像生成模式处理所述预设场景信息和预设相机位姿得到的，所述对齐位姿表征了所述场景面片从所述第一图像生成模式转换至第二图像生成模式的调整位姿；

场景图像第一确定模块，用于按照所述第一图像生成模式处理所述对齐位姿和所述预设场景信息，得到与所述第二图像生成模式相匹配的场景图像；以及

目标图像生成模块，用于根据所述场景图像和虚拟形象图像，生成目标图像，其中，所述虚拟形象图像是按照所述第二图像生成模式处理预设虚拟形象信息和所述预设相机位姿得到的。

12.根据权利要求11所述的装置，其中，所述对齐位姿确定模块包括：

场景对齐位姿确定子模块，用于根据所述场景面片，将所述场景面片相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异确定为场景对齐位姿；

矫正位姿确定子模块，用于根据所述第一图像生成模式和所述第二图像生成模式，确定矫正位姿；以及

对齐位姿确定子模块，用于根据所述场景对齐位姿和所述矫正位姿，确定所述对齐位姿。

13.根据权利要求12所述的装置，其中，所述矫正位姿确定子模块包括以下中的至少一个：

相机对齐位姿确定单元，用于根据所述预设相机位姿相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异，确定相机对齐位姿；以及

坐标系对齐位姿确定单元，用于根据所述第一图像生成模式的坐标系与所述第二图像生成模式的坐标系之间的坐标系差异，确定坐标系对齐位姿。

14.根据权利要求12所述的装置，其中，所述预设相机位姿包括由相机位姿序列表征的运镜位姿；所述对齐位姿确定模块还包括：

运镜对齐位姿确定子模块，用于根据所述运镜位姿相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异，确定运镜对齐位姿，其中，所述运镜对齐位姿用于确定所述对齐位姿。

15.根据权利要求14所述的装置，其中，所述矫正位姿包括相机对齐位姿和坐标系对齐位姿；所述对齐位姿确定模块包括：

计算子模块，用于将所述相机对齐位姿对应的矩阵、所述场景对齐位姿对应的矩阵、所述坐标系对齐位姿对应的矩阵和所述运镜对齐位姿对应的矩阵相乘，得到所述对齐位姿。

16.根据权利要求11-15中任一项所述的装置，还包括：

场景图像第二确定模块，用于按照所述第一图像生成模式处理所述预设相机位姿和所述预设场景信息，得到对应所述预设相机位姿的场景图像；以及

场景面片确定模块，用于根据对应所述预设相机位姿的场景图像，确定所述场景面片。

17.根据权利要求11-15中任一项所述的装置，还包括：

调整模块，用于响应于调整指令，对所述场景面片与虚拟形象之间的相对位置、比例中的至少一个进行调整。

18.根据权利要求11-15中任一项所述的装置，其中，所述第一图像生成模式是利用即时神经图形基元网络实现的，所述第二图像生成模式是利用渲染引擎实现的。

19.根据权利要求18所述的装置，其中，所述即时神经图形基元网络利用场景图像样本和与所述场景图像样本对应的位姿训练得到的。

20.根据权利要求11所述的装置，其中，所述预设相机位姿包括由相机位姿序列表征的运镜位姿，所述相机位姿序列中的每个相机位姿对应一个目标图像；所述装置还包括：

视频确定模块，用于根据所述相机位姿序列的顺序，以及与所述每个相机位姿相对应的目标图像，确定目标视频。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

Images