CN116977392A - 图像生成方法、装置、电子设备及存储介质 - Google Patents

图像生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116977392A
CN116977392A CN202211715773.9A CN202211715773A CN116977392A CN 116977392 A CN116977392 A CN 116977392A CN 202211715773 A CN202211715773 A CN 202211715773A CN 116977392 A CN116977392 A CN 116977392A
Authority
CN
China
Prior art keywords
texture image
depth
layered
image
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211715773.9A
Other languages
English (en)
Inventor
宋秉一
罗青
江林燕
王茹
雷海波
李峰
余晓铭
周易
易阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211715773.9A priority Critical patent/CN116977392A/zh
Publication of CN116977392A publication Critical patent/CN116977392A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及虚拟视点技术领域，公开了一种图像生成方法、装置、电子设备及存储介质，该方法包括：获取在至少一个视点面向场景采集到的纹理图像和深度图像；确定纹理图像中的感兴趣区域在深度图像中对应的第一深度范围和纹理图像中的非感兴趣区域在深度图像中对应的第二深度范围；根据第一深度范围和第二深度范围确定在虚拟视点下的多个深度分层平面；基于纹理图像，向虚拟视点下的多个深度分层平面分别进行视点投影，得到在虚拟视点下的多个分层纹理图像；根据在虚拟视点下的多个分层纹理图像，生成在虚拟视点下的纹理图像。本申请可以提高所得到虚拟视点下的纹理图像的效果，提升用户观感。

Description

图像生成方法、装置、电子设备及存储介质
技术领域
本申请涉及虚拟视点技术领域，更具体地，涉及一种图像生成方法、装置、电子设备及存储介质。
背景技术
通过在已有视点采集到的图像来进行图像重构，获得任意虚拟视点下的图像在实际中应用越来越广泛，例如应用于直播场景，根据所重建的任意视点下的图像可以供用户进行任意视点切换观看，提供360度的观看体验。但是，相关技术中，重构得到的虚拟视点下的图像中可能存在模糊的情况，因此，如何提高虚拟视点下的图像的重构效果是相关技术中亟待解决的技术问题。
发明内容
鉴于上述问题，本申请实施例提出了一种图像生成方法、装置、电子设备及存储介质，以改善上述问题。
根据本申请实施例的一个方面，提供了一种图像生成方法，包括：获取在至少一个视点面向场景采集到的纹理图像和深度图像；确定所述纹理图像中的感兴趣区域在所述深度图像中对应的第一深度范围和所述纹理图像中的非感兴趣区域在所述深度图像中对应的第二深度范围；根据所述第一深度范围和所述第二深度范围确定在虚拟视点下的多个深度分层平面，所述深度分层平面在所述第一深度范围内的分布密度大于在所述第二深度范围内的分布密度；基于所述纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下的多个分层纹理图像；根据在所述虚拟视点下的多个分层纹理图像，生成在所述虚拟视点下的纹理图像。
根据本申请实施例的一个方面，提供了一种图像生成装置，包括：获取模块，用于获取在至少一个视点面向场景采集到的纹理图像和深度图像；深度范围确定模块，用于确定所述纹理图像中的感兴趣区域在所述深度图像中对应的第一深度范围和所述纹理图像中的非感兴趣区域在所述深度图像中对应的第二深度范围；深度确定模块，用于根据所述第一深度范围和所述第二深度范围确定在虚拟视点下的多个深度分层平面，所述深度分层平面在所述第一深度范围内的分布密度大于在所述第二深度范围内的分布密度；视点投影模块，用于基于所述纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下的多个分层纹理图像；图像生成模块，用于根据在所述虚拟视点下的多个分层纹理图像，生成在所述虚拟视点下的纹理图像。
根据本申请实施例的一个方面，提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上所述图像生成方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如上所述图像生成方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上所述的图像生成方法。
在本申请中，根据所述纹理图像中的感兴趣区域在所述深度图像中对应的第一深度范围和所述纹理图像中的非感兴趣区域在所述深度图像中对应的第二深度范围，确定多个深度分层平面，并使深度分层平面在所述第一深度范围内的分布密度大于在所述第二深度范围内的分布密度；相当于通过该额外的深度图像以及纹理图像中的语义内容来针对性确定深度分层平面，使深度分层平面在感兴趣区域对应的第一深度范围内分布更密集，由此，可以保证在虚拟视点下的纹理图像中感兴趣区域中的图像内容更完善，避免在虚拟视点下的纹理图像中感兴趣区域出现的模糊的情况。对于用户来说，所生成虚拟视点下的纹理图像中，用户关注度较高的是感兴趣区域，而采用本申请的方案，有效避免了重建的纹理图像中感兴趣区域出现模糊的情况，对于用户来说，观感体验更高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A示例性示出了多个相机对相同场景进行图像采集的示意图。
图1B是根据本申请一实施例示出的本申请应用场景的示意图。
图2是根据本申请的一个实施例示出的图像生成方法的流程图。
图3是根据本申请另一实施例示出的图像生成方法的流程图。
图4是图3对应实施例中的步骤330在一实施例中的流程图。
图5是图3对应实施例中的步骤330在另一实施例中的流程图。
图6A是根据本申请另一实施例示出的图像生成方法的流程图。
图6B是根据本申请一实施例示出的多个深度分层平面的分布示意图。
图7示例性示出了按照本申请的方法生成的纹理图像和按照相关技术中的方法生成的纹理图像的示意图。
图8A示例性示出了平均分布多个深度分层平面的示意图。
图8B是根据本申请另一实施例示出的图像生成方法的流程图。
图9是根据本申请一实施例示出的图像生成装置的框图。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1A示例性示出了多个相机对相同场景进行图像采集的示意图，如图1A所示，实际部署了相机1和相机2对同一场景进行图像采集。这样，用户观看相机1所采集到的图像，相当于是从相机1所在的位置观察场景，同理，用户观看相机2采集到的图像，相当于是从相机2所在的位置观看场景，相机1所在的位置和相机2所在的位置可以分别视为一个视点。
而实际中，无论部署几个相机，所采集到的图像表达的范围都是有限的，用户可能期于从其他实际未部署的相机的位置观看场景，实际未部署相机的位置即为一个虚拟视点，虚拟视点又可以称为自由视点。因此，为了满足用户对虚拟视点观看的需求，需要通过在已有视点下采集到的图像来进行图像重建，获得在任意一个虚拟视点下的纹理图像。相关技术中，基于已有视点下的图像重建获得的虚拟视点下的图像的效果不佳，容易出现模糊的情况。基于此，提出了本申请的方案。
图1B是根据本申请一实施例示出的本申请应用场景的示意图，如图1B所示，该应用场景包括终端110和服务端120，终端110通过有线或者无线网络与服务端120通信连接，终端110可以是智能手机、平板电脑、笔记本电脑、台式电脑、车载设备等电子设备，服务端120可以是物理服务器，也可以是云服务器，在此不进行具体限定。
其中，终端110可以显示用户界面，用户可以基于终端110上的用户界面，向服务端120发送在至少一个视点采集的纹理图像和深度图像，之后，由服务端120按照本申请的方法，生成虚拟视点下的纹理图像，并将所生成的虚拟视点下的纹理图像返回到终端110。具体的，服务端120按照如下的步骤生成虚拟视点下的纹理图像：确定纹理图像中的感兴趣区域和非感兴趣区域；确定第一深度范围和第二深度范围；根据第一深度范围和第二深度范围确定多个深度；视点投影。以上步骤的具体实现过程参见下文描述，在此不再赘述。
在具体实施例中，服务端120可以对纹理图像进行语义识别，以确定纹理图像中的感兴趣区域和非感兴趣区域。其中，服务端120可以通过计算机视觉技术中的图像语义理解技术(或者图像语义识别技术)来对纹理图像进行语义识别。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
具体的，在服务端120可以部署用于图像语义识别的图像语义识别模型来对纹理图像进行语义识别，该图像语义识别模型可以是基于深度学习的模型，也可以是基于机器学习的模型。值得一提的是，本申请的方法不限于由服务端120执行，也可以由终端110执行。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2是根据本申请的一个实施例示出的图像生成方法的流程图，该方法可以由具备处理能力的电子设备执行，例如服务器、终端等，在此不进行具体限定。参照图2所示，该方法至少包括步骤210至步骤250，详细介绍如下：
步骤210，获取在至少一个视点面向场景采集到的纹理图像和深度图像。
深度图像可以通过深度传感器采集得到，深度传感器例如Kinect、基于TOF(Timeof Flying，飞行时间法，即通过计算光线在空间中飞行的时间来计算深度)的深度传感器等等，在此不进行具体限定。
步骤220，确定纹理图像中的感兴趣区域在深度图像中对应的第一深度范围和纹理图像中的非感兴趣区域在深度图像中对应的第二深度范围。
第一深度范围是指纹理图像中的感兴趣区域在深度图像中的深度范围。第二深度范围是指纹理图像中的非感兴趣区域在深度图像中的深度范围。值得一提的是，在步骤220中，是根据在同一视点下采集到的纹理图像和深度图像来确定第一深度范围和第二深度范围。举例来说，若纹理图像包括在第一视点面向场景采集到的第一纹理图像，深度图像包括在第一视点面向该场景采集到的第一深度图像，即，第一纹理图像和第一深度图像是在同一视点(即第一视点)采集到的，则在步骤220中，确定第一纹理图像中的感兴趣区域在第一深度图像中的第一深度范围，和第一纹理图像中的非感兴趣区域在第一深度图像中的第二深度范围。
在本申请中，纹理图像被划分为两部分区域，即感兴趣区域和非感兴趣区域，因此，也可以认为，纹理图像中除感兴趣区域外的其他区域为纹理图像中的非感兴趣区域。
其中，纹理图像中的感兴趣区域是指在纹理图像中感兴趣对象所在的像素区域。举例来说，若感兴趣对象为脸部，在纹理图像中脸部所在的像素区域即为感兴趣区域；若感兴趣对象为手部，在纹理图像中手部所在的像素区域即为感兴趣区域。其中，感兴趣对象的划分粒度可以根据实际需要设定，例如，可以将整个人体作为一个感兴趣对象，也可以将人体中的部分器官，例如五官、手部、脚部等器官分别视为一个感兴趣对象。
在一些实施例中，可以预先设定感兴趣对象集合，之后，根据纹理图像的语义识别结果，确定纹理图像中是否存在感兴趣对象集合中的对象，若有，对应确定感兴趣对象在纹理图像中的像素区域，即为纹理图像中的感兴趣区域；并将纹理图像中除感兴趣区域外的其他像素区域作为非感兴趣区域。值得一提的是，一纹理图像中可能包括一个感兴趣对象，也可能包括多个感兴趣对象，视具体情况而定。
在一些实施例中，步骤220之前，该方法还包括：对纹理图像进行语义识别，得到语义识别结果；根据语义识别结果确定纹理图像中的感兴趣区域和纹理图像中的非感兴趣区域。
对图像进行语义识别，也可以称为对图像进行语义分割，其是指识别图像中包括的对象，并确定对象在图像中的像素位置，其相当于对图像进行内容分类。所识别出图像中包括的对象即为图像的语义。在本实施例中，纹理图像的语义识别结果指示了所识别出纹理图像中包括的对象、以及对象在纹理图像中的像素区域的位置。
基于纹理图像的语义识别结果和预先设定的感兴趣对象，可以对应确定纹理图像中是否包括感兴趣对象，如果包括，则将纹理图像中感兴趣对象所在的像素区域作为感兴趣区域，并将纹理图像中除感兴趣区域外的其他像素区域作为非感兴趣区域。
在具体实施例中，可以通过训练后的图像语义识别模型来对纹理图像进行语义识别，由图像语义识别模型来根据纹理图像输出纹理图像的语义识别结果。其中，图像语义识别模型是通过一种或者多种神经网络构建的模型，神经网络例如卷积神经网络、全连接神经网络、循环神经网络、等等。在一些实施例中，图像语义识别模型可以是FCN(FullyConvolutional Network，全卷积网络)、还可以是SegNet(转换)网络。
在确定纹理图像中的感兴趣区域和非感兴趣区域的基础上，由于在与纹理图像相同视点下采集到的纹理图像对应的深度图像指示了纹理图像中各像素的深度，因此，可以对应根据深度图像确定纹理图像中的感兴趣区域在深度图像中对应的深度范围，即为第一深度范围；以及确定纹理图像中的非感兴趣区域在深度图像中对应的深度范围，即第二深度范围。也可以理解为，第一深度范围是指纹理图像中的感兴趣区域中的全部像素的深度所形成的深度范围；第二深度范围是指纹理图像中的非感兴趣区域中的全部像素的深度所形成的深度范围。
步骤230，根据第一深度范围和第二深度范围确定在虚拟视点下的多个深度分层平面，深度分层平面在第一深度范围内的分布密度大于在第二深度范围内的分布密度。
深度分层平面的分布密度是指在沿深度方向单位长度内深度分层平面的数量。深度分层平面在第一深度范围内的分布密度大于在第二深度范围内的分布密度，即表明在第一深度范围内深度分层平面分布更密集，在第二深度范围内深度分层平面分布较稀疏。
对于所确定的各深度，将沿虚拟视点的光轴方向上，距离虚拟视点的原点的距离为该深度、且垂直于虚拟视点的光轴的平面作为对应于该深度的一个深度分层平面。举例来说，若确定一个深度为d1，并给定虚拟视点的位置，这样，将沿虚拟视点的光轴上，距离虚拟视点的原点的距离为d1，且垂直于该虚拟视点的光轴的平面，作为对应于该深度d1的深度分层平面。
在一些实施例中，可以设定深度分层平面在第一深度范围内的第一分布间距，和设定深度分层平面在第二深度范围内的第二分布间距，第一分布间距是指在第一深度范围内相邻两个深度分层平面之间的距离，第二分布间距是指在第二深度范围内相邻两个深度分层平面之间的距离，第一分布间距小于第二分布间距。在此基础上，在第一深度范围内根据第一分布间距来确定在第一深度范围内的深度分层平面，即确定在第一深度范围内各深度分层平面对应的深度；在第二深度范围内，根据第二分布间距来确定在第二深度范围内的深度分层平面。由于第一分布间距小于第二分布间距，可以保证深度分层平面在第一深度范围内的分布密度大于在第二深度范围内的分布密度。
举例来说，若第一深度范围为200cm～250cm，且第一分布间距为10cm，可以确定在200cm、210cm、220cm、230cm、240cm和250cm处分别部署一个深度分层平面；若第二深度范围为260cm～420cm，且第二分布间距为20cm，可以确定在280cm、300cm、320cm、340cm、360cm、400cm、420cm处分别部署一个深度分层平面。
在另一些实施例中，可以根据纹理图像中的感兴趣区域，以及纹理图像对应的深度图像，来统计同一深度下感兴趣区域中像素点的数量，若在一深度下感兴趣区域中像素点的数量超过数量阈值，则确定需要在该深度处部署一个深度分层平面。在第二深度范围内，根据预设的分布间距(即上文中的第二分布间距)，确定在第二深度范围内待部署深度分层平面对应的深度。这样，在第一深度范围内，在所对应感兴趣区域中的像素点的数量超过数量阈值的深度确定为需要部署深度分层平面的深度，这样，可以保证在感兴趣中像素点越密集对应的深度放置一个深度分层平面。其中，数量阈值可根据实际需要进行设定，在此不进行具体限定。当然，所设定的分布间距、以及数量阈值，需要保证基于分布间距和数量阈值所确定位于第一深度范围内的深度分层平面的分布密度大于在第二深度范围内所确定深度分层平面的分布密度。
在另一些实施例中，还可以预先设定深度分层平面的总数量，在此基础上，可以优先根据所统计各深度下感兴趣区域中像素的数量来确定部署于第一深度范围内的深度分层平面，之后，根据深度分层平面的总数量和所确定部署于第一深度范围内的深度分层平面的第一数量，来确定在第二深度范围内需要部署的深度分层平面的第二数量，之后，根据第二数量，在第二深度范围内等间距部署第二数量个深度分层平面。
步骤240，基于纹理图像，向虚拟视点下的多个深度分层平面分别进行视点投影，得到在虚拟视点下的多个分层纹理图像。
视点投影又可以称为视点变换，即根据从一个视点下的图像变换到另一个视点下。在具体实施例中，可以根据纹理图像所对应视点的相机外参矩阵、纹理图像所对应视点的相机内参矩阵，以及虚拟视点对应的相机外参矩阵和虚拟视点对应的相机内参矩阵，来将纹理图像向虚拟视点下的各深度分层平面进行视点投影。可以理解的是，所得到虚拟视点下的多个分层纹理图像相当于是从虚拟视点拍摄场景得到的图像。
先以一个视点为例来对步骤240进行说明。假设至少一个视点包括第一视点，对应的，纹理图像包括在第一视点采集到的第一纹理图像。在此基础上，步骤240包括如下的步骤A1～步骤A2，详细介绍如下：
步骤A1，根据第一视点对应的第一相机外参矩阵、第一视点对应的第一相机内参矩阵、虚拟视点对应的第二相机外参矩阵、虚拟视点对应的第二相机内参矩阵和各深度分层平面对应的深度，确定从第一视点到虚拟视点下各深度分层平面对应的第一单应映射矩阵。
第一视点对应的第一相机外参矩阵是指第一纹理图像来源的图像采集设备的相机外参矩阵。虚拟视点对应的第二相机外参矩阵是指在虚拟视点所虚拟布设的图像采集设备的相机外参矩阵。其中，第一相机外参矩阵和第二相机外参矩阵可以通过相机外参标定获得。
相机外参矩阵P可以表示为：
或者表示为：
P＝(R3×3 T3×1)； (公式2)
其中，R3×3为表示旋转的旋转矩阵，r11～r13、r21～r23、r31～r33为旋转矩阵中的元素，T3×1为表示平移的平移矩阵，tx、ty、tz分别表示沿x、y、z轴方向上的平移量。
第一视点对应的第一相机内参矩阵是指第一纹理图像来源的相机的相机内参矩阵。虚拟视点对应的第二相机内参矩阵是指在虚拟视点所虚拟布设的相机的相机内参矩阵。相机内参矩阵是通过该相机的焦距、光芯等参数形成的一个矩阵，相机内参矩阵K3×3可以表示为：
其中，(fx,fy)表示相机的焦距，(cx,cy)表示相机的光芯。
基于一视点对应的相机内参矩阵和相机外参矩阵，可以准确表达物理空间中的一个点(X，Y，Z)与该点在该视点下的图像中的像素坐标(u，v)之间的转换关系，其可以表达为：
其中，z为该像素点(u，v)对应的深度。
在具体实施例中，可以按照如下的公式确定从第一视点到虚拟视点下各深度分层平面对应的第一单应映射矩阵H1tf：
其中，Kt为虚拟视点对应的相机内参矩阵(即上文中的第二相机内参矩阵)，Pt为虚拟视点对应的相机外参矩阵(即上文中的第二相机外参矩阵)；为第一视点对应的相机外参矩阵Pf(即上文中的第一相机外参矩阵)的逆，/>为第一视点对应的相机内参矩阵Kf(即上文中的第一相机内参矩阵)的逆。di为上文中所确定多个深度分层平面中第i个深度分层平面所在的深度。
按照如上的公式7，分别代入不同的深度分层平面对应的深度，可以对应确定从第一视点到虚拟视点下各深度分层平面对应的第一单应映射矩阵。
步骤A2，根据从第一视点到虚拟视点下各深度分层平面对应的第一单应映射矩阵，将第一纹理图像向虚拟视点下各深度分层平面进行视点投影，获得在虚拟视点下各深度分层平面的第一分层纹理图像。
具体的，在获得从第一视点到虚拟视点下各深度分层平面对应的第一单应映射矩阵的基础上，可以按照如下的公式进行视点投影，获得在虚拟视点下各深度分层平面的第一分层纹理图像：
E’＝H1tfE； (公式8)
其中，E＝u，v，1，1T，(u，v)为第一纹理图像中的像素点；E’为第一纹理图像中的像素点(u，v)在第一分层纹理图像中对应的像素点。
在虚拟视点下一深度分层平面的第一分层纹理图像可以理解为将纹理图像从该纹理图像对应视点向虚拟视点下的深度分层平面进行视点投影所得到的纹理图像。由于基于多个深度可以分别确定在虚拟视点下的多个深度分层平面，在步骤A2中，可以分别针对虚拟视点下的每一深度分层平面确定一个第一分层纹理图像。
如上所描述，由于所生成的第一分层纹理图像是与纹理图像对应的视点相关的，因此，利用不同已有视点下采集到的纹理图像进行视点投影所得到的分层纹理图像也是存在差异的。
如果获取到多个视点下采集到的纹理图像，可以针对每个视点下采集到的纹理图像均按照上述的过程进行视点投影，得到对应的在虚拟视点下各深度分层平面上的分层纹理图像。
步骤250，根据在虚拟视点下的多个分层纹理图像，生成在虚拟视点下的纹理图像。
在一些实施例中，若至少一个视点包括第一视点，纹理图像包括在第一视点采集到的第一纹理图像，对应的分层纹理图像包括基于第一纹理图像进行视点投影获得的第一分层纹理图像，在此基础上，步骤250包括：获取各第一分层纹理图像中各像素的像素权重；根据多个第一分层纹理图像中各像素的像素权重，将多个第一分层纹理图像进行加权融合，得到在虚拟视点下的纹理图像。
第一分层纹理图像中各像素的像素权重用于指示该第一分层纹理图像中的像素对于重新虚拟视点下的图像的重要性，即像素权重越高，则该像素的像素权重越大。
在一些实施例中，可以通过训练之后的权重预测模型来输出第一分层纹理图像中各像素的像素权重。具体的，获取各第一分层纹理图像中各像素的像素权重的步骤包括：对于在虚拟视点下的各第一分层纹理图像，由权重预测模型根据第一分层纹理图像预测输出第一分层纹理图像中各像素的像素权重。
其中，权重预测模型可以是通过神经网络构建，神经网络例如卷积神经网络、全连接神经网络等等，在此不进行具体限定。值得一提的是，为了保证权重预测模型所预测到各像素的像素权重的准确性，需要预先通过训练数据对权重预测模型进行训练。
在具体实施例中，在根据多个第一分层纹理图像中各像素的像素权重，将多个第一分层纹理图像进行加权融合，得到在虚拟视点下的纹理图像的步骤中，对于每一第一分层纹理图像，可以先根据第一分层纹理图像中各像素的像素权重，和第一分层纹理图像中各像素对应的第一像素值，进行融合确定第一分层纹理图像中各像素的第二像素值；其中，第一分层纹理图像中各像素的第一像素值可以等于该像素在第一纹理图像中所对应像素的像素值；之后，将重新确定像素值的多个第一分层纹理图像进行叠加，得到在虚拟视点下的纹理图像。可以理解的是，根据第一分层纹理图像中各像素的像素权重，和第一分层纹理图像中各像素对应的第一像素值，进行融合确定第一分层纹理图像中各像素的第二像素值，相当于是根据各像素的像素权重，在第一分层纹理图像中的各像素的第一像素值的基础上进行增强或者减弱，进而得到第一分层纹理图像中各像素的第二像素值。在一具体实施例中，对于一像素，可以将该像素的像素权重与该像素对应的第一像素值相乘，将相乘结果作为该像素的第二像素值。
在实际中，同一场景从不同的视点观看，所观看到的实际景象是存在差异的，例如场景中的某些区域在第一视点能看到，但是从其他视点是不同观看到的，因此，在本申请，根据多个第一分层纹理图像中各像素的像素权重，将多个第一分层纹理图像进行加权融合，像素的像权重体现了不同视点之间观看视角的差异，由此，基于像素的像素权重来针对性进行加权融合，可以保证所得到的在虚拟视点下的纹理图像的准确性，提升图像重建的效果。
在本申请中，根据纹理图像中的感兴趣区域在深度图像中对应的第一深度范围和纹理图像中的非感兴趣区域在深度图像中对应的第二深度范围，确定多个深度分层平面，并使深度分层平面在第一深度范围内的分布密度大于在第二深度范围内的分布密度；相当于通过该额外的深度图像以及纹理图像中的语义内容来针对性确定深度分层平面，使深度分层平面在感兴趣区域对应的第一深度范围内分布更密集，由此，可以保证在虚拟视点下的纹理图像中感兴趣区域中的图像内容更完善，避免在虚拟视点下的纹理图像中感兴趣区域出现的模糊的情况。对于用户来说，所生成虚拟视点下的纹理图像中，用户关注度较高的是感兴趣区域，而采用本申请的方案，有效避免了重建的纹理图像中感兴趣区域出现模糊的情况，对于用户来说，观感体验更高。
本申请的方案可以应用于在面对面交流的应用上，可以仿真人类双目视觉的视角，提供更沉浸的交流效果。
图3是根据本申请一实施例示出的图像生成方法的流程图，在图3对应的实施例中，至少一个视点包括第一视点和第二视点，纹理图像包括在第一视点面向场景采集到的第一纹理图像和在第二视点面向场景采集到的第二纹理图像；分层纹理图像包括在虚拟视点下对应于第一纹理图像的多个第一分层纹理图像和在虚拟视点下对应于第二纹理图像的多个第二分层纹理图像。在图3对应的实施例中，步骤240包括如下的步骤310和步骤320，步骤250包括如下的步骤330。如图3所示，包括：
步骤210，获取在至少一个视点面向场景采集到的纹理图像和深度图像。
在本实施例中，所获取的纹理图像包括在第一视点下面向场景采集到的第一纹理图像，和在第二视点下面向相同的场景采集到的第二纹理图像。所获取的深度图像至少包括在一个视点下采集到的深度图像，例如，可以是在第一视点下采集到的第一深度图像，和/或，在第二视点下采集到的第二深度图像。其中，第一深度图像与第一纹理图像是相对应的，第二深度图像与第二纹理图像是相对应的。
步骤220，确定纹理图像中的感兴趣区域在深度图像中对应的第一深度范围和纹理图像中的非感兴趣区域在深度图像中对应的第二深度范围。
在一些实施例中，可以根据第一纹理图像和第一深度图像来确定第一深度范围和第二深度范围。在另一实施例中，可以根据第二纹理图像和第二深度图像来确定第一深度范围和第二深度范围。换言之，在步骤220中，可以仅根据一个视点下采集的纹理图像和深度图像来确定第一深度范围和第二深度范围。具体确定第一深度范围和第二深度范围的过程参见图2对应实施例的描述，在此不在赘述。
在另一些实施例中，可以结合两个视点下采集到的纹理图像和深度图像来确定第一深度范围和第二深度范围。在该种情况下，步骤220包括：确定第一纹理图像中的感兴趣区域在第一深度图像中对应的第一候选深度范围；确定第一纹理图像中非感兴趣区域在第一深度图像中对应的第二候选深度范围；确定第二纹理图像中的感兴趣区域在第二深度图像中对应的第三候选深度范围；确定第二纹理图像中的非感兴趣区域在第二深度图像中对应的第四候选深度范围；将第一候选深度范围与第三候选深度范围的并集深度范围作为第一深度范围；将第二候选深度范围与第四候选深度范围的并集深度范围作为第二深度范围。
第一候选深度范围是指第一纹理图像中的感兴趣区域在第一深度图像中的深度范围。第二候选深度范围是指第一纹理图像中的非感兴趣区域在第一深度图像中的深度范围。第三候选深度范围是指第二纹理图像中的感兴趣区域在第二深度图像中的深度范围。第四候选深度范围是指第二纹理图像中的非感兴趣区域在第二深度图像中的深度范围。
由于不同的视点下采集到的图像中呈现的内容存在差异，在本实施例中，结合两视点采集到的纹理图像和深度图像来确定第一深度范围和第二深度范围，可以保证所确定的第一深度范围对于感兴趣区域的深度覆盖的全面性。进而保证后续基于第一深度范围和第二深度范围所确定的多个深度分层平面的效果。
步骤230，根据第一深度范围和第二深度范围确定在虚拟视点下的多个深度分层平面，深度分层平面在第一深度范围内的分布密度大于在第二深度范围内的分布密度。
具体确定深度分层平面的过程参见图2对应实施例中步骤230的实现过程，在此不再赘述。
步骤310，基于第一纹理图像，向虚拟视点下的多个深度分层平面分别进行视点投影，得到在虚拟视点下对应于第一纹理图像的多个第一分层纹理图像。
基于第一纹理图像向虚拟视点进行视点投影的过程参见上文中步骤A1～步骤A2的过程，在此不再赘述。
步骤320，基于第二纹理图像，向虚拟视点下的多个深度分层平面分别进行视点投影，得到在虚拟视点下对应于第二纹理图像的多个第二分层纹理图像。
具体的，步骤320包括如下的步骤B1～步骤B2，详细介绍如下：
步骤B1，根据第二视点对应的第三相机外参矩阵、第二视点对应的第三相机内参矩阵、虚拟视点对应的第二相机外参矩阵、虚拟视点对应的第二相机内参矩阵和各深度分层平面对应的深度，确定从第二视点到虚拟视点下各深度分层平面对应的第二单应映射矩阵。
第二视点对应的第三相机外参矩阵是指第二纹理图像来源的图像采集设备的相机外参矩阵。第二视点对应的第三相机内参矩阵是指第二纹理图像来源的相机的相机内参矩阵。第三相机外参矩阵可以通过相机外参标定获得。第二单应映射矩阵可以按照公式7类似的方式确定。
步骤B2，根据从第二视点到虚拟视点下各深度分层平面对应的第二单应映射矩阵，将第二纹理图像向虚拟视点下各深度分层平面进行视点投影，获得在虚拟视点下各深度分层平面的第二分层纹理图像。同理，在步骤B2中，可以按照公式8类似的方式来确定第二分层纹理图像。
步骤330，根据在虚拟视点下的多个第一分层纹理图像和多个第二分层纹理图像进行加权融合，得到在虚拟视点下的纹理图像。
在一些实施例中，如图4所示，步骤330，包括如下的步骤410-步骤430，详细介绍如下：
步骤410，根据多个第一分层纹理图像中各像素的像素权重，将多个第一分层纹理图像进行加权融合，得到在虚拟视点下的第一参考纹理图像。
具体的，对于每一第一分层纹理图像，可以先根据第一分层纹理图像中各像素的像素权重，和第一分层纹理图像中各像素对应的第一像素值，进行融合确定第一分层纹理图像中各像素的第二像素值；其中，第一分层纹理图像中各像素的第一像素值可以等于该像素在第一纹理图像中所对应像素的像素值；之后，将重新确定像素值的多个第二分层纹理图像进行叠加，得到在虚拟视点下的第一参考纹理图像。可以理解的是，根据第一分层纹理图像中各像素的像素权重，和第一分层纹理图像中各像素对应的第一像素值，进行融合确定第一分层纹理图像中各像素的第二像素值，相当于是根据各像素的像素权重，在第一分层纹理图像中的各像素的第一像素值的基础上进行增强或者减弱，进而得到第一分层纹理图像中各像素的第二像素值。在一具体实施例中，对于一像素，可以将该像素的像素权重与该像素对应的第一像素值相乘，将相乘结果作为该像素的第二像素值。
其中，可以将第一分层纹理图像输入到训练后的权重预测模型中，由权重预测模型进行预测并输出第一分层纹理图像中各像素的像素权重。
步骤420，根据多个第二分层纹理图像中各像素的像素权重，将多个第二分层纹理图像进行加权融合，得到在虚拟视点下的第二参考纹理图像。
具体的，对于每一第二分层纹理图像，可以先根据第二分层纹理图像中各像素的像素权重，和第二分层纹理图像中各像素对应的第一像素值，进行融合确定第二分层纹理图像中各像素的第二像素值；其中，第二分层纹理图像中各像素的第一像素值可以等于该像素在第一纹理图像中所对应像素的像素值；之后，将重新确定像素值的多个第二分层纹理图像进行叠加，得到在虚拟视点下的第二参考纹理图像。可以理解的是，根据第二分层纹理图像中各像素的像素权重，和第二分层纹理图像中各像素对应的第一像素值，进行融合确定第二分层纹理图像中各像素的第二像素值，相当于是根据各像素的像素权重，在第二分层纹理图像中的各像素的第一像素值的基础上进行增强或者减弱，进而得到第二分层纹理图像中各像素的第二像素值。在一具体实施例中，对于一像素，可以将该像素的像素权重与该像素对应的第一像素值相乘，将相乘结果作为该像素的第二像素值。
其中，对于在虚拟视点下的各第二分层纹理图像，由权重预测模型根据第二分层纹理图像预测输出第二分层纹理图像中各像素的像素权重。
步骤430，将第一参考纹理图像和第二参考纹理图像进行融合，得到在虚拟视点下的纹理图像。
如上所描述，在不同的视点针对同一场景观看到的内容是存在差异的，因此，可以根据第一视点对应的权重和第二视点对应的权重，将第一参考纹理图像和第二参考纹理图像进行加权叠加，得到在虚拟视点下的纹理图像。即，在虚拟视点下的纹理图像中一像素点(假设为像素点M)的像素值是该像素点M在第一参考纹理图像所对应像素点的像素值与该像素点M在第二参考纹理图像所对应像素点的像素值的加权结果。
对于在虚拟视点下的纹理图像中一像素点M，可按照如下的公式确定该像素点的像素值：
f(M)＝∝1g(M1)+∝2h(M2)； (公式9)
其中，f(M)为在虚拟视点下的纹理图像中像素点M的像素值，g(M1)为像素点M在第一参考纹理图像所对应像素点M1在第一参考纹理图像中的像素值；∝1为第一视点对应的权重；h(M2)为像素点M在第二参考纹理图像所对应像素点M2在第二参考纹理图像中的像素值；∝2为第二视点对应的权重。
其中，第一视点对应的权重和第二视点对应的权重可以是预先设定的，第一视点对应的权重和第二视点对应的权重可以相同也可以不同。
在一些实施例中，步骤430，包括：根据第一视点与虚拟视点之间的距离，确定第一视点对应的第一权重；根据第二视点与虚拟视点之间的距离，确定第二视点对应的第二权重；其中，距离虚拟视点的距离越近，视点对应的权重越大；基于第一权重和第二权重，将第一参考纹理图像和第二参考纹理图像进行加权融合，得到在虚拟视点下的纹理图像。
虽然在不同视点下针对相同场景观看到的内容不同，但是距离越相近的两视点观看到的内容的相似程度越高，因此，在本申请中，根据第一视点与虚拟视点之间的距离来确定第一视点对应的第一权重，以及根据第二视点与虚拟视点之间的距离来确定第二视点对应的第二权重，并且，距离虚拟视点的距离越近，视点对应的权重越大。
在一些实施例中，可以设定视点对应的权重与该视点与虚拟视点之间的距离呈正比，在该种情况下，可以根据第一视点与虚拟视点之间的距离、以及第二视点与虚拟视点之间的距离来确定第一权重与第二权重，具体可按照如下公式确定：
其中，L1为第一视点与虚拟视点之间的距离；L2为第二视点与虚拟视点之间的距离。基于公式10和公式11所确定的第一权重和第二权重，可以看出距离虚拟视点的距离近的视点，该视点对应的权重越大。
在本实施例中，根据第一视点与第二视点分别距离虚拟视点的权重来针对性为第一视点确定第一权重和为第二视点确定第二权重，并且保证与虚拟视点的距离越近，视点对应的权重越大，从而保证与虚拟视点距离越近的视点所对应的参考纹理图像对于在虚拟视点下的纹理图像的作用越强，进而可以有效保证所得到在虚拟视点下的纹理图像的准确性和效果。
在另一些实施例中，如图5所示，步骤330，包括如下的步骤510-步骤530，详细介绍如下：
步骤510，根据多个第一分层纹理图像对应的深度和多个第二分层纹理图像对应的深度，确定多个分层纹理图像对，其中，一个分层纹理图像对包括所对应深度相同的一个第一分层纹理图像和一个第二分层纹理图像。
换言之，一分层纹理图像对中的第一分层纹理图像和第二分层纹理图像是指对应于同一深度分层平面的第一分层纹理图像和第二分层纹理图像。这样，不同的分层纹理图像对所对应的深度分层平面是不同的。
步骤520，针对各分层纹理图像对，根据第一视点对应的第一权重、第二视点对应的第二权重、分层纹理图像中第一分层纹理图像中各像素的像素权重和第二分层纹理图像中各像素的像素权重，将分层纹理图像对中的第一分层纹理图像和第二分层纹理图像进行加权融合，得到分层纹理图像对对应的参考纹理图像。
先以一分层纹理图像对中的第一分层纹理图像中的一像素点Q1和第二分层纹理图像中的一像素点Q2，为例来对步骤520进行具体说明。假设像素点Q1和像素点Q2在该分层纹理图像对对应的参考纹理图像中对应的像素点为像素点Q；像素点Q1在第一分层纹理图像中的像素值为f2(1)；像素点Q2在第二分层纹理图像中的像素值为f3(2)；按照步骤520，像素点Q在参考纹理图像中的像素值为f1(Q):
f1(Q)＝∝1·β1(Q1)·f2(Q1)+∝2·β2(Q2)·f3(Q2)；(公式12)
其中，∝1为第一视点对应的第一权重，∝2为第二视点对应的第二权重；β1(Q1)为第一分层纹理图像中像素点Q1对应的像素权重；β2(Q2)为第二分层纹理图像中像素点Q2对应的像素权重。
步骤530，将多个分层纹理图像对对应的参考纹理图像进行叠加，得到在虚拟视点下的纹理图像。
在步骤530中，将多个参考纹理图像沿深度方向叠加，得到在虚拟视点下的纹理图像。
在如上的实施例中，结合在两个视点下采集到的第一纹理图像和第二纹理图像来生成虚拟视点下的纹理图像，由于不同的的视点下针对同一场景的纹理图像中表达的内容存在差异，因此，结合多个视点下的纹理图像来重建生成虚拟视点下的纹理图像，相较于利用单个视点下的纹理图像来进行重建，参考的信息更多，可以保证所生成在虚拟视点下的纹理图像的准确性，而且，根据纹理图像中的语义来确定深度分层平面，并且使深度分层平面在感兴趣区域对应的第一深度范围内分布更密集，由此，可以保证在虚拟视点下的纹理图像中感兴趣区域中的图像内容更完善，避免在虚拟视点下的纹理图像中感兴趣区域出现的空洞的情况。对于用户来说，所生成的纹理图像中，用户关注度较高的是感兴趣区域，而采用本实施例的方案，有效避免了重建的纹理图像中感兴趣区域出现空洞的情况，对于用户来说，观感体验更高。
在如上的实施例中，以在两个视点下针对同一场景采集到的纹理图像来重构虚拟视点下的纹理图像进行了说明，在其他实施例中，还可以结合3个及以上视点针对同一场景采集到的纹理图像来重构虚拟视点下的纹理图像，其具体实现方式与两个视点下的纹理图像重构的方式基本相似，在此不再赘述。值得一提的是，选择用于重构的纹理图像越多，图像重构的计算量越大，因此，在具体实施例中，可以在计算量与重构的纹理图像的图像效果之间进行综合考虑。
在具体实施例中，为保证针对虚拟视点所重建的纹理图像的效果，可以选择距离虚拟视点较近的多个视点采集的纹理图像来进行图像重构，例如从虚拟视点左右两侧分别选择距离虚拟视点最近的一个已有视点下的纹理图像来重构虚拟视点下的纹理图像。
图6A是根据本申请另一实施例示出的图像生成方法的流程图。如图6A所示，可以根据多个视点下的纹理图像和多个视点下的深度图像，确定多个深度分层平面；基于多个深度分层平面、多个视点下的纹理图像和已有视点的相机内参矩阵和相机外参矩阵、虚拟视点的相机内参矩阵和相机外参矩阵，进行像素权重预测，获得对应于各纹理图像的分层纹理图像中各像素的像素权重，值得一提的是，图6A中进行像素权重预测的步骤实际上包括将视点下的纹理图像向虚拟视点进行视点投影得到分层纹理图像，然后预测分层纹理图像中各像素的像素权重两个过程；之后，根据预测到的各像素的像素权重、以及多个视点下的纹理图像进行图像融合，得到虚拟视点下的纹理图像。
图6B是根据本申请一实施例示出的多个深度分层平面的分布示意图。如图6B所示，在部分深度范围内，深度分层平面的分布密度较大(即分布较密集)、部分深度范围内深度分层平面的分布密度较小(即分布较稀疏)。具体在本申请中，深度分层平面的分布密度较大的深度范围即为感兴趣区域对应的第一深度范围，深度范围内深度分层平面的分布密度较小的深度范围即为非感兴趣区域对应的第二深度范围。
图7示例性示出了按照本申请的方法生成的纹理图像和按照相关技术中的方法生成的纹理图像的示意图。图7中A所示的图像为按照本申请的方法所得到虚拟视点下的纹理图像，图7中B所示的图像为按照相关技术中的方法所得到虚拟视点下的纹理图像。在本申请中，将图像中的手部和脸部作为感兴趣区域，并对应按照本申请的方法，在手部和脸部对应的深度范围内，密集分布深度分层平面，因此，可以保证所得到虚拟视点下的纹理图像中，针对感兴趣区域重建的效果较好，不存在模糊的情况下。相关技术中，是进行平均分层确定多个深度分层平面，即相邻两个深度分层平面之间的间距保持相同，图8A示例性示出了平均分布多个深度分层平面的示意图，基于图8A所示的多个深度分层平面，所重构得到的图像如图7中的B所示，可以看出，图7中B所示的图像中，脸部部分区域、以及手部部分区域是较模糊的，图像重建的效果较差，用户观感较差。由此可以看出，采用本申请的方法，在感兴趣区域对应的深度范围内密集部署多个深度分层平面，可以有效保证所重建得到的图像中感兴趣区域的效果。而且，采用本申请的方法，对于非匀称密度的场景，可以自适应的在物体深度密集处有较好的重建结果。
在一些实施例中，纹理图像为在一视点面向场景采集到的纹理图像序列中的一帧纹理图像；如图8B所示，该方法还包括如下的步骤810-步骤850，详细介绍如下：
步骤810，对于在纹理图像序列中纹理图像的下一帧纹理图像，确定下一帧纹理图像中的感兴趣区域在下一帧纹理图像所对应深度图像中对应的第三深度范围，和下一帧纹理图像中的非感兴趣区域在下一帧纹理图像所对应深度图像中对应的第四深度范围。
在本实施例中，在各个视点可以连续面向场景进行图像采集，这样，针对每一视点可以对应获得一个纹理图像序列。
这样，针对至少一个视点下纹理图像序列中的各帧纹理图像均可按照本申请的方法来重构对应时刻下虚拟视点下的纹理图像。
在实际中，由于进行图像采集所面向的场景中可能包括可活动的对象，例如人、动物等等，如果场景中的对象发生移动，或者动作发生变化，在纹理图像序列中不同帧的纹理图像中呈现的内容对应变化。因此，在该种情况下针对上一帧纹理图像所确定的深度分层平面可能并不适用于下一帧纹理图像重构，因此，针对每一帧纹理图像均可按照本申请的方法来分别确定各帧纹理图像重构对应的多个深度分层平面。
此外，考虑到上一帧纹理图像和下一帧纹理图像之间存在内容上的连续性，因此，在本实施例中，可以参考针对当前帧纹理图像所确定的多个深度分层平面所在的深度来确定用于下一帧纹理图像重构的多个深度分层平面。
在步骤810中，确定第三深度范围和第四深度范围的过程与上文中确定第一深度范围和第二深度范围的过程类似，具体参见上文描述，在此不再赘述。
步骤820，根据第三深度范围和第四深度范围，确定多个候选深度。
在步骤820中，可以分别在第三深度范围和第四深度范围内确定多个候选深度分层平面，其中，一个候选深度用于确定一个候选深度分层平面，或者说，一候选深度分层平面所在的深度即为一个候选深度。在步骤820中，在多个候选深度分层平面中，候选深度分层平面在第三深度范围内的分布密度大于在第四深度范围内的分布密度。在具体实施例中，步骤820的实现过程可以参见上文中步骤230的实现过程，在此不再赘述。
步骤830，根据多个候选深度和多个深度分层平面分别对应的深度，确定多个第一深度，其中，一个第一深度用于确定在虚拟视点下对应于下一帧纹理图像的一个深度分层平面。
在本实施例中，相当于利用针对上一帧纹理图像所确定的多个深度分层平面对应的深度来对所确定的候选深度进行修正，得到第一深度。
在一些实施例中，其中，第一深度的数量和候选深度的数量、以及针对纹理图像所确定的深度分层平面的数量相同，这样，可以按照深度由大到小的顺序进行排序，这样，可以按照如下的方式确定各第一深度：
d1i＝δ1d2i+δ2d3i；(公式13)
其中，d1i表示按照深度由大到小的顺序第i个第一深度，d2i表示按照深度由大到小的顺序第i个深度分层平面对应的深度；d3i表示按照深度由大到小的顺序第i个候选深度。其中，δ1和δ2为权重，其中，δ1和δ2的和不超过1，δ1和δ2可以相等也可能不相等，可根据实际需要设定。
在一些实施例中，若设定δ1＝δ2＝0.5，上述的公式13对应为：
步骤840，基于下一帧纹理图像，向虚拟视点下对应于各第一深度的深度分层平面分别进行视点投影，得到下一帧纹理图像对应的在虚拟视点下的多个第三分层纹理图像。
具体进行视点投影的过程参见上文中的步骤240、以及步骤310-步骤320中的实现过程的描述，在此不再赘述。
步骤850，根据下一帧纹理图像对应的在虚拟视点下的多个第三分层纹理图像，生成在虚拟视点下的第三纹理图像。
具体基于第三分层纹理图像生成在虚拟视点下的第三纹理图像的过程参见上文中的步骤250、以及步骤330的具体实现过程，在此不再赘述。
在本实施例中，参考为上一帧纹理图像所确定多个深度分层平面的深度来为当前帧纹理图像确定多个深度分层平面所在的第一深度，由此实现饿了在时域上对深度分层平面进行自适应递归滤波，从而，保证连续纹理图像帧序列中呈现的内容发生变化时，通过对应自适应改变深度分层平面的深度，是在分层场景深度快速变化时也能保持图像重构的鲁棒性，保证图像重建的效果。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的方法。对于本申请装置实施例中未披露的细节，请参照本申请上述方法实施例。
图9是根据本申请一实施例示出的图像生成装置的框图，该图像生成装置可以配置于电子设备中，电子设备例如图1B中的服务端120或者终端110，该电子设备用于执行本申请所提供的图像生成方法。如图9所示，该图像生成装置包括：获取模块910，用于获取在第一视点面向场景采集到的第一纹理图像和第一深度图像；深度范围确定模块920，用于确定第一纹理图像中的感兴趣区域在第一深度图像中对应的第一深度范围和第一纹理图像中的非感兴趣区域在第一深度图像中对应的第二深度范围；深度确定模块930，用于根据第一深度范围和第二深度范围确定在虚拟视点下的多个深度分层平面，深度分层平面在第一深度范围内的分布密度大于在第二深度范围内的分布密度；视点投影模块940，用于基于第一纹理图像，向虚拟视点下的多个深度分层平面分别进行视点投影，得到在虚拟视点下的多个第一分层纹理图像；图像生成模块950，用于根据在虚拟视点下的多个第一分层纹理图像，生成在虚拟视点下的纹理图像。
在一些实施例中，至少一个视点包括第一视点，纹理图像包括在第一视点采集到的第一纹理图像；分层纹理图像包括对应于第一纹理图像的第一分层纹理图像；图像生成模块950，包括：像素权重获取单元，用于获取各第一分层纹理图像中各像素的像素权重；第一加权融合单元，用于根据多个第一分层纹理图像中各像素的像素权重，将多个第一分层纹理图像进行加权融合，得到在虚拟视点下的纹理图像。
在一些实施例中，至少一个视点包括第一视点和第二视点，纹理图像包括在第一视点面向场景采集的第一纹理图像和在第二视点面向场景采集的第二纹理图像；分层纹理图像包括对应于第一纹理图像的第一分层纹理图像，和对应于第二纹理图像的第二分层纹理图像；在本实施例中，视点投影模块940，包括：第一视点投影单元，用于基于第一纹理图像，向虚拟视点下的多个深度分层平面分别进行视点投影，得到在虚拟视点下对应于第一纹理图像的多个第一分层纹理图像；第二视点投影单元，用于基于第二纹理图像，向虚拟视点下的多个深度分层平面分别进行视点投影，得到在虚拟视点下对应于第二纹理图像的多个第二分层纹理图像；在本实施例中，图像生成模块950包括：第二加权融合单元，用于根据在虚拟视点下的多个第一分层纹理图像和多个第二分层纹理图像进行加权融合，得到在虚拟视点下的纹理图像。
在一些实施例中，第二加权融合单元，包括：第一参考纹理图像确定单元，用于根据多个第一分层纹理图像中各像素的像素权重，将多个第一分层纹理图像进行加权融合，得到在虚拟视点下的第一参考纹理图像；第二参考纹理图像确定单元，用于根据多个第二分层纹理图像中各像素的像素权重，将多个第二分层纹理图像进行加权融合，得到在虚拟视点下的第二参考纹理图像；融合单元，用于将第一参考纹理图像和第二参考纹理图像进行融合，得到在虚拟视点下的纹理图像。
在一些实施例中，融合单元，包括：第一权重确定单元，用于根据第一视点与虚拟视点之间的距离，确定第一视点对应的第一权重；第二权重确定单元，用于根据第二视点与虚拟视点之间的距离，确定第二视点对应的第二权重；其中，距离虚拟视点的距离越近，视点对应的权重越大；第一融合单元，用于基于第一权重和第二权重，将第一参考纹理图像和第二参考纹理图像进行加权融合，得到到虚拟视点下的纹理图像。
在一些实施例中，第二加权融合单元，包括：分层纹理图像对确定单元，用于根据多个第一分层纹理图像对应的深度和多个第二分层纹理图像对应的深度，确定多个分层纹理图像对，其中，一个分层纹理图像对包括所对应深度相同的一个第一分层纹理图像和一个第二分层纹理图像；第二融合单元，用于针对各分层纹理图像对，根据第一视点对应的第一权重、第二视点对应的第二权重、分层纹理图像中第一分层纹理图像中各像素的像素权重和第二分层纹理图像中各像素的像素权重，将分层纹理图像对中的第一分层纹理图像和第二分层纹理图像进行加权融合，得到分层纹理图像对对应的参考纹理图像；叠加单元，用于将多个分层纹理图像对对应的参考纹理图像进行叠加，得到在虚拟视点下的纹理图像。
在一些实施例中，图像生成装置还包括：第一预测模块，用于对于在虚拟视点下的各第一分层纹理图像，由权重预测模型根据第一分层纹理图像预测输出第一分层纹理图像中各像素的像素权重；第二预测模块，用于对于在虚拟视点下的各第二分层纹理图像，由权重预测模型根据第二分层纹理图像预测输出第二分层纹理图像中各像素的像素权重。
在一些实施例中，第一视点投影单元，包括：第一单应映射矩阵确定单元，用于根据第一视点对应的第一相机外参矩阵、第一视点对应的第一相机内参矩阵、虚拟视点对应的第二相机外参矩阵、虚拟视点对应的第二相机内参矩阵和各深度分层平面对应的深度，确定从第一视点到虚拟视点下各深度分层平面对应的第一单应映射矩阵；第一变换单元，用于根据从第一视点到虚拟视点下各深度分层平面对应的第一单应映射矩阵，将第一纹理图像向虚拟视点下各深度分层平面进行视点投影，获得在虚拟视点下各深度分层平面的第一分层纹理图像。
在一些实施例中，第二视点投影单元，包括：第二单应映射矩阵确定单元，用于根据第二视点对应的第三相机外参矩阵、第二视点对应的第三相机内参矩阵、虚拟视点对应的第二相机外参矩阵、虚拟视点对应的第二相机内参矩阵和各深度分层平面对应的深度，确定从第二视点到虚拟视点下各深度分层平面对应的第二单应映射矩阵；第二变换单元，用于根据从第二视点到虚拟视点下各深度分层平面对应的第二单应映射矩阵，将第二纹理图像向虚拟视点下各深度分层平面进行视点投影，获得在虚拟视点下各深度分层平面的第二分层纹理图像。
在一些实施例中，图像生成装置还包括：语义识别模块，用于对纹理图像进行语义识别，得到语义识别结果；区域确定模块，用于根据语义识别结果确定纹理图像中的感兴趣区域和纹理图像中的非感兴趣区域。
在一些实施例中，纹理图像为在一视点面向场景采集到的纹理图像序列中的一帧纹理图像；图像生成装置还包括：第一深度范围确定模块，用于对于在纹理图像序列中纹理图像的下一帧纹理图像，确定下一帧纹理图像中的感兴趣区域在下一帧纹理图像所对应深度图像中对应的第三深度范围，和下一帧纹理图像中的非感兴趣区域在下一帧纹理图像所对应深度图像中对应的第四深度范围；候选深度确定模块，用于根据第三深度范围和第四深度范围，确定多个候选深度；第一深度确定模块，用于根据多个候选深度和多个深度分层平面分别对应的深度，确定多个第一深度，其中，一个第一深度用于确定在虚拟视点下对应于下一帧纹理图像的一个深度分层平面；第一视点投影模块，用于基于下一帧纹理图像，向虚拟视点下对应于各第一深度的深度分层平面分别进行视点投影，得到下一帧纹理图像对应的在虚拟视点下的多个第三分层纹理图像；第三纹理图像确定模块，用于根据下一帧纹理图像对应的在虚拟视点下的多个第三分层纹理图像，生成在虚拟视点下的第三纹理图像。
在一些实施例中，深度范围确定模块，包括：第一平面确定单元，用于根据第一深度范围，统计在各深度下感兴趣区域中像素点的数量；将所对应感兴趣区域中像素点的数量超过数量阈值的深度确定为深度分层平面对应的深度；第二平面确定单元，用于根据预设的分布间距，确定在第二深度范围内部署的深度分层平面。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。该电子设备可以是图1B中的服务端120或者终端110，用于执行本申请提供的图像生成方法。需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU1001、ROM1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述任一实施例中的方法。
根据本申请的一个方面，还提供了一种电子设备，其包括：处理器；存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时，实现上述任一实施例中的方法。
根据本申请实施例的一个方面，提供了计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例中的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像生成方法，其特征在于，包括：
获取在至少一个视点面向场景采集到的纹理图像和深度图像；
确定所述纹理图像中的感兴趣区域在所述深度图像中对应的第一深度范围和所述纹理图像中的非感兴趣区域在所述深度图像中对应的第二深度范围；
根据所述第一深度范围和所述第二深度范围确定在虚拟视点下的多个深度分层平面，所述深度分层平面在所述第一深度范围内的分布密度大于在所述第二深度范围内的分布密度；
基于所述纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下的多个分层纹理图像；
根据在所述虚拟视点下的多个分层纹理图像，生成在所述虚拟视点下的纹理图像。
2.根据权利要求1所述的方法，其特征在于，所述至少一个视点包括第一视点，所述纹理图像包括在第一视点采集到的第一纹理图像；所述分层纹理图像包括对应于所述第一纹理图像的第一分层纹理图像；
所述根据在所述虚拟视点下的多个分层纹理图像，生成在所述虚拟视点下的纹理图像，包括：
获取各所述第一分层纹理图像中各像素的像素权重；
根据多个所述第一分层纹理图像中各像素的像素权重，将所述多个第一分层纹理图像进行加权融合，得到在所述虚拟视点下的纹理图像。
3.根据权利要求1所述的方法，其特征在于，所述至少一个视点包括第一视点和第二视点，所述纹理图像包括在所述第一视点面向所述场景采集的第一纹理图像和在第二视点面向所述场景采集的第二纹理图像；所述分层纹理图像包括对应于所述第一纹理图像的第一分层纹理图像，和对应于所述第二纹理图像的第二分层纹理图像；
所述基于所述纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下的多个分层纹理图像，包括：
基于所述第一纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下对应于所述第一纹理图像的多个第一分层纹理图像；
基于所述第二纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下对应于所述第二纹理图像的多个第二分层纹理图像；
所述根据在所述虚拟视点下的多个第一分层纹理图像，生成在所述虚拟视点下的纹理图像，包括：
根据在所述虚拟视点下的多个第一分层纹理图像和多个第二分层纹理图像进行加权融合，得到在所述虚拟视点下的纹理图像。
4.根据权利要求3所述的方法，其特征在于，所述根据在所述虚拟视点下的多个第一分层纹理图像和多个第二分层纹理图像进行加权融合，得到在所述虚拟视点下的纹理图像，包括：
根据所述多个第一分层纹理图像中各像素的像素权重，将所述多个第一分层纹理图像进行加权融合，得到在所述虚拟视点下的第一参考纹理图像；
根据所述多个第二分层纹理图像中各像素的像素权重，将所述多个第二分层纹理图像进行加权融合，得到在所述虚拟视点下的第二参考纹理图像；
将所述第一参考纹理图像和所述第二参考纹理图像进行融合，得到在所述虚拟视点下的纹理图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一参考纹理图像和所述第二参考纹理图像进行融合，得到在所述虚拟视点下的纹理图像，包括：
根据所述第一视点与所述虚拟视点之间的距离，确定所述第一视点对应的第一权重；
根据所述第二视点与所述虚拟视点之间的距离，确定所述第二视点对应的第二权重；其中，距离所述虚拟视点的距离越近，视点对应的权重越大；
基于所述第一权重和所述第二权重，将所述第一参考纹理图像和所述第二参考纹理图像进行加权融合，得到在所述虚拟视点下的纹理图像。
6.根据权利要求3所述的方法，其特征在于，所述根据在所述虚拟视点下的多个第一分层纹理图像和多个第二分层纹理图像进行加权融合，得到在所述虚拟视点下的纹理图像，包括：
根据多个第一分层纹理图像对应的深度和多个第二分层纹理图像对应的深度，确定多个分层纹理图像对，其中，一个分层纹理图像对包括所对应深度相同的一个第一分层纹理图像和一个第二分层纹理图像；
针对各分层纹理图像对，根据第一视点对应的第一权重、第二视点对应的第二权重、所述分层纹理图像中第一分层纹理图像中各像素的像素权重和所述第二分层纹理图像中各像素的像素权重，将所述分层纹理图像对中的第一分层纹理图像和第二分层纹理图像进行加权融合，得到所述分层纹理图像对对应的参考纹理图像；
将所述多个分层纹理图像对对应的参考纹理图像进行叠加，得到在所述虚拟视点下的纹理图像。
7.根据权利要求4至6中任一项所述的方法，其特征在于，所述方法还包括：
对于在所述虚拟视点下的各第一分层纹理图像，由权重预测模型根据所述第一分层纹理图像预测输出第一分层纹理图像中各像素的像素权重；
对于在所述虚拟视点下的各第二分层纹理图像，由所述权重预测模型根据所述第二分层纹理图像预测输出所述第二分层纹理图像中各像素的像素权重。
8.根据权利要求3所述的方法，其特征在于，所述基于所述第一纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下对应于所述第一纹理图像的多个第一分层纹理图像，包括：
根据所述第一视点对应的第一相机外参矩阵、所述第一视点对应的第一相机内参矩阵、所述虚拟视点对应的第二相机外参矩阵、所述虚拟视点对应的第二相机内参矩阵和各所述深度分层平面对应的深度，确定从所述第一视点到所述虚拟视点下各所述深度分层平面对应的第一单应映射矩阵；
根据从所述第一视点到所述虚拟视点下各所述深度分层平面对应的第一单应映射矩阵，将所述第一纹理图像向所述虚拟视点下各所述深度分层平面进行视点投影，获得在所述虚拟视点下各深度分层平面的第一分层纹理图像。
9.根据权利要求3所述的方法，其特征在于，所述基于所述第二纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下对应于所述第二纹理图像的多个第二分层纹理图像，包括：
根据所述第二视点对应的第三相机外参矩阵、所述第二视点对应的第三相机内参矩阵、所述虚拟视点对应的第二相机外参矩阵、所述虚拟视点对应的第二相机内参矩阵和各所述深度分层平面对应的深度，确定从所述第二视点到所述虚拟视点下各所述深度分层平面对应的第二单应映射矩阵；
根据从所述第二视点到所述虚拟视点下各所述深度分层平面对应的第二单应映射矩阵，将所述第二纹理图像向所述虚拟视点下各所述深度分层平面进行视点投影，获得在所述虚拟视点下各深度分层平面的第二分层纹理图像。
10.根据权利要求1所述的方法，其特征在于，所述确定所述纹理图像中的感兴趣区域在所述深度图像中对应的第一深度范围和所述纹理图像中的非感兴趣区域在所述深度图像中对应的第二深度范围之前，所述方法还包括：
对所述纹理图像进行语义识别，得到语义识别结果；
根据所述语义识别结果确定所述纹理图像中的感兴趣区域和所述纹理图像中的非感兴趣区域。
11.根据权利要求1所述的方法，其特征在于，所述纹理图像为在所述一视点面向所述场景采集到的纹理图像序列中的一帧纹理图像；
所述方法还包括：
对于在所述纹理图像序列中所述纹理图像的下一帧纹理图像，确定所述下一帧纹理图像中的感兴趣区域在所述下一帧纹理图像所对应深度图像中对应的第三深度范围，和所述下一帧纹理图像中的非感兴趣区域在所述下一帧纹理图像所对应深度图像中对应的第四深度范围；
根据所述第三深度范围和所述第四深度范围，确定多个候选深度；
根据所述多个候选深度和所述多个深度分层平面分别对应的深度，确定多个第一深度，其中，一个第一深度用于确定在虚拟视点下对应于所述下一帧纹理图像的一个深度分层平面；
基于所述下一帧纹理图像，向所述虚拟视点下对应于各所述第一深度的深度分层平面分别进行视点投影，得到所述下一帧纹理图像对应的在所述虚拟视点下的多个第三分层纹理图像；
根据所述下一帧纹理图像对应的在所述虚拟视点下的多个第三分层纹理图像，生成在所述虚拟视点下的第三纹理图像。
12.根据权利要求1所述的方法，其特征在于，所述根据所述第一深度范围和所述第二深度范围确定在虚拟视点下的多个深度分层平面，包括：
根据所述第一深度范围，统计在各深度下感兴趣区域中像素点的数量；将所对应感兴趣区域中像素点的数量超过数量阈值的深度确定为深度分层平面对应的深度；
根据预设的分布间距，确定在所述第二深度范围内部署的深度分层平面。
13.一种图像生成装置，其特征在于，包括：
获取模块，用于获取在至少一个视点面向场景采集到的纹理图像和深度图像；
深度范围确定模块，用于确定所述纹理图像中的感兴趣区域在所述深度图像中对应的第一深度范围和所述纹理图像中的非感兴趣区域在所述深度图像中对应的第二深度范围；
深度确定模块，用于根据所述第一深度范围和所述第二深度范围确定在虚拟视点下的多个深度分层平面，所述深度分层平面在所述第一深度范围内的分布密度大于在所述第二深度范围内的分布密度；
视点投影模块，用于基于所述纹理图像，向所述虚拟视点下的多个深度分层平面分别进行视点投影，得到在所述虚拟视点下的多个分层纹理图像；
图像生成模块，用于根据在所述虚拟视点下的多个分层纹理图像，生成在所述虚拟视点下的纹理图像。
14.一种电子设备，其特征在于，包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1-12中任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，当所述计算机可读指令被处理器执行时，实现如权利要求1-12中任一项所述的方法。
16.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-12中任一项所述的方法。
CN202211715773.9A 2022-12-29 2022-12-29 图像生成方法、装置、电子设备及存储介质 Pending CN116977392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211715773.9A CN116977392A (zh) 2022-12-29 2022-12-29 图像生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211715773.9A CN116977392A (zh) 2022-12-29 2022-12-29 图像生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116977392A true CN116977392A (zh) 2023-10-31

Family

ID=88477275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211715773.9A Pending CN116977392A (zh) 2022-12-29 2022-12-29 图像生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116977392A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197319A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197319A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质
CN117197319B (zh) * 2023-11-07 2024-03-22 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Lee et al. From big to small: Multi-scale local planar guidance for monocular depth estimation
Serrano et al. Motion parallax for 360 RGBD video
EP3852068A1 (en) Method for training generative network, method for generating near-infrared image and apparatuses
Lee et al. Motion sickness prediction in stereoscopic videos using 3d convolutional neural networks
Alexiou et al. On the performance of metrics to predict quality in point cloud representations
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
Zhang et al. Sparse representation-based video quality assessment for synthesized 3D videos
Kim et al. Binocular fusion net: deep learning visual comfort assessment for stereoscopic 3D
Ling et al. Prediction of the influence of navigation scan-path on perceived quality of free-viewpoint videos
CN117221512A (zh) 捕获和编辑动态深度图像的技术
CN116977392A (zh) 图像生成方法、装置、电子设备及存储介质
CN114531553B (zh) 生成特效视频的方法、装置、电子设备及存储介质
Kim et al. Visual comfort aware-reinforcement learning for depth adjustment of stereoscopic 3d images
CN106470337A (zh) 用于个性化全方向视频景深的方法、装置和计算机程序产品
CN113902848A (zh) 对象重建方法、装置、电子设备及存储介质
Cheng et al. Stereoscopic visual saliency prediction based on stereo contrast and stereo focus
Cheng et al. A computational model for stereoscopic visual saliency prediction
CN117058343A (zh) 一种基于nerf的vr看展方法、系统、电子设备和存储介质
CN111754561A (zh) 基于自监督深度学习的光场图像深度恢复方法及系统
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
CN111179331A (zh) 深度估计方法、装置、电子设备及计算机可读存储介质
CN115861515A (zh) 一种三维人脸重建方法、计算机程序产品及电子设备
Mühlhausen et al. Temporal consistent motion parallax for omnidirectional stereo panorama video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication