CN117475104A - 用于渲染目标场景的方法、电子设备和计算机程序产品 - Google Patents

用于渲染目标场景的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN117475104A
CN117475104A CN202210869673.5A CN202210869673A CN117475104A CN 117475104 A CN117475104 A CN 117475104A CN 202210869673 A CN202210869673 A CN 202210869673A CN 117475104 A CN117475104 A CN 117475104A
Authority
CN
China
Prior art keywords
rendering
target scene
pose
scene
rendering data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210869673.5A
Other languages
English (en)
Inventor
刘志松
王子嘉
贾真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dell Products LP
Original Assignee
Dell Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dell Products LP filed Critical Dell Products LP
Priority to CN202210869673.5A priority Critical patent/CN117475104A/zh
Priority to US17/883,828 priority patent/US20240029341A1/en
Publication of CN117475104A publication Critical patent/CN117475104A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本公开的实施例涉及一种用于渲染目标场景的方法、电子设备和计算机程序产品。该方法包括从服务器获取包括目标场景的点云和颜色的渲染数据。该方法还包括确定用于在用户设备处渲染目标场景的位姿。该方法还包括基于渲染数据和位姿来渲染目标场景，以呈现在该位姿下的目标场景。通过本公开的实施例，能够使得对目标场景的渲染效果更好，并且渲染速度更快。

Description

用于渲染目标场景的方法、电子设备和计算机程序产品
技术领域
本公开的实施例涉及计算机领域，并且更具体地，涉及用于渲染目标场景的方法、电子设备和计算机程序产品。
背景技术
随着计算机图形学的发展以及计算设备的性能的提高，在一些应用领域(例如，虚拟现实)中，用户对三维场景的渲染的要求越来越高。用户希望渲染的速度足够快(例如，实时)，并且呈现出的效果好。在对庞大和复杂的场景进行渲染时，难以达到实时渲染，在同时满足对渲染效果的要求。
发明内容
本公开的实施例提供了一种用于渲染目标场景的方法、电子设备和计算机程序产品。
根据本公开的第一方面，提供了一种用于渲染目标场景的方法。该方法包括从服务器获取包括目标场景的点云和颜色的渲染数据。该方法还包括确定用于在用户设备处渲染目标场景的位姿。该方法还包括基于渲染数据和位姿来渲染目标场景，以呈现在该位姿下的目标场景。
根据本公开的第二方面，提供了一种用于渲染目标场景的方法。该方法包括从服务器获取表示目标场景的轮廓的边缘图。该方法还包括确定用于在用户设备处渲染目标场景的位姿。该方法还包括基于边缘图和位姿来渲染目标场景，以呈现在该位姿下的目标场景。
根据本公开的第三方面，还提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作。动作包括从服务器获取包括目标场景的点云和颜色的渲染数据。动作还包括确定用于在用户设备处渲染目标场景的位姿。动作还包括基于渲染数据和位姿来渲染目标场景，以呈现在该位姿下的目标场景。
根据本公开的第四方面，还提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作。动作包括从服务器获取表示目标场景的轮廓的边缘图。动作还包括确定用于在用户设备处渲染目标场景的位姿。动作还包括基于边缘图和位姿来渲染目标场景，以呈现在该位姿下的目标场景。
根据本公开的第五方面，提供了一种计算机程序产品，计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行根据第一方面的方法。
根据本公开的第六方面，提供了一种计算机程序产品，计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行根据第二方面的方法。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其它特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
图2示意性示出了根据本公开的示例性实现的用于渲染目标场景的方法的流程图；
图3示意性示出了根据本公开的示例性实现的渲染目标场景的过程的示意图；
图4示意性示出了根据本公开的示例性实现的渲染目标场景的过程的示意图；
图5示意性示出了根据本公开的示例性实现的生成渲染数据的过程的示意图；
图6示意性示出了根据本公开的示例性实现的场景渲染模型的渲染过程的示意图；
图7示意性示出了根据本公开的示例性实现的用于渲染目标场景的方法的框图；
图8示意性示出了根据本公开的示例性实现的渲染目标场景的过程的示意图；以及
图9示意性示出了根据本公开的示例性实现的用于渲染目标场景的设备的框图。
在所有附图中，相同或相似参考数字表示相同或相似元素。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包括，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。
另外，本文所有具体数值都是示例，仅是为了帮助理解，绝无限定范围之意图。
在虚拟现实中，直接对三维场景进行建模并且渲染需要消耗很多的计算资源，通常无法在用户设备侧完成。如果在服务器端对三维场景建模后，直接将渲染后的全部数据传输到用户设备可能不太实际，因为这些数据很大，传输需要很大的带宽和很多的时间。同时，用户设备的计算能力可能不够，导致渲染目标场景的帧率不足以满足需要，因此不能实现实时渲染且达到较好的渲染效果。
为了解决上述缺点，本公开的实施例提供了一种用于渲染目标场景的方案。该方案使用在不同位姿下拍摄的目标场景的图像来对目标场景进行建模以获取渲染数据。该渲染数据包括目标场景的点云和颜色信息。当需要时，将渲染数据传输至用户设备。基于用户设定的观察位姿，渲染出在观察位姿下的目标场景。这样，可以节省传输渲染数据所需的带宽和时间，以及降低用户设备渲染目标场景的计算开销。
图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100可以包括相机110-1，相机110-2，相机110-3(单独或统一地被称为相机110)。相机110-1至相机110-3被放置在不同的位置，以不同的角度去拍摄目标场景，并且得到目标场景的图像120-1至120-3(单独或统一地被称为图像120)。由于不同的相机110具有不同的位姿，可以理解，具有不同位姿的相机110拍摄的相应目标场景120可以具有不同的轮廓，以及甚至由于光线的原因而具有不同的颜色。备选地，也可以由一个相机通过多次拍摄，获得目标场景不同角度的图像。
在环境100中，还包括服务器130，其可以为单个服务器、分布式服务器、或者基于云的服务器。服务器130可以接收来自相机110的图像120以及相机110的位姿，或者经由其他方式直接获取目标场景的多个图像120以及拍摄这些图像的相机的位姿。服务器130可以基于多个图像120，以及相机110的位姿，利用本公开的场景渲染模型学习目标场景的体密度特征和颜色特征来生成渲染数据140。
在服务器130中，还可以配置有场景渲染模型150。例如，在服务器130中部署场景渲染模型150。场景渲染模型150可以被用以基于图像120和相机110的位姿来生成渲染数据140。场景渲染模型可以基于机器学习模型的架构，通过利用与目标场景相关联的损失函数训练而被生成。其中，损失函数可以包括与目标颜色特征、目标体密度特征、边缘得分相关联的误差，利用误差反向传播算法使机器学习模型学习到优化的模型参数。损失函数可以分为针对细粒度的渲染数据的损失函数，针对粗粒度的渲染数据的损失函数，以及针对边缘图的损失函数。
在环境100中，还包括用户设备160。用户设备160可以是移动设备，虚拟现实设备，计算机等。在用户设备160处，可以接收来自计算资源130的目标场景的渲染数据140。当用户需要观察某个位姿下的目标场景时，由用户设定或由用户设备160采集观察目标场景的位姿。用户设备160基于渲染数据140和该位姿，渲染出在该位姿下的目标场景的点云和颜色，以用于呈现。用户设备160还可以接收场景渲染模型150，以用于渲染目标场景。
应当理解，仅出于示例性的目的来描述示例环境100中的架构和功能，而不暗示对本公开的范围的任何限制。本公开的实施例还可以被应用到具有不同的结构和/或功能的其他环境中。
下文将结合图2至图7详细描述根据本公开实施例的过程。为了便于理解，在下文描述中提及的具体数据均是示例性的，并不用于限定本公开的保护范围。可以理解，以下描述的实施例还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。
图2示意性示出了根据本公开的示例性实现的用于渲染目标场景的方法200的流程图。在框202处，从服务器获取包括目标场景的点云和颜色的渲染数据。例如，用户设备160从服务器130获取渲染数据140。渲染数据140包括目标场景的点云和颜色的信息。可以理解，由于渲染数据140的大小与目标场景的点云和颜色的信息的粒度有关。较细的粒度将使得渲染数据140具有很大的大小，而较粗的粒度则使得渲染数据140具有较小的大小。
较细的粒度的渲染数据140在渲染效果上较好，但传输起来占用带宽和耗时较多。较粗的粒度的渲染数据140的大小较小，因此传输起来比较方便。因此，一般情况下会将较粗的粒度的渲染数据140从服务器130发送到用户设备140。关于如何使用场景渲染模型150生成渲染数据140将在下文结合图3至图6的示例来描述，这里不再赘述。
在框204处，确定用于在用户设备处渲染目标场景的位姿。在用户设备160中，如果用户使用例如移动终端等计算设备，则可以由用户设备设置观察目标场景的位姿。如果用户佩戴头戴式显示装置等虚拟显示设备，则可以由该虚拟显示设备采集观察目标场景的位姿。可以理解，由于观察目标场景的位姿不同，渲染后呈现出的目标场景可能具有不同的大小，轮廓或颜色。
在框206处，基于渲染数据和位姿来渲染目标场景，以呈现在位姿下的目标场景。例如，用户设备160基于渲染数据140和设定的观察目标场景的位姿，使用场景渲染模型150来渲染目标场景，以向用户呈现在该位姿下的目标场景。
由于在服务器处将较粗粒度的渲染数据传输至用户设备，因此节省了传输数据所需的带宽和时间。在用户设备处，由于使用了场景渲染模型基于较粗粒度的渲染数据来渲染目标场景，可以节省用户设备的计算开销，并且实现高帧率的渲染，因此实现了实时渲染。
图3示意性示出了根据本公开的示例性实现的渲染目标场景的过程300的示意图。方法200可以在图3示出的过程300中实现。
在一些实施例中，其中渲染数据是第一渲染数据，并且所述第一渲染数据是通过对第二渲染数据进行下采样而被确定的，第二渲染数据的精细度高于所述第一渲染数据。作为示例，可以使用场景渲染模型150基于图像120和相机110的位姿生成具有细粒度的渲染数据(被称为第二渲染数据)，并且对细粒度的渲染数据140进行下采样以获取较粗粒度的渲染数据140(被称为第一渲染数据)。下采样可以通过均匀下采样方法实现，也可以通过边缘感知下采样实现。作为示例，可以通过泊松圆盘方法去减少冗余的渲染数据。
在一些实施例中，其中基于渲染数据和位姿来渲染目标场景包括：基于位姿，对第一渲染数据进行上采样以确定上采样后的第一渲染数据；以及使用上采样后的第一渲染数据来确定目标场景在位姿下的点云和颜色。作为示例，由于用户设备160接收到较粗粒度的渲染数据140，这些较粗粒度的渲染数据140还不能体现目标场景的细节特征。在确定了观察目标场景的位姿之后，需要渲染出在该位姿下的目标场景的细节特征。这时可以采用上采样的方法，即在较粗粒度的渲染数据140的基础上，通过内插等上采样方法来得渲染数据140变得密集，使得目标场景的细节特征能够体现，从而达到较好的渲染效果。
可以理解，由于内插等上采样对用户设备的计算能力要求较低，并且上采样的粒度也可以基于用户设备的计算能力来调整。因此，可以实现弹性的渲染效果。也就是说，根据不同的计算能力，调整不同的渲染效果。
除了使用下采样的方法使得细粒度的渲染数据变得稀疏，还可以使用其他方法。例如，图4示意性示出了根据本公开的示例性实现的渲染目标场景的过程400的示意图。图5示意性示出了根据本公开的示例性实现的场景渲染模型的生成渲染数据的过程500的示意图。图6示意性示出了根据本公开的示例性实现的场景渲染模型的渲染过程600的示意图。以下将结合图4至图6来描述如何使用场景渲染模型150来生成粗粒度的渲染数据或细粒度的渲染数据。
在一些实施例中，从服务器获取场景渲染模型，以及使用场景渲染模型来渲染目标场景。作为示例，参考图4，用户设备160可以从服务器130获取场景渲染模型150。场景渲染模型150可以在用户设备160处，渲染出在确定的位姿下的目标场景。用户设备160将渲染后的目标场景402呈现给用户，例如通过显示器或头戴式显示设备。
在一些实施例中，其中渲染数据是基于目标场景在不同的位姿下的多个图像的、与所述目标场景相关联的体密度特征和颜色特征而被确定的。为了理解场景渲染模型150是如何生成渲染数据140的，将参考图5来说明场景渲染模型的生成渲染数据的过程500。
假设三维空间中存在点502，则点502的位置可以表示为在XYZ坐标系下中的坐标值(x,y,z)，其中XYZ坐标系可以是以相机为参考的坐标系，根据相机的内参等参数经转换得到的其他坐标系，不公开对此不做限制。同时，拍摄点502的相机也具有位姿，包括观察点502的视角d。
在场景渲染模型150中，可以将对点502的表示转换为其在颜色坐标系下的体密度特征504和颜色特征506。体密度特征504可以理解为不透明度，即光线是否能穿过点502以及穿过点502的程度。由于光线照射在点502的角度不同，因为点502可以具有变化的颜色特征506，可以由RGB值来表示。因此，场景渲染模型150生成的渲染数据140将包括体现目标场景的轮廓的点云信息和目标场景的表面的颜色信息。
在一些实施例中，其中使用场景渲染模型来渲染目标场景包括：基于位姿和渲染数据，确定光照射在目标场景的点云中的点并且穿透点的概率；以及基于概率，确定目标场景在位姿下的点云和颜色。
为了理解场景渲染模型150是如何基于渲染数据140来渲染目标场景的，现在将结合图6来描述该过程。在图6中，可以看出，该渲染过程600将模拟光线从设定的观察目标场景的位姿处照射到目标场景。具体地，以点602为例，假设有一个虚拟相机位于该位姿处，计算光射线604在点602处的无穷小粒子处终止的微分概率。通过积分操作，可以计算出点602的边界，即点602在三维空间中的表面。对于渲染数据中的每个点都可以进行这样的操作，这样就能知道目标场景的表面在三维空间中的点云。同理，目标场景的颜色也可以由该原理得到，将光线从开始照射到传播至点602的路线中，没有碰到其他粒子的概率进行积分。
在一些实施例中，其中场景渲染模型是基于从不同的位姿拍摄的目标场景的多个图像，以及多个图像分别对应的相机的位姿和内部参数而被训练的。具体地，对于生成细粒度的渲染数据，则可以使用以公式(1)表示的损失函数来训练场景渲染模型150。
其中，表示损失函数；/>表示粗粒度的估计的颜色；C(r)表示标签颜色；r表示虚拟的光线；/>表示光线集合空间；/>表示细粒度的估计的颜色；/>表示计算误差的绝对值的操作；i表示微分的步长；Nc表示从虚拟相机处到目标点的微分单元的数目；ci表示i处的颜色；wi表示i处的微分概率；σi表示i处的体密度；δi表示三维空间中相邻点之间的距离；N表示总的点数目；Ti表示时间函数。
在一些实施例中，对于生成粗粒度的渲染数据，则可以使用以公式(2)表示的损失函数来训练场景渲染模型150。
其中，表示损失函数；/>表示粗粒度的估计的颜色；C(r)表示标签颜色；r表示虚拟的光线；/>表示光线集合空间；/>表示计算误差的绝对值的操作；i表示微分的步长；Nc表示从虚拟相机处到目标点的微分单元的数目；ci表示i处的颜色；wi表示i处的微分概率；σi表示i处的体密度；δi表示三维空间中相邻点之间的距离；Ti表示时间函数。
作为示例，可以设置一个比例参数α，用以确定细粒度与粗粒度的比值。可以理解，粗粒度的渲染数据是细粒度的渲染数据的1/α。该比例参数α也可以根据需要进行调整。
由此可见，场景渲染模型150具有灵活性，即可以生成细粒度的渲染数据，也可以生成粗粒度的渲染数据。因此，结合用户设备和服务器的性能，以及用户偏好，实现弹性的渲染效果。
本公开还提供了一种用于渲染目标场景的方法，以下将结合图7和图8来说明。图7示意性示出了根据本公开的示例性实现的用于渲染目标场景的方法700的框图。图8示意性示出了根据本公开的示例性实现的渲染目标场景的过程800的示意图。方法700可以在过程800中实现。
在框702处，从服务器获取表示目标场景的轮廓的边缘图。例如，用户设备160从服务器130获取边缘图810。边缘图810表示目标场景的轮廓。具体地，边缘图810可以表示目标场景中实体的轮廓。例如，一个建筑物的边缘，海洋与沙滩的边缘等等。由于边缘图在计算机中可以仅以二进制标识符来表示，例如以1表示边缘。这样，可以知道，相对于包括目标场景的点云信息和颜色信息的渲染数据140，边缘图810的大小较小，因此传输起来更加快捷和方便。可以理解，边缘处一般都包括比较丰富的细节内容，需要着重渲染以获取更好的渲染效果。没有被包括在边缘图810的地方，则比较平滑，含有的细节内容较少，因此可能不需要太多的渲染。
在框704处，确定用于在用户设备处渲染目标场景的位姿。在用户设备160中，如果用户使用例如移动终端等计算设备，则可以由用户设备设置观察目标场景的位姿。如果用户佩戴头戴式显示装置等虚拟显示设备，则可以由该虚拟显示设备采集观察目标场景的位姿。可以理解，由于观察目标场景的位姿不同，渲染后呈现出的目标场景可能具有不同的大小，轮廓或颜色。
在框706处，基于边缘图和位姿来渲染目标场景，以呈现在位姿下的目标场景。例如，在用户设备160处，基于边缘图810和设定的观察目标场景的位姿，使用场景渲染模型150来渲染目标场景，以向用户呈现在该位姿下的目标场景。
由于在服务器处将边缘图传输至用户设备，因此节省了传输数据所需的带宽和时间。在用户设备处，由于使用了场景渲染模型基于边缘图来渲染目标场景，可以节省用户设备的计算开销，并且实现高帧率的渲染，因此实现了实时渲染。同时，由于使用了边缘图，可以着重渲染边缘图处的细节内容，进一步节省了计算资源。
在一些实施例中，在一些实施例中，从服务器获取场景渲染模型，以及使用场景渲染模型来渲染目标场景。例如，参考图8，用户设备160可以从服务器130获取场景渲染模型150。场景渲染模型150可以在用户设备160处，渲染出在确定的位姿下的目标场景。用户设备160将渲染后的目标场景呈现给用户，例如通过显示器或头戴式显示设备。
在一些实施例中，其中使用场景渲染模型来渲染所述目标场景包括：基于位姿和边缘图，确定光照射在目标场景的轮廓上的点并且穿透点的概率；以及基于概率来确定目标场景在位姿下的点云和颜色。与图6示出了渲染目标场景的原理相同，但是在这里，将着重强调基于边缘图来渲染目标场景，因为边缘处的细节较多。例如，可以使用适用于细粒度的损失函数训练的场景渲染模型来渲染边缘处，而使用适用于粗粒度的损失函数训练的场景渲染模型来渲染非边缘处(即，平滑的区域)。
在一些实施例中，场景渲染模型是基于从不同的位姿拍摄的目标场景的多个图像、多个图像分别对应的相机的位姿和内部参数、以及经过预先标注的边缘图而被训练的。
具体地，边缘图810可以通过场景渲染模型150生成。但是，需要使用以公式(3)表示的损失函数来训练场景渲染模型150以生成边缘图810。
其中，表示损失函数；/>表示粗粒度的估计的颜色；C(r)表示标签颜色；r表示虚拟的光线；/>表示光线集合空间；/>表示细粒度的估计的颜色；/>表示计算误差的绝对值的操作；i表示微分的步长；Nc表示从虚拟相机处到目标点的微分单元的数目；ci表示i处的颜色；wi表示i处的微分概率；σi表示i处的体密度；δi表示三维空间中相邻点之间的距离；N表示总的点数目；Ti表示时间函数；sigmoid(p)表示归一化边缘得分的函数；τ表示控制参数。
在一些实施例中，边缘图是基于目标场景的点云中的点的边缘得分而被生成的。在一些实施例中，边缘得分是基于指示点在目标场景的轮廓上的概率而被确定的。在一些实施例中，其中概率大于阈值概率的点在边缘图上被标识。
作为示例，经过训练的场景渲染模型可以生成p值，p可以理解为指示点在目标场景的轮廓上的概率的特征，可以理解为边缘得分。基于p，使用sigmoid归一化函数来确定控制参数τ。当sigmoid(p)大于0.5时，τ可以被设置为1，含义是在边缘图中，该点是轮廓。反之，该点是平滑区域。将被确定为是轮廓的点标识在边缘图上，就得到了边缘图810。
由于在方法700中使用了边缘图，因此可以进一步减少需要从服务器传输至用户设备的数据量。在用户设备端，基于边缘图来渲染目标场景可以有重点的渲染，因此节省了用户设备的计算开销，提高了渲染速度。
图9示出了可以用来实施本公开的实施例的设备900的示意性框图，设备900可以是本公开的实施例所描述的设备或装置。如图9所示，设备900包括中央处理单元(CPU)和/或图形处理单元(GPU)901，其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令，来执行各种适当的动作和处理。在RAM 903中，还可以存储设备900操作所需的各种程序和数据。CPU/GPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。虽然未在图9中示出，设备900还可以包括协处理器。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个方法或过程可以由CPU/GPU 901来执行。例如，在一些实施例中，方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序被加载到RAM 903并由CPU/GPU 901执行时，可以执行上文描述的方法或过程中的一个或多个步骤或动作。
在一些实施例中，以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言，以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这取决于所涉及的功能。也要注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使得本技术领域的其它普通技术人员能理解本文公开的各实施例。

Claims (30)

1.一种用于渲染目标场景的方法，包括：
从服务器获取包括所述目标场景的点云和颜色的渲染数据；
确定用于在用户设备处渲染所述目标场景的位姿；以及
基于所述渲染数据和所述位姿来渲染所述目标场景，以呈现在所述位姿下的所述目标场景。
2.根据权利要求1所述的方法，其中所述渲染数据是第一渲染数据，并且所述第一渲染数据是通过对第二渲染数据进行下采样而被确定的，所述第二渲染数据的精细度高于所述第一渲染数据。
3.根据权利要求2所述的方法，其中基于所述渲染数据和所述位姿来渲染所述目标场景包括：
基于所述位姿，对所述第一渲染数据进行上采样以确定上采样后的所述第一渲染数据；以及
使用上采样后的所述第一渲染数据来确定所述目标场景在所述位姿下的点云和颜色。
4.根据权利要求1所述的方法，其中所述渲染数据是基于所述目标场景在不同的位姿下的多个图像的、与所述目标场景相关联的体密度特征和颜色特征而被确定的。
5.根据权利要求4所述的方法，还包括：
从所述服务器获取场景渲染模型；以及
使用所述场景渲染模型来渲染所述目标场景。
6.根据权利要求5所述的方法，其中使用所述场景渲染模型来渲染所述目标场景包括：
基于所述位姿和所述渲染数据，确定光照射在所述目标场景的点云中的点并且穿透所述点的概率；以及
基于所述概率，确定所述目标场景在所述位姿下的点云和颜色。
7.根据权利要求5所述的方法，其中所述场景渲染模型是基于从不同的位姿拍摄的所述目标场景的多个图像，以及所述多个图像分别对应的相机的位姿和内部参数而被训练的。
8.一种用于渲染目标场景的方法，包括：
从服务器获取表示所述目标场景的轮廓的边缘图；
确定用于在用户设备处渲染所述目标场景的位姿；以及
基于所述边缘图和所述位姿来渲染所述目标场景，以呈现在所述位姿下的所述目标场景。
9.根据权利要求8所述的方法，还包括：
从所述服务器获取场景渲染模型；以及
使用所述场景渲染模型来渲染所述目标场景。
10.根据权利要求9所述的方法，其中使用所述场景渲染模型来渲染所述目标场景包括：
基于所述位姿和所述边缘图，确定光照射在所述目标场景的所述轮廓上的点并且穿透所述点的概率；以及
基于所述概率来确定所述目标场景在所述位姿下的点云和颜色。
11.根据权利要求9所述的方法，其中所述场景渲染模型是基于从不同的位姿拍摄的所述目标场景的多个图像、所述多个图像分别对应的相机的位姿和内部参数、以及经过预先标注的边缘图而被训练的。
12.根据权利要求8所述的方法，其中所述边缘图是基于所述目标场景的点云中的点的边缘得分而被生成的。
13.根据权利要求12所述的方法，其中所述边缘得分是基于指示所述点在所述目标场景的所述轮廓上的概率而被确定的。
14.根据权利要求13所述的方法，其中所述概率大于阈值概率的所述点在所述边缘图上被标识。
15.一种电子设备，包括：
处理器；以及
与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述设备执行动作，所述动作包括：
从服务器获取包括目标场景的点云和颜色的渲染数据；
确定用于在用户设备处渲染所述目标场景的位姿；以及
基于所述渲染数据和所述位姿来渲染所述目标场景，以呈现在所述位姿下的所述目标场景。
16.根据权利要求15所述的电子设备，其中所述渲染数据是第一渲染数据，并且所述第一渲染数据是通过对第二渲染数据进行下采样而被确定的，所述第二渲染数据的精细度高于所述第一渲染数据。
17.根据权利要求16所述的电子设备，其中基于所述渲染数据和所述位姿来渲染所述目标场景包括：
基于所述位姿，对所述第一渲染数据进行上采样以确定上采样后的所述第一渲染数据；以及
使用上采样后的所述第一渲染数据来确定所述目标场景在所述位姿下的点云和颜色。
18.根据权利要求15所述的电子设备，其中所述渲染数据是基于所述目标场景在不同的位姿下的多个图像的、与所述目标场景相关联的体密度特征和颜色特征而被确定的。
19.根据权利要求18所述的电子设备，所述动作还包括：
从所述服务器获取场景渲染模型；以及
使用所述场景渲染模型来渲染所述目标场景。
20.根据权利要求19所述的电子设备，其中使用所述场景渲染模型来渲染所述目标场景包括：
基于所述位姿和所述渲染数据，确定光照射在所述目标场景的点云中的点并且穿透所述点的概率；以及
基于所述概率，确定所述目标场景在所述位姿下的点云和颜色。
21.根据权利要求19所述的电子设备，其中所述场景渲染模型是基于从不同的位姿拍摄的所述目标场景的多个图像，以及所述多个图像分别对应的相机的位姿和内部参数而被训练的。
22.一种电子设备，包括：
处理器；以及
与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述设备执行动作，所述动作包括：
从服务器获取表示目标场景的轮廓的边缘图；
确定用于在用户设备处渲染所述目标场景的位姿；以及
基于所述边缘图和所述位姿来渲染所述目标场景，以呈现在所述位姿下的所述目标场景。
23.根据权利要求22所述的电子设备，所述动作还包括：
从所述服务器获取场景渲染模型；以及
使用所述场景渲染模型来渲染所述目标场景。
24.根据权利要求23所述的电子设备，其中使用所述场景渲染模型来渲染所述目标场景包括：
基于所述位姿和所述边缘图，确定光照射在所述目标场景的所述轮廓上的点并且穿透所述点的概率；以及
基于所述概率来确定所述目标场景在所述位姿下的点云和颜色。
25.根据权利要求23所述的电子设备，其中所述场景渲染模型是基于从不同的位姿拍摄的所述目标场景的多个图像、所述多个图像分别对应的相机的位姿和内部参数、以及经过预先标注的边缘图而被训练的。
26.根据权利要求22所述的电子设备，其中所述边缘图是基于所述目标场景的点云中的点的边缘得分而被生成的。
27.根据权利要求26所述的电子设备，其中所述边缘得分是基于指示所述点在所述目标场景的所述轮廓上的概率而被确定的。
28.根据权利要求27所述的电子设备，其中所述概率大于阈值概率的所述点在所述边缘图上被标识。
29.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在由设备执行时使所述设备执行根据权利要求1至7中任一项所述的方法。
30.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在由设备执行时使所述设备执行根据权利要求8至14中任一项所述的方法。
CN202210869673.5A 2022-07-22 2022-07-22 用于渲染目标场景的方法、电子设备和计算机程序产品 Pending CN117475104A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210869673.5A CN117475104A (zh) 2022-07-22 2022-07-22 用于渲染目标场景的方法、电子设备和计算机程序产品
US17/883,828 US20240029341A1 (en) 2022-07-22 2022-08-09 Method, electronic device, and computer program product for rendering target scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210869673.5A CN117475104A (zh) 2022-07-22 2022-07-22 用于渲染目标场景的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN117475104A true CN117475104A (zh) 2024-01-30

Family

ID=89576830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210869673.5A Pending CN117475104A (zh) 2022-07-22 2022-07-22 用于渲染目标场景的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US20240029341A1 (zh)
CN (1) CN117475104A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2960426A1 (en) * 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback
US10353073B1 (en) * 2019-01-11 2019-07-16 Nurulize, Inc. Point cloud colorization system with real-time 3D visualization
EP3745357A1 (en) * 2019-05-28 2020-12-02 InterDigital VC Holdings, Inc. A method and apparatus for decoding three-dimensional scenes
CN117274526A (zh) * 2022-06-13 2023-12-22 北京图森智途科技有限公司 神经网络模型训练方法和生成图像的方法

Also Published As

Publication number Publication date
US20240029341A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
EP3958207A2 (en) Method and apparatus for video frame interpolation, and electronic device
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
CN111539897A (zh) 用于生成图像转换模型的方法和装置
CN111028279A (zh) 点云数据处理方法及装置、电子设备和存储介质
JP7499412B2 (ja) 品質アセスメントのための方法、装置、及びプログラム
US11741671B2 (en) Three-dimensional scene recreation using depth fusion
CN113989174A (zh) 图像融合方法和图像融合模型的训练方法、装置
CN114359269A (zh) 基于神经网络的虚拟食品盒缺陷生成方法及系统
CN113766117B (zh) 一种视频去抖动方法和装置
CN116863078A (zh) 三维人体模型重建方法、装置、电子设备和可读介质
CN115311403B (zh) 深度学习网络的训练方法、虚拟形象生成方法及装置
CN117475104A (zh) 用于渲染目标场景的方法、电子设备和计算机程序产品
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN114820908B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
US20240161391A1 (en) Relightable neural radiance field model
CN112884794B (zh) 生成图像方法、装置、电子设备和计算机可读介质
CN116310408B (zh) 一种建立事件相机与帧相机数据关联的方法及装置
CN116385643B (zh) 虚拟形象生成、模型的训练方法、装置及电子设备
CN117456085A (zh) 三维重建模型训练、图像重建方法和装置
KR20240049098A (ko) 뷰 증강 기반의 뉴럴 렌더링 방법 및 장치
CN118229552A (zh) 图像处理方法、电器设备、可读存储介质和程序产品
CN117671115A (zh) 动态人像渲染方法、装置、电子设备和计算机可读介质
CN113901997A (zh) 图像风格转换方法、装置、设备、存储介质及程序产品
CN116503460A (zh) 深度图获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination