CN115049802A - 背景天空盒构建方法和电子装置 - Google Patents

背景天空盒构建方法和电子装置 Download PDF

Info

Publication number
CN115049802A
CN115049802A CN202110425287.2A CN202110425287A CN115049802A CN 115049802 A CN115049802 A CN 115049802A CN 202110425287 A CN202110425287 A CN 202110425287A CN 115049802 A CN115049802 A CN 115049802A
Authority
CN
China
Prior art keywords
content
frame
sky box
objects
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110425287.2A
Other languages
English (en)
Inventor
陈俊霖
武景龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN115049802A publication Critical patent/CN115049802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)
  • Telephone Function (AREA)
  • Toys (AREA)

Abstract

本公开的实施例提供一种背景天空盒构建方法和电子装置。所述方法包含：获得第一内容帧且重新投影第一内容帧，其中重新投影的第一内容帧与第一视角相对应且包含多个第一对象；响应于判定第一内容帧具有表征各第一对象的深度的第一深度图，基于各第一对象的深度将第一对象划分为N个第一组，其中N为正整数；基于N个第一组构建N个天空盒层中的每一个的第一部分，其中各天空盒层的第一部分与第一视角相对应；以及将重新投影的第一内容帧与N个天空盒层组合以产生第一视觉内容且输出第一视觉内容。借此，可改善用户的虚拟现实(VR)体验。

Description

背景天空盒构建方法和电子装置
技术领域
本公开大体上涉及一种用于改善视觉体验的机制，具体来说，涉及一种背景天空盒(skybox)构建方法和一种电子装置。
背景技术
在提供虚拟现实(virtual reality；VR)服务期间，使用户感到身临其境是至关重要的。在一些情况下，当帧率由于某些原因(例如，重场景渲染)而下降时，可使用类似于重新投影的技术(例如，异步时间扭曲(asynchronous time wrap；ATW)、异步空间扭曲(asynchronous space wrap；ASW)等)来表示丢失帧以维持VR体验。然而，使用这些重新投影技术，视觉内容中可能存在黑边，使得沉浸式体验将受到负面影响。
相同的问题出现在远程VR流媒体内，这是因为流媒体导致的较长时延也会在重新投影之后引入这样的黑边。
发明内容
因此，本公开涉及一种背景天空盒构建方法和一种电子装置，其可用于解决上述技术问题。
本公开的实施例提供一种适用于电子装置的背景天空盒构建方法。所述方法包含：获得第一内容帧且重新投影第一内容帧，其中经重新投影的第一内容帧与第一视角相对应且包含多个第一对象；响应于判定第一内容帧具有表征各第一对象的深度的第一深度图，基于各第一对象的深度将第一对象划分为N个第一组，其中N为正整数；基于N个第一组构建N个天空盒层中的每一个的第一部分，其中各天空盒层的第一部分与第一视角相对应；以及将经重新投影的第一内容帧与N个天空盒层组合以产生第一视觉内容且输出第一视觉内容。
本公开的实施例提供一种电子装置，其包含存储电路和处理器。存储电路存储程序代码。处理器连接到存储电路且存取程序代码以执行：获得第一内容帧且重新投影第一内容帧，其中经重新投影的第一内容帧与第一视角相对应且包含多个第一对象；响应于判定第一内容帧具有表征各第一对象的深度的第一深度图，基于各第一对象的深度将第一对象划分为N个第一组，其中N为正整数；基于N个第一组构建N个天空盒层中的每一个的第一部分，其中各天空盒层的第一部分与第一视角相对应；以及将重新投影的第一内容帧与N个天空盒层组合以产生第一视觉内容且输出第一视觉内容。
附图说明
包含附图以提供对本发明的进一步理解，且附图并入在本说明书中且构成本说明书的一部分。附图示出本发明的实施例，且与描述一起用以解释本公开的原理。
图1绘示根据本公开的示例性实施例的电子装置的示意图。
图2绘示根据本公开的实施例的背景天空盒构建方法的流程图。
附图标号说明
100：电子装置；
102：存储电路；
104：处理器；
S210、S220、S230、S240、S250、S260：步骤。
具体实施方式
现将详细参考本发明的当前优选实施例，其实例在附图中示出。只要可能，在附图和描述中使用相同的附图标号来指代相同或类似部分。
参看图1，其绘示根据本公开的示例性实施例的电子装置的示意图。在各种实施例中，电子装置100可为可向用户提供视觉内容(例如，VR内容)的任何装置。在本公开的实施例中，电子装置100可为VR系统的主机，其中VR系统可包含例如头戴式显示器(head-mounted display；HMD)、VR控制器、位置跟踪元件的其它元件，但本公开不限于此。在其它实施例中，电子装置100还可为独立的VR HMD，其可产生VR内容且向其用户显示VR内容，但本公开不限于此。
在图1中，手持装置100包含存储电路102和处理器104。存储电路102为固定或移动随机存取存储器(random access memory；RAM)、只读存储器(read-only memory；ROM)、快闪存储器、硬盘或任何其它类似装置中的一个或组合，且其记录可由处理器104执行的多个模块。
处理器104可与存储电路102连接，且处理器104可为例如图形处理单元(graphicprocessing unit；GPU)、通用处理器、专用处理器、常规处理器、数字信号处理器(digitalsignal processor；DSP)、多个微处理器、与DSP内核相关联的一或多个微处理器、控制器、微控制器、专用集成电路(Application Specific Integrated Circuit；ASIC)、现场可编程门阵列(Field Programmable Gate Array；FPGA)电路、任何其它类型的集成电路(integrated circuit；IC)、状态机等。
在本公开的实施例中，处理器104可存取存储在存储电路102中的模块和/或程序代码以实施本公开中所提供的背景天空盒构建方法，这将在下文中进一步论述。
参看图2，其绘示根据本公开的实施例的背景天空盒构建方法的流程图。这一实施例的方法可由图1中的电子装置100执行，且下文将使用图1中所绘示的组件来描述图2中的各步骤的细节。
首先，在步骤S210中，处理器104可获得第一内容帧且重新投影第一内容帧。在实施例中，第一内容帧可为与由处理器104提供的VR服务相关的图像帧中的一个，且经重新投影的第一内容帧可与第一视角相对应且包含多个第一对象(例如，VR对象)。
更具体地说，如在上文中所提及，处理器104可能需要通过在一些场景中执行ASW或ATW来重新投影第一内容帧。举例来说，当用户以特定视角观看第一内容帧时，电子装置100可向用户提供/显示第一内容帧。然而，在较低帧率条件或其类似条件下，可能存在一些丢失帧。假设次于第一内容帧的内容帧丢失，且用户在与次于第一内容帧的内容帧相对应的时点处将他的/她的视角改变为第一视角，处理器104可能需要重新投影第一内容帧。
然而，经重新投影的第一内容帧中可能存在一些黑边。如果将经重新投影的第一内容帧直接显示给用户，那么用户的VR体验可由于看到黑边而受到影响。因此，本公开的方法可用于解决这一问题，这将在下文中进行论述。
具体地说，在步骤S220中，处理器104可判断第一内容帧是否具有表征各第一对象的深度的第一深度图。如果是，那么处理器104可继续进行到步骤S230；如果否，那么处理器104可继续进行到步骤S240，其中步骤S240的细节将稍后论述。
在步骤S230中，处理器104可基于各第一对象的深度将第一对象划分为N个第一组，其中N为正整数。在一个实施例中，处理器104可首先获得N个深度阈值(由T1-TN表示)，其中N个深度阈值可基于设计者的要求而决定，但本公开不限于此。
在一个实施例中，深度阈值中的第j个深度阈值(即，Tj)可大于深度阈值中的第(j-1)个深度阈值(即，Tj-1)，其中j在2至N的范围内。也就是说，T1-TN可以升序排列，但本公开不限于此。
接着，在判定N个第一组中的第i个(其中i在1至N的范围内)第一组(由Gi表示)期间，处理器104可将深度小于Ti的第一对象定义为属于Gi。也就是说，Gi将包含深度小于Ti的第一对象。
在此情况下，G1将包含深度小于T1的第一对象，G2将包含深度小于T2的第一对象，且GN将包含深度小于TN的第一对象等等。另外，在T1-TN以升序排列的情况下，Gj将包含属于Gj-1的所有第一对象和深度在Tj-1与Tj之间的其它第一对象。在一些情况下，GN可包含所有第一对象，但本公开不限于此。
然后，在步骤S250中，处理器104可基于N个第一组构建N个天空盒层中的每一个的第一部分，其中各天空盒层的第一部分可与第一视角相对应。在本公开的实施例中，天空盒层的第j个天空盒层(表示为Lj)可环绕天空盒层的第(j-1)个天空盒层(表示为Lj-1)。也就是说，Lj可理解为在Lj-1的外部，或Lj比Lj-1离用户更远，但本公开不限于此。
在一个实施例中，在构建第i个天空盒层(即，Li)的第一部分期间，处理器104可将第i个第一组(即，Gi)中的第一对象映射到Li上。在这种情况下，属于Gi的第一对象将在Li上显示。
在步骤S260中，处理器104可将经重新投影的第一内容帧与N个天空盒层组合以产生第一视觉内容且输出第一视觉内容。
在一个实施例中，在将经重新投影的第一内容帧与N个天空盒层组合期间，处理器104可使用经重新投影的第一内容帧作为第一视觉内容的前景且使用N个天空盒层作为第一视觉内容的背景。
从另一个角度看，因为各天空盒层的第一部分与用户的第一视角相对应，所以可将步骤S250理解为构建用户正在注视的背景部分，但本公开不限于此。因此，最初存在于经重新投影的第一内容帧中的黑边将由N个天空盒层填充，以使得第一视觉内容中将不存在黑边。
在一个实施例中，如果电子装置100是独立的VR HMD，那么处理器104可显示第一视觉内容以供用户观看。在另一实施例中，如果电子装置100是VR系统的主机，那么电子装置100可向VR系统的HMD提供第一视觉内容以供用户观看。因此，用户的VR体验将不受黑边影响。
返回参考步骤S240，因为第一内容帧可包含第一眼部帧(例如，用于左眼的帧)和第二眼部帧(例如，用于右眼的帧)，所以处理器104可基于第一眼部帧和第二眼部帧产生表征各第一对象的深度的第一深度图且继续进行到步骤S230。在各种实施例中，用于处理器104基于第一眼部帧和第二眼部帧产生第一深度图的机制可以是本领域中的任何相关算法，在此将不进一步论述。
在一个实施例中，处理器104可判断处理负载(例如，处理器104的负载)是否低于负载阈值。如果是，那么表示处理器104因足够空闲而可以基于第一眼部帧和第二眼部帧产生第一深度图，且因此处理器104可基于第一眼部帧和第二眼部帧产生表征各第一对象的深度的第一深度图。
另一方面，响应于判定处理负载不低于负载阈值，其表示处理器104可能太忙而不能基于第一眼部帧和第二眼部帧产生第一深度图。在这种情况下，处理器104可基于所有第一对象来构建第N个天空盒层(即，LN)的第一部分。也就是说，当处理负载过高时，处理器104可仅构建LN(其可为离用户最远的天空盒层)的第一部分，但本公开不限于此。
在其它实施例中，因为用户可能在使用VR服务时环顾四周，且因此本公开的实施例可随着用户视角的变化逐渐地逐层构建天空盒层中的每一个。
举例来说，处理器104可获得第二内容帧且可重新投影第二内容帧，其中经重新投影的第二内容帧可与不同于第一视角的第二视角相对应，且经重新投影的第二内容帧可包含多个第二对象。响应于判定第二内容帧具有表征各第二对象的深度的第二深度图，处理器104可基于各第二对象的深度将第二对象划分为N个第二组，且基于N个第二组构建各天空盒层的第二部分，其中各天空盒层的第二部分与第二视角相对应。接着，处理器104可将重新投影的第二内容帧与N个天空盒层组合以产生第二视觉内容且输出第二视觉内容。上述技术手段的细节可参考上述实施例中的教示，在此将不重复。
简单来说，当用户的视角改变为第二视角时，处理器104可相应地构建各天空盒层的第二部分，以使得第二视觉内容中不会有黑边，但本公开不限于此。
然而，不同VR场景可与不同背景相对应。因此，在一些实施例中，在构建各天空盒层的第二部分之前，处理器104可判定第二内容帧和第一内容帧是否与不同场景相对应。响应于判定第二内容帧和第一内容帧与不同场景相对应，处理器104可重置N个天空盒层。
也就是说，当处理器104判定VR环境已经改变为新场景时，处理器104可重置/清除先前构建的天空盒层，且随着用户视角的变化逐渐构建与新场景相对应的天空盒层，但本公开不限于此。
总的来说，在重新投影第一内容帧之后，本公开的实施例可基于第一内容帧中的第一对象的深度来分离第一内容帧中的第一对象，且相应地将第一对象映射到对应的天空盒层。然后，经重新投影的第一内容帧可与天空盒层组合以产生没有黑边的第一视觉内容。因此，可改善用户的VR体验。
本领域的技术人员将显而易见的是，在不脱离本公开的范围或精神的情况下，可对本发明的结构进行各种修改和变化。鉴于前述内容，希望本公开涵盖属于所附权利要求书和其等效物的范围内的本发明的修改和变化。

Claims (20)

1.一种背景天空盒构建方法，适用于电子装置，包括：
获得第一内容帧且重新投影所述第一内容帧，其中经重新投影的所述第一内容帧与第一视角相对应且包括多个第一对象；
响应于判定所述第一内容帧具有表征各所述第一对象的深度的第一深度图，基于各所述第一对象的所述深度将所述多个第一对象划分为N个第一组，其中N为正整数；
基于所述N个第一组构建N个天空盒层中的每一个的第一部分，其中各所述天空盒层的所述第一部分与所述第一视角相对应；以及
将经重新投影的所述第一内容帧与所述N个天空盒层组合以产生第一视觉内容且输出所述第一视觉内容。
2.根据权利要求1所述的背景天空盒构建方法，其中所述N个第一组中的第i个第一组包括深度小于N个深度阈值中的第i个深度阈值的所述多个第一对象，其中i在1至N的范围内，其中所述多个深度阈值中的第j个深度阈值大于所述多个深度阈值中的第(j-1)个深度阈值，其中j在2至N的范围内。
3.根据权利要求1所述的背景天空盒构建方法，其中基于所述N个第一组构建所述N个天空盒层中的每一个的所述第一部分的所述步骤包括：
将所述多个第一组中的第i个第一组中的所述多个第一对象映射到第i个天空盒层上。
4.根据权利要求1所述的背景天空盒构建方法，其中所述多个天空盒层中的第j个天空盒层环绕所述多个天空盒层中的第(j-1)个天空盒层，其中j在2至N的范围内。
5.根据权利要求1所述的背景天空盒构建方法，其中所述第一内容帧包括第一眼部帧以及第二眼部帧，且所述方法还包括：
响应于判定所述第一内容帧没有深度图，基于所述第一眼部帧以及所述第二眼部帧产生表征各所述第一对象的所述深度的所述第一深度图。
6.根据权利要求5所述的背景天空盒构建方法，还包括：
响应于判定处理负载低于负载阈值，基于所述第一眼部帧以及所述第二眼部帧产生表征各所述第一对象的所述深度的所述第一深度图；以及
响应于判定所述处理负载不低于所述负载阈值，基于所有所述多个第一对象构建第N个天空盒层的所述第一部分。
7.根据权利要求1所述的背景天空盒构建方法，其中经重新投影的所述第一内容帧用作所述第一视觉内容的前景，且所述N个天空盒层用作所述第一视觉内容的背景。
8.根据权利要求1所述的背景天空盒构建方法，其中所述电子装置是虚拟现实(VR)系统的主机或独立的虚拟现实头戴式显示器。
9.根据权利要求1所述的背景天空盒构建方法，还包括：
获得第二内容帧且重新投影所述第二内容帧，其中经重新投影的所述第二内容帧与第二视角相对应，且包括多个第二对象；
响应于判定所述第二内容帧具有表征各所述第二对象的深度的第二深度图，基于各所述第二对象的所述深度将所述多个第二对象划分为N个第二组；
基于所述N个第二组构建各所述天空盒层的第二部分，其中各所述天空盒层的所述第二部分与所述第二视角相对应；以及
将经重新投影的所述第二内容帧与所述N个天空盒层组合以产生第二视觉内容且输出所述第二视觉内容。
10.根据权利要求9所述的背景天空盒构建方法，其中在构建各所述天空盒层的所述第二部分的所述步骤之前，所述方法还包括：
响应于判定所述第二内容帧以及所述第一内容帧与不同场景相对应，重置所述N个天空盒层。
11.一种电子装置，包括：
存储电路，其存储程序代码；以及
处理器，其连接到所述存储电路且存取所述程序代码以执行：
获得第一内容帧且重新投影所述第一内容帧，其中经重新投影的所述第一内容帧与第一视角相对应且包括多个第一对象；
响应于判定所述第一内容帧具有表征各所述第一对象的深度的第一深度图，基于各所述第一对象的所述深度将所述多个第一对象划分为N个第一组，其中N为正整数；
基于所述N个第一组构建N个天空盒层中的每一个的第一部分，其中各所述天空盒层的所述第一部分与所述第一视角相对应；以及
将经重新投影的所述第一内容帧与所述N个天空盒层组合以产生第一视觉内容且输出所述第一视觉内容。
12.根据权利要求11所述的电子装置，其中所述N个第一组中的第i个第一组包括深度小于N个深度阈值中的第i个深度阈值的所述多个第一对象，其中ⅰ在1至N的范围内，其中所述多个深度阈值中的第j个深度阈值大于所述多个深度阈值中的第(j-1)个深度阈值，其中j在2至N的范围内。
13.根据权利要求11所述的电子装置，其中当基于所述N个第一组构建N个天空盒层中的每一个的所述第一部分时，所述处理器将所述多个第一组中的第i个第一组中的所述多个第一对象映射到第i个天空盒层上。
14.根据权利要求11所述的电子装置，其中所述多个天空盒层中的第j个天空盒层环绕所述多个天空盒层中的第(j-1)个天空盒层，其中j在2至N的范围内。
15.根据权利要求11所述的电子装置，其中所述第一内容帧包括第一眼部帧以及第二眼部帧，且所述处理器还执行：
响应于判定所述第一内容帧没有深度图，基于所述第一眼部帧以及所述第二眼部帧产生表征各所述第一对象的所述深度的所述第一深度图。
16.根据权利要求15所述的电子装置，其中所述处理器还执行：
响应于判定处理负载低于负载阈值，基于所述第一眼部帧以及所述第二眼部帧产生表征各所述第一对象的所述深度的所述第一深度图；以及
响应于判定所述处理负载不低于所述负载阈值，基于所有所述多个第一对象构建第N个天空盒层的所述第一部分。
17.根据权利要求11所述的电子装置，其中经重新投影的所述第一内容帧用作所述第一视觉内容的前景，且所述N个天空盒层用作所述第一视觉内容的背景。
18.根据权利要求11所述的电子装置，其中所述电子装置是虚拟现实(VR)系统的主机或独立的虚拟现实头戴式显示器。
19.根据权利要求11所述的电子装置，其中所述处理器还执行：
获得第二内容帧且重新投影所述第二内容帧，其中经重新投影的所述第二内容帧与第二视角相对应且包括多个第二对象；
响应于判定所述第二内容帧具有表征各所述第二对象的深度的第二深度图，基于各所述第二对象的所述深度将所述多个第二对象划分为N个第二组；
基于所述N个第二组构建各所述天空盒层的第二部分，其中各所述天空盒层的所述第二部分与所述第二视角相对应；以及
将经重新投影的所述第二内容帧与所述N个天空盒层组合以产生第二视觉内容且输出所述第二视觉内容。
20.根据权利要求19所述的电子装置，其中在构建各所述天空盒层的所述第二部分之前，所述处理器还执行：
响应于判定所述第二内容帧以及所述第一内容帧与不同场景相对应，重置所述N个天空盒层。
CN202110425287.2A 2021-03-08 2021-04-20 背景天空盒构建方法和电子装置 Pending CN115049802A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/195,562 US11205310B1 (en) 2021-03-08 2021-03-08 Background skybox constructing method and electronic device
US17/195,562 2021-03-08

Publications (1)

Publication Number Publication Date
CN115049802A true CN115049802A (zh) 2022-09-13

Family

ID=78918334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110425287.2A Pending CN115049802A (zh) 2021-03-08 2021-04-20 背景天空盒构建方法和电子装置

Country Status (3)

Country Link
US (1) US11205310B1 (zh)
CN (1) CN115049802A (zh)
TW (1) TWI764672B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1296873C (zh) * 2004-07-15 2007-01-24 浙江大学 基于相对深度计算的画中游方法
US8319825B1 (en) * 2008-06-16 2012-11-27 Julian Urbach Re-utilization of render assets for video compression
CN105704476B (zh) * 2016-01-14 2018-03-20 东南大学 一种基于边缘修复的虚拟视点图像频域快速获取方法
WO2018021067A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法
KR102468897B1 (ko) * 2017-10-16 2022-11-21 삼성전자주식회사 깊이 값을 추정하는 방법 및 장치
CN109005314B (zh) * 2018-08-27 2020-07-28 维沃移动通信有限公司 一种图像处理方法及终端
CN109785429B (zh) * 2019-01-25 2020-08-21 北京极智无限科技有限公司 一种三维重建的方法和装置
US11257272B2 (en) * 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
CN110889384A (zh) * 2019-11-30 2020-03-17 北京城市网邻信息技术有限公司 场景切换方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
US11205310B1 (en) 2021-12-21
TWI764672B (zh) 2022-05-11
TW202235964A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
EP3179447B1 (en) Foveated rendering
CN109377546B (zh) 虚拟现实模型渲染方法及装置
GB2559042B (en) Allocation of tiles to processing engines in a graphics processing system
US7697751B2 (en) Use of ray tracing for generating images for auto-stereo displays
CN108805979B (zh) 一种动态模型三维重建方法、装置、设备和存储介质
CN111598986B (zh) 虚拟流体表面的渲染方法、装置、设备及存储介质
CN109985384B (zh) 贴图动态调整方法及装置
US20210049981A1 (en) Systems and methods for foveated rendering
KR20160031328A (ko) 렌더링 방법 및 장치
CN112468796B (zh) 注视点生成方法、系统及设备
EP4213102A1 (en) Rendering method and apparatus, and device
US20130141451A1 (en) Circular scratch shader
CN113900797A (zh) 基于虚幻引擎的三维倾斜摄影数据处理方法、装置及设备
CN111968214A (zh) 一种体积云渲染方法、装置、电子设备及存储介质
US8681154B1 (en) Adaptive rendering of indistinct objects
CN109903374B (zh) 虚拟对象的眼球模拟方法、装置及存储介质
US10839587B2 (en) Image processing methods and devices for moving a target object by using a target ripple
EP2034446A1 (en) Image processing program and image processor
JP6947939B2 (ja) 画像生成装置、画像生成方法及びプログラム
US9092888B1 (en) Volume rendering a graphical 3D scene containing a 3D volumetric object and atmospheric effects
CN115049802A (zh) 背景天空盒构建方法和电子装置
KR102126919B1 (ko) 악천후에서의 도로 객체 검출을 위한 비 영상 합성 기법
CN107977923B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2003233836A (ja) モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法
CN113808246B (zh) 一种贴图的生成方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination