CN114513646A - 一种三维虚拟场景中全景视频的生成方法及设备 - Google Patents

一种三维虚拟场景中全景视频的生成方法及设备 Download PDF

Info

Publication number
CN114513646A
CN114513646A CN202210001081.1A CN202210001081A CN114513646A CN 114513646 A CN114513646 A CN 114513646A CN 202210001081 A CN202210001081 A CN 202210001081A CN 114513646 A CN114513646 A CN 114513646A
Authority
CN
China
Prior art keywords
panoramic video
virtual camera
pixel point
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210001081.1A
Other languages
English (en)
Other versions
CN114513646B (zh
Inventor
任子健
史东平
刘金朋
吴连朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202210001081.1A priority Critical patent/CN114513646B/zh
Publication of CN114513646A publication Critical patent/CN114513646A/zh
Application granted granted Critical
Publication of CN114513646B publication Critical patent/CN114513646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请涉及全景视频技术领域，提供一种三维虚拟场景中全景视频的生成方法及设备，可生成2D全景视频和3D全景视频。通过虚拟相机的视场角大小，以及待生成全景视频的预设分辨率，确定目标分辨率，且针对每一全景视频帧时，根据已加载的三维虚拟场景，离屏渲染目标分辨率大小的目标图像，并将目标图像的中心像素点的颜色值作为相应像素点的颜色值，遍历每个像素点后，生成一帧全景视频图像。由于待生成全景视频的分辨率可预先进行灵活设置，且不受显示设备的屏幕分辨率的限制，从而能够生成任意分辨率的全景视频，且直接从目标图像中获取像素点的颜色值，不需要拼接处理，避免了由于拼接造成的接缝和变形问题，可以有效提升目标全景视频的质量。

Description

一种三维虚拟场景中全景视频的生成方法及设备
技术领域
本申请涉及全景视频技术领域，尤其涉及一种三维虚拟场景中全景视频的生成方法及设备。
背景技术
全景视频是一种在三维空间中观看的、具有360度观看视角的交互类视频，全景视频一般通过全景相机实地拍摄而成。
随着虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)技术的发展，虚拟社交丰富了人们的社交方式，重现了第一代社交方式中面对面的沉浸感。为了满足虚拟社交的需求，需要生成三维虚拟场景的全景视频。
目前，三维虚拟场景中全景视频的传统生成方式中，全景视频的分辨率是由显示设备的屏幕分辨率确定的，无法灵活的设定全景视频的分辨率。一般的，视频的分辨率越高，显示的图像内容越清晰，因此，当无法生成设定分辨率的全景视频，可能会造成视频模糊的现象。并且，采用传统的生成方式生成的全景视频，存在明显的拼接缝隙，降低了用户的沉浸式体验。
发明内容
本申请实施例提供了一种三维虚拟场景中全景视频的生成方法及显示设备，用以灵活生成任意分辨率的全景视频，以及提高全景视频的质量。
一方面，本申请实施例提供一种全景视频的生成方法，应用于三维虚拟场景，包括：
根据预设的待生成全景视频的视频类型，创建虚拟相机；
根据所述虚拟相机的视场角大小，以及所述待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率；
针对所述待生成全景视频的每一全景视频帧，遍历所述全景视频帧的每个像素点，根据所述虚拟相机与所述像素点的空间位置关系，调整所述虚拟相机的朝向，并根据所述虚拟相机的朝向从所述目标分辨率大小的目标图像中获取所述像素点的颜色值，其中，所述目标图像是根据已加载的三维虚拟场景离屏渲染的；
根据所述全景视频帧中每个像素点的颜色值，生成一帧与所述视频类型相匹配的全景视频图像；
对各帧全景视频图像进行编码，生成目标全景视频。
另一方面，本申请实施例提供一种显示设备，应用于三维虚拟场景，包括处理器、存储器、显示器，所述显示器、所述存储器与所述处理器通过总线连接；
所述存储器存储有计算机程序，所述处理器根据所述计算机程序执行以下操作：
根据预设的待生成全景视频的视频类型，创建虚拟相机；
根据所述虚拟相机的视场角大小，以及所述待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率；
针对所述待生成全景视频的每一全景视频帧，遍历所述全景视频帧的每个像素点，根据所述虚拟相机与所述像素点的空间位置关系，调整所述虚拟相机的朝向，并根据所述虚拟相机的朝向从所述目标分辨率大小的目标图像中获取所述像素点的颜色值，其中，所述目标图像是根据已加载的三维虚拟场景离屏渲染的；
根据所述全景视频帧中每个像素点的颜色值，生成一帧与所述视频类型相匹配的全景视频图像；
对各帧全景视频图像进行编码，生成目标全景视频，并由所述显示器进行显示。
另一方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使显示设备执行全景视频的生成方法。
本申请的上述实施例中，根据预设的待生成全景视频的视频类型，创建用于离屏渲染的虚拟相机，从而克服显示屏幕分辨率的限制；根据虚拟相机的视场角大小，以及待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率。进一步地，针对待生成全景视频中的每一全景视频帧，遍历全景视频帧的每个像素点，根据虚拟相机与像素点的空间位置关系，调整虚拟相机的朝向，然后根据已加载的三维虚拟场景，实时离屏渲目标图像，使得目标图像能够真实的反应三维虚拟场景，并根据虚拟相机的朝向从目标分辨率大小的目标图像中获取相应像素点的颜色值，并根据每个像素点的颜色值，生成一帧与视频类型相匹配的全景视频图像，对各帧全景视频图像编码后得到目标全景视频。由于待生成全景视频的分辨率可预先进行灵活设置，且不受显示设备的屏幕分辨率的限制，从而能够生成任意分辨率的全景视频；并且，每一全景视频帧中的像素点的颜色值是直接从目标图像中获取的，不需要拼接处理，避免了由于拼接造成的接缝和变形问题，可以有效提升目标全景视频的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1中示例性示出了本申请实施例提供的ERP投影方式示意图；
图2中示例性示出了本申请实施例提供的ERP格式的真实全景视频图像；
图3中示例性示出了本申请实施例提供的2D全景视频的生成方法流程图；
图4中示例性示出了本申请实施例提供的球面网格的球面坐标系示意图；
图5中示例性示出了本申请实施例提供的3D全景视频的生成方法流程图；
图6中示例性示出了本申请实施例提供的左右3D模式的全景视频图像；
图7中示例性示出了本申请实施例提供的上下3D模式的全景视频图像；
图8中示例性示出了本申请实施例提供的2D和3D全景视频的生成方法流程图；
图9中示例性示出了本申请实施例提供的显示设备的结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
本申请的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
下面对本申请是实施例的设计思想进行概述。
全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。
传统的生成三维虚拟场景中全景视频的方法受限于显示设备的硬件条件，往往无法生成任意指定分辨率的全景视频，尤其是生成高分辨率的全景视频；并且，与实景拍摄方式一样，需要将不同方位的图像进行拼接处理，这就造成了三维虚拟场景中全景视频的生成方式不够灵活，耗时较长的问题。
鉴于此，本申请实施例提供了一种三维虚拟场景中全景视频的生成方法及设备，该方法通过离屏渲染全景视频图像，克服了显示设备硬件条件的限制，可以生成任意指定分辨率的目标全景视频，且视频生成过程中，全景视频帧中每个像素点的颜色值取目标图像的中心点像素点的颜色值，所以不需要进行图像拼接，有效提升了全景视频的生成效率，且避免了由于拼接造成的接缝和变形问题，提升全景视频的质量，进而提升了用户在三维虚拟场景中的沉浸式体验。
下面以全景视频中使用最广泛的等矩柱状投影(Equirectangular Projection，ERP)方式为例，详细描述本申请的实施例。
如图1所示，ERP投影方式把球面的经线映射成间距相等的垂直线，把球面的纬线映射成间距相等的水平线，可生成一幅横纵分辨率比为2∶1的二维矩形图像。
基于图1所示的ERP投影方式，图2示例性示出了真实片源的全景视频图像。
本申请实施例提供的三维虚拟场中全景视频的生成方法，可以生成2D类型的全景视频，可以生成3D类型的全景视频。
以生成2D视频类型的全景视频为例，如图3所示，该方法由具有全景视频播放功能的显示设备执行，主要包括以下几步：
S301：创建一个虚拟相机。
作为一个实施例，当预先设定待生成全景视频的视频类型为2D时，显示设备在渲染引擎中创建一个虚拟相机，该虚拟相机相当于人眼的眼睛，用于离屏渲染全景视频，从而克服显示屏幕分辨率大小的限制。
S302：根据虚拟相机的视场角大小，以及待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率。
由于本申请实施例的全景视频采用ERP投影方式，因此，预先设定的待生成全景视频的横向分辨率(记为X)与纵向分辨率(记为Y)的比值为2∶1，即X＝2Y。
在S302中，假设虚拟相机的水平视场角为A，竖直视场角为B，目标图像的目标分辨率为(X1，Y1)，其中，X1表示用于离屏渲染的目标图像的横向分辨率，Y1表示用于离屏渲染的目标图像的纵向分辨率。由于虚拟相机在水平方向上的视场角A小于360°，且在竖直方向上的视场角B小于180°，所以，目标图像的目标分辨率(X1，Y1)与待生成全景视频的预设分辨率(X，Y)大小并不相等。根据ERP投影方式可知，全景视频中两个相邻像素点(不管是上下相邻，还是左右相邻)之间的角度跨度为360°/X，则目标图像的目标分辨率的计算公式如下：
X1＝A/(360°/X)＝A*X/360° 公式1
Y1＝B/(360°/X)＝B*X/360° 公式2
确定目标分辨率后，相当于生成了一张空白的目标图像，该目标图像可根据实时加载的三维虚拟场景进行离屏渲染，离屏渲染后的目标图像真实反应了三维虚拟场景中的人或物的状态，可作为待生成全景视频中像素点的颜色值来源。
接下来，针对待生成全景视频中的每一全景视频帧，执行以下操作：
S303：遍历全景视频帧的每个像素点，根据虚拟相机与该像素点的空间位置关系，调整虚拟相机的朝向，并根据虚拟相机的朝向，从目标分辨率大小的目标图像中获取该像素点的颜色值。
在本申请的实施例中，球面网格作为全景视频在三维虚拟场景中的播放载体，按照ERP投影方式，将三维虚拟场景中的人、物映射在球面网格上，展开后即可得到全景视频图像，因此，全景视频帧的每个像素点，在球面网格上都存在对应的顶点。
以全景视频帧的第i行、第j列的一个像素点为例，该像素点在球面网格上对应的顶点P的确定方式如下：
图4为播放全景视频所使用的球面网格的球面坐标系，如图4所示，假设球面网格的半径为R，P为待生成全景视频中任意一个全景视频帧的第i行第j列像素点在球面网格上对应的顶点，P点的坐标记为(Px、Py、Pz)，且P点在XOZ平面上的垂点为P1，P1在X轴上的垂点为P2，P在Y轴上的垂点为P3，P1在Z轴上的垂点为P4，则P点坐标还可表示为(P2O，P3O，P4O)。由于球面网格在经度方向上的跨度为360°，在纬度方向上的跨度为180°，P点在经度方向上的角度α范围为0°～360°在纬度方向上的角度β范围0°～180°，因此，α＝j*360°/X，β＝i*180°/Y。根据几何关系可知，第i行第j列像素点在球面网格上对应的顶点P的三维坐标为：
Px＝-R*sin(β)*sin(α) 公式3
Py＝R*cos(β) 公式4
Pz＝-R*sin(β)*cos(α) 公式5
通过公式3-5，可以获得全景视频帧的每个像素点在球面网格上对应的顶点。
由于三维虚拟场景中的人、物映射在球面网格上展开后即可得到全景视频图像，这样，在待生成全景视频的视频帧中，每个像素点在三维虚拟场景中的对应点、每个像素点在球面网格上对应的顶点、以及虚拟相机三者在一条直线上。因此，在执行S303时，可基于该空间位置关系，调整虚拟相机的朝向，并根据相机的朝向，确定全景视频帧中每个像素点的颜色值。
具体实施时，针对每一个像素点，根据虚拟相机与该像素点在球面网格上对应的顶点在三维空间中的共线性，调整虚拟相机的朝向，以使虚拟相机朝向该像素点对应的顶点，由于目标图像的目标分辨率大小是通过虚拟相机的视场角和待生成全景视频的预设分辨率确定的，因此，该像素点对应的顶点在空白的目标图像上的投影点为目标分辨率的中心像素点。进一步地，在确定该像素点对应的中心像素点后，根据已加载的三维虚拟场景，离屏渲染目标图像，并获取目标图像的中心像素点的颜色值，将获取的中心像素点的颜色值，作为虚拟相机朝向的顶点对应的像素点的颜色值。
S304：根据全景视频帧中每个像素点的颜色值，生成一帧2D全景视频图像。
在本申请的实施例中，遍历全景视频帧的每个像素点后，根据每个像素点的颜色值，得到一张2D全景视频图像。
S305：对各帧2D全景视频图像进行编码，生成2D全景视频。
在S305中，对每一帧2D全景视频图像进行编码后，可生成三维虚拟场景中的2D全景初频。
本申请实施例提供的三维虚拟场中全景视频的生成方法，还可以生成3D全景视频，具体流程参见图5：
S501：创建两个虚拟相机。
作为一个实施例，当预先设定待生成全景视频的视频类型为3D时，显示设备在渲染引擎中创建两个虚拟相机，为区别描述，分别记为第一虚拟相机和第二虚拟相机，第一虚拟相机相当于人的左眼，用于离屏渲染全景视频帧中左眼全景视频图像，第二虚拟相机相当于人的右眼，用于离屏渲染全景视频帧中右眼全景视频图像。
通常的，第一虚拟相机和第二虚拟相机的视场角(包括水平方向的视场角和竖直方向的视场角)大小相同，但二者在水平方向具有左右眼视差，记为offset，offset的大小可根据实际需求预先设置。
S502：根据虚拟相机的视场角大小，以及待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率。
由于第一虚拟相机和第二虚拟相机的视场角大小相同，因此，第一虚拟相机对应的第一目标图像的第一目标分辨率和第二虚拟相机对应的第二目标图像的第二分辨率大小相同，仅需确定一次目标分辨率即可。其中，目标分辨率的计算方式参见S302，在此不再重复。
确定目标分辨率后，相当于生成了一张空白的目标图像，该目标图像可根据实时加载的三维虚拟场景进行离屏渲染，且离屏渲染后的目标图像可作为待生成全景视频中左眼全景视频图像和右眼全景视频图像的像素点的颜色值来源。
接下来，针对待生成全景视频中的每一全景视频帧，通过第一虚拟相机离屏渲染全景视频帧中左眼全景视频图像，具体操作参见S503a～S504a：
S503a：遍历全景视频帧的每个像素点，根据第一虚拟相机与该像素点的空间位置关系，调整第一虚拟相机的朝向，并根据第一虚拟相机的朝向，从目标分辨率大小的目标图像中获取该像素点的颜色值。
在S503a中，第一虚拟相机的位置可预先进行设置。每个像素点在三维虚拟场景中的对应点、每个像素点在球面网格上对应的顶点、以及第一虚拟相机三者在一条直线上。因此，在执行S503a时，可基于该空间位置关系，确定全景视频帧中每个像素点的颜色值。
具体实施时，根据第一虚拟相机与像素点在球面网格上对应的顶点在三维空间中的共线性，调整第一虚拟相机的朝向，以使第一虚拟相机朝向该像素点对应的顶点，由于目标图像的目标分辨率大小是通过第一虚拟相机的视场角和待生成全景视频的预设分辨率确定的，因此，该像素点对应的顶点在空白的目标图像上的投影点为目标分辨率的中心像素点。进一步地，在确定该像素点对应的中心像素点后，根据已加载的三维虚拟场景，离屏渲染第一虚拟相机的位置对应的目标图像，并获取目标图像的中心像素点的颜色值，将获取的中心像素点的颜色值，作为第一虚拟相机朝向的顶点对应的像素点的颜色值。
其中，每个像素点在球面网格上对应的顶点的确定方式参见前述实施例，在此不再重复。
S504a：根据全景视频帧中每个像素点的颜色值，生成一帧左眼全景视频图像。
在S504a中，遍历全景视频帧的每个像素点后，根据每个像素点的颜色值，得到一张左眼全景视频图像。
针对待生成全景视频中的每一全景视频帧，通过第二虚拟相机离屏渲染全景视频帧中右眼全景视频图像，具体操作参见S503b～S504b：
S503b：根据第二虚拟相机与第一虚拟相机在水平方向上预设的左右眼视差，调整第二虚拟相机的位置，并根据调整后的位置，从目标分辨率大小的目标图像中获取全视频帧中每个像素点的颜色值。
在本申请的实施例中，第一虚拟相机和第二虚拟相机的朝向平行，但由于第一虚拟相机和第二虚拟相机在水平方向上具有预先设置好的左右眼视差，因此，第二虚拟相机与第一虚拟相机在水平方向的位置不同，可根据第一虚拟相机的预设位置和预设的左右眼视差，调整第二虚拟相机的位置。具体的，第二虚拟相机的位置确定方式为：
Figure BDA0003454166640000091
其中，
Figure BDA0003454166640000092
表示第一虚拟相机在水平方向上的位置坐标，
Figure BDA0003454166640000093
表示第二虚拟相机在水平方向上的位置坐标，offset表示第一虚拟相机和所述第二虚拟相机在水平方向上预设的左右眼视差。
调整好第二虚拟相机的位置后，第二虚拟相机和第一虚拟相机的朝向相同，即两条视线平行，可看到不同的图像区域，即第一虚拟相机和第二虚拟相机是从不同的位置看向不同的顶点，可直接根据第二虚拟相机朝向的顶点在空白的目标图像上的投影点，确定第二虚拟相机朝向的顶点对应的像素点的颜色值，无需重新确定第二虚拟相机朝向的顶点的三维坐标。
具体实施时，在执行S503b的过程中，当调整好第二虚拟相机的位置后，保持第二虚拟相机的朝向与第一虚拟相机相同，根据已加载的三维虚拟场景，离屏渲染第二虚拟相机的位置对应的目标图像，并获取目标图像的中心像素点的颜色值，将获取的中心像素点的颜色值，作为第二虚拟相机朝向的顶点对应的像素点的颜色值。
S504b：根据全景视频帧中每个像素点的颜色值，生成一帧右眼全景视频图像。
由于第一虚拟相机和第二虚拟相机存在左右眼视差，朝向不同顶点的两个虚拟相机对应目标图像的不同中心像素点，通过将目标图像不同中心像素点的颜色值赋值给同一像素点，从而生成两幅存在差别的左右眼全景图像。
S505：将左眼全景视频图像和右眼全景视频图像进行拼接，生成一帧3D全景视频图像。
通常的，3D全景视频有两种模式，一种为左右3D模式，一种为上下3D模式。本申请实施例在设置全景视频的视频类型为3D时可根据实际需求同时设置3D全景视频的模式。
以左右3D模式为例，如图6所示，显示设备将左眼全景视频图像和右眼全景视频图像进行左右拼接，得到左右3D模式的一帧3D全景视频图像。
以上下3D模式为例，如图7所示，显示设备将左眼全景视频图像和右眼全景视频图像进行上下拼接，得到上下3D模式的一帧3D全景视频图像。
S506：对各帧3D全景视频图像进行编码，生成3D全景视频。
在S506中，对每一帧3D全景视频图像进行编码后，可生成三维虚拟场景中的3D全景初频。
现有技术中，基于显示设备的屏幕分辨率大小生成全景视频时，即便将目标全景视频的分辨率设置的很高，由于受显示设备的屏幕分辨率大小限制，全景视频图像是经过插值生成的，全景视频图像的质量也会比较低。而本申请实施例在生成2D全景视频和3D全景视频时，根据虚拟相机的视场角大小以及待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率，针对每一帧全景视频图像的像素点，根据实时加载的三维虚拟场景，离屏渲染目标图像，并将目标图像的中心像素点的颜色值作为相应像素点的颜色值，离屏渲染生成全景视频图像，从而克服了全景视频图像的分辨率受显示设备屏幕分辨率的限制，灵活生成任意分辨率大小的全景视频图像。此外，在离屏渲染全景视频图像时，是利用待生成全景视频帧的像素点、球面网格的顶点以及目标图像的中心点间的映射关系来生成的，每次虚拟相机离屏渲染生成的目标图像只取中心像素点的颜色值，所以，不需要进行图像拼接，这可以有效提升全景视频的制作效率，不会产生由于拼接造成的接缝和变形等异常效果，提高了全景视频的质量。
下面结合图8，描述2D和3D全景视频的生成过程。
S801：根据预设的待生成全景视频的视频类型，创建虚拟相机。
在S801中，当待生成全景视频的视频类型为2D时，创建一个虚拟相机，当待生成全景视频的视频类型为3D时，创建两个虚拟相机。
需要说明的是，当创建两个虚拟相机时，二者的视场角大小相同，但存在左右眼视差。
S802：根据虚拟相机的视场角大小，以及待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率。
在S802中，当待生成全景视频的视频类型为3D时，由于两个虚拟相机的视场角大小相同，因此，每个虚拟相机对应的目标图像的目标分辨率大小相同。
在本申请的实施例中，当确定目标分辨率后，相当于生成了一张空白的目标图像，该目标图像可通过实时加载的三维虚拟场景进行离屏渲染。当待生成全景视频的视频类型为2D时，离屏渲染后的目标图像作为一帧2D全景视频图像的像素点的颜色值的来源，当待生成全景视频的视频类型为3D时，离屏渲染后的目标图像分别作为一帧左眼全景视频图像和一帧右眼全景视频图像的像素点的颜色值的来源，其中，左眼全景视频图像和右眼全景视频图像可拼接为一帧3D全景视频图像。
当待生成全景视频的视频类型为2D时，针对每一全景视频帧，执行以下操作：
S803：遍历全景视频帧的每个像素点，根据虚拟相机与像素点的空间位置关系，调整虚拟相机的朝向，以使虚拟相机朝向空白的目标图像的中心像素点。
在S803中，由于目标图像的目标分辨率大小是通过第一虚拟相机的视场角和待生成全景视频的预设分辨率确定的，因此，该像素点对应的顶点在空白的目标图像上的投影点为目标分辨率的中心像素点。
S804：根据已加载的三维虚拟场景，离屏渲染目标图像。
S805：获取目标图像中心像素点的颜色值，并将获取的颜色值，作为该像素点的颜色值。
S806：根据每个像素点的颜色值，生成一帧2D全景视频图像。
S807：对各帧2D全景视频图像进行编码，生成2D全景视频。
当待生成全景视频的视频类型为3D时，针对每一全景视频帧，执行以下操作：
S808：遍历全景视频帧的每个像素点，根据第一虚拟相机与像素点的空间位置关系，调整第一虚拟相机的朝向，以使第一虚拟相机朝向空白的目标图像的中心像素点。
S809：根据已加载的三维虚拟场景，离屏渲染第一虚拟相机的位置对应的目标图像。
S810：获取目标图像中心像素点的颜色值，并将获取的颜色值，作为该像素点的颜色值。
S811：根据每个像素点的颜色值，生成一帧左眼全景视频图像。
S812：根据第二虚拟相机与第一虚拟相机在水平方向上预设的左右眼视差，调整第二虚拟相机的位置，保持第二虚拟相机的朝向与第一虚拟相机的朝向平行。
S813：根据已加载的三维虚拟场景，离屏渲染第二虚拟相机的位置对应的目标图像。
S814：获取目标图像中心像素点的颜色值，并将获取的颜色值，作为该像素点的颜色值。
S815：根据每个像素点的颜色值，生成一帧右眼全景视频图像。
S816：确定3D视频类型的模式，若为左右3D，执行S817，否则执行S818。
S8 17：将左眼全景视频图像和右眼全景视频图像进行左右拼接，生成一帧3D全景视频图像。
S818：将左眼全景视频图像和右眼全景视频图像进行上下拼接，生成一帧3D全景视频图像。
S819：对各帧3D全景视频图像进行编码，生成3D全景视频。
基于相同的技术构思，本申请实施例提供了一种显示设备，该显示设备可执行本申请实施例提供的全景视频的生成方法，并能达到同样的技术效果，在此不再重复。
参见图9，该显示设备包括处理器901、存储器902、显示器903，显示器903、存储器902与处理器901通过总线904连接；存储器902存储有计算机程序，处理器901根据计算机程序执行以下操作：
根据预设的待生成全景视频的视频类型，创建虚拟相机；
根据虚拟相机的视场角大小，以及待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率；
针对待生成全景视频的每一全景视频帧，遍历全景视频帧的每个像素点，根据虚拟相机与像素点的空间位置关系，调整虚拟相机的朝向，并根据虚拟相机的朝向，从目标分辨率大小的目标图像中获取像素点的颜色值，其中，目标图像是根据已加载的三维虚拟场景离屏渲染的；
根据全景视频帧中每个像素点的颜色值，生成一帧与视频类型相匹配的全景视频图像；对各帧全景视频图像进行编码，生成目标全景视频，并由显示器903进行显示。
可选的，每个像素点在球面网格上均存在对应的顶点，球面网格作为三维虚拟场景中播放生成的目标全景视频的载体；
处理器901根据虚拟相机与像素点的空间位置关系，调整虚拟相机的朝向，并根据虚拟相机的朝向，从目标分辨率大小的目标图像中获取像素点的颜色值，具体操作为：
根据虚拟相机与像素点在球面网格上对应的顶点在三维空间中的共线性，调整虚拟相机的朝向，以使虚拟相机朝向像素点对应的顶点，其中，顶点在空白的目标图像上的投影点为目标分辨率的中心像素点；
根据已加载的三维虚拟场景，离屏渲染目标分辨率大小的目标图像；
获取目标图像的中心像素点的颜色值，并将获取的颜色值作为虚拟相机朝向的顶点对应的像素点的颜色值。
可选的，处理器901通过以下方式确定像素点在球面网格上对应的顶点：
Px＝-R*sin(β)*sin(α)
Py＝R*cos(β)
Pz＝-R*sin(β)*cos(α)
其中，α＝j*360°/X，β＝i*180°/Y，i表示像素点的行数，j表示像素点的列数，X表示待生成全景视频的横向分辨率，Y表示待生成全景视频的纵向分辨率，R表示球面网格的半径，(Px，Py，Pz)表示像素点在球面网格上对应的顶点的三维坐标。
可选的，处理器901通过以下方式确定目标分辨率：
X1＝A*X/360°
Y1＝B*X/360°
其中，X1表示用于离屏渲染的目标图像的横向分辨率，Y1表示用于离屏渲染的目标图像的纵向分辨率，A表示虚拟相机的水平视场角，B表示虚拟相机的竖直视场角，X表示待生成全景视频的横向分辨率。
可选的，处理器根据预设的待生成全景视频的视频类型，创建虚拟相机，具体操作为：
当视频类型为2D时，创建一个虚拟相机；
当视频类型为3D时，创建两个虚拟相机，其中，第一虚拟相机用于离屏渲染全景视频帧中左眼全景视频图像，第二虚拟相机用于离屏渲染全景视频帧中右眼全景视频图像，第一虚拟相机与第二虚拟相机在水平方向上具有左右眼视差；
当视频类型为3D时，在生成与视频类型相匹配的左眼全景视频图像和右眼全景视频图像后，方法还包括：
将左眼全景视频图像和右眼全景视频图像进行拼接，生成一帧完整的全景视频图像。
可选的，针对每一全景视频帧，当虚拟相机的数量为两个时，第一虚拟相机和第二虚拟相机的朝向平行，第二虚拟相机的位置是根据第一虚拟相机的预设位置和预设的左右眼视差确定的：
第二虚拟相机的位置确定方式为：
Figure BDA0003454166640000141
其中，
Figure BDA0003454166640000142
表示第一虚拟相机在水平方向上的位置坐标，
Figure BDA0003454166640000143
表示第二虚拟相机在水平方向上的位置坐标，offset表示第一虚拟相机和第二虚拟相机在水平方向上预设的左右眼视差。
需要说明的是，图9仅是显示设设备实现本申请实施例提供的全景视频的生成方法的必要硬件，可选的，该显示设备还包括如扬声器、音视频处理器等常规显示设备的硬件。
其中，上述显示设备可以是智能手机、平板电脑、台式机、笔记本电脑、智能电视以及VR眼镜、AR眼镜等具备全景视频播放功能的显示设备。
需要说明的是，本申请实施例上述涉及的处理器可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。
本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种全景视频的生成方法，其特征在于，应用于三维虚拟场景，包括：
根据预设的待生成全景视频的视频类型，创建虚拟相机；
根据所述虚拟相机的视场角大小，以及所述待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率；
针对所述待生成全景视频的每一全景视频帧，遍历所述全景视频帧的每个像素点，根据所述虚拟相机与所述像素点的空间位置关系，调整所述虚拟相机的朝向，并根据所述虚拟相机的朝向，从所述目标分辨率大小的目标图像中获取所述像素点的颜色值，其中，所述目标图像是根据已加载的三维虚拟场景离屏渲染的；
根据所述全景视频帧中每个像素点的颜色值，生成一帧与所述视频类型相匹配的全景视频图像；
对各帧全景视频图像进行编码，生成目标全景视频。
2.如权利要求1所述的方法，其特征在于，每个像素点在球面网格上均存在对应的顶点，所述球面网格作为所述三维虚拟场景中播放生成的目标全景视频的载体；
所述根据所述虚拟相机与所述像素点的空间位置关系，调整所述虚拟相机的朝向，并根据所述虚拟相机的朝向，从所述目标分辨率大小的目标图像中获取所述像素点的颜色值，包括：
根据所述虚拟相机与所述像素点在所述球面网格上对应的顶点在三维空间中的共线性，调整所述虚拟相机的朝向，以使所述虚拟相机朝向所述像素点对应的顶点，所述顶点在空白的目标图像上的投影点为目标分辨率的中心像素点；
根据已加载的三维虚拟场景，离屏渲染目标分辨率大小的目标图像；
获取所述目标图像的中心像素点的颜色值，并将获取的颜色值作为所述虚拟相机朝向的顶点对应的像素点的颜色值。
3.如权利要求2所述的方法，其特征在于，通过以下方式确定所述像素点在所述球面网格上对应的顶点：
Px＝-R*sin(β)*sin(α)
Py＝R*cos(β)
Pz＝-R*sin(β)*cos(α)
其中，α＝j*360°/X，β＝i*180°/Y，i表示所述像素点的行数，j表示所述像素点的列数，X表示所述待生成全景视频的横向分辨率，Y表示所述待生成全景视频的纵向分辨率，R表示所述球面网格的半径，(Px，Py，Pz)表示所述像素点在球面网格上对应的顶点的三维坐标。
4.如权利要求1所述的方法，其特征在于，所述目标分辨率的确定公式如下：
X1＝A*X/360°
Y1＝B*X/360°
其中，X1表示用于离屏渲染的目标图像的横向分辨率，Y1表示用于离屏渲染的目标图像的纵向分辨率，A表示虚拟相机的水平视场角，B表示虚拟相机的竖直视场角，X表示所述待生成全景视频的横向分辨率。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述根据预设的待生成全景视频的视频类型，创建虚拟相机，包括：
当所述视频类型为2D时，创建一个虚拟相机；
当所述视频类型为3D时，创建两个虚拟相机，其中，第一虚拟相机用于离屏渲染所述全景视频帧中左眼全景视频图像，第二虚拟相机用于离屏渲染所述全景视频帧中右眼全景视频图像，所述第一虚拟相机与所述第二虚拟相机在水平方向上具有左右眼视差；
当所述视频类型为3D时，在生成与所述视频类型相匹配的左眼全景视频图像和右眼全景视频图像后，所述方法还包括：
将所述左眼全景视频图像和所述右眼全景视频图像进行拼接，生成一帧完整的全景视频图像。
6.如权利要求5所述的方法，其特征在于，针对每一全景视频帧，当所述虚拟相机的数量为两个时，所述第一虚拟相机和所述第二虚拟相机的朝向平行，所述第二虚拟相机的位置是根据所述第一虚拟相机的预设位置和预设的左右眼视差确定的：
所述第二虚拟相机的位置确定方式为：
Figure FDA0003454166630000021
其中，
Figure FDA0003454166630000023
表示所述第一虚拟相机在水平方向上的位置坐标，
Figure FDA0003454166630000022
表示所述第二虚拟相机在水平方向上的位置坐标，offset表示所述第一虚拟相机和所述第二虚拟相机在水平方向上预设的左右眼视差。
7.一种显示设备，其特征在于，应用于三维虚拟场景，包括处理器、存储器、显示器，所述显示器、所述存储器与所述处理器通过总线连接；
所述存储器存储有计算机程序，所述处理器根据所述计算机程序执行以下操作：
根据预设的待生成全景视频的视频类型，创建虚拟相机；
根据所述虚拟相机的视场角大小，以及所述待生成全景视频的预设分辨率，确定用于离屏渲染的目标图像的目标分辨率；
针对所述待生成全景视频的每一全景视频帧，遍历所述全景视频帧的每个像素点，根据所述虚拟相机与所述像素点的空间位置关系，调整所述虚拟相机的朝向，并根据所述虚拟相机的朝向，从所述目标分辨率大小的目标图像中获取所述像素点的颜色值，其中，所述目标图像是根据已加载的三维虚拟场景离屏渲染的；
根据所述全景视频帧中每个像素点的颜色值，生成一帧与所述视频类型相匹配的全景视频图像；
对各帧全景视频图像进行编码，生成目标全景视频，并由所述显示器进行显示。
8.如权利要求7所述的显示设备，其特征在于，每个像素点在球面网格上均存在对应的顶点，所述球面网格作为所述三维虚拟场景中播放生成的目标全景视频的载体；
所述处理器根据所述虚拟相机与所述像素点的空间位置关系，调整所述虚拟相机的朝向，并根据所述虚拟相机的朝向，从所述目标分辨率大小的目标图像中获取所述像素点的颜色值，具体操作为：
根据所述虚拟相机与所述像素点在所述球面网格上对应的顶点在三维空间中的共线性，调整所述虚拟相机的朝向，以使所述虚拟相机朝向所述像素点对应的顶点，所述顶点在空白的目标图像上的投影点为目标分辨率的中心像素点；
根据已加载的三维虚拟场景，离屏渲染目标分辨率大小的目标图像；
获取所述目标图像的中心像素点的颜色值，并将获取的颜色值作为所述虚拟相机朝向的顶点对应的像素点的颜色值。
9.如权利要求7所述的显示设备，其特征在于，所述处理器根据预设的待生成全景视频的视频类型，创建虚拟相机，具体操作为：
当所述视频类型为2D时，创建一个虚拟相机；
当所述视频类型为3D时，创建两个虚拟相机，其中，第一虚拟相机用于离屏渲染所述全景视频帧中左眼全景视频图像，第二虚拟相机用于离屏渲染所述全景视频帧中右眼全景视频图像，所述第一虚拟相机与所述第二虚拟相机在水平方向上具有左右眼视差；
当所述视频类型为3D时，在生成与所述视频类型相匹配的左眼全景视频图像和右眼全景视频图像后，所述处理器还执行：
将所述左眼全景视频图像和所述右眼全景视频图像进行拼接，生成一帧完整的全景视频图像。
10.如权利要求9所述的显示设备，其特征在于，针对每一全景视频帧，当所述虚拟相机的数量为两个时，所述第一虚拟相机和所述第二虚拟相机的朝向平行，所述第二虚拟相机的位置是根据所述第一虚拟相机的预设位置和预设的左右眼视差确定的：
所述处理通过以下方式确定所述第二虚拟相机的位置：
Figure FDA0003454166630000041
其中，
Figure FDA0003454166630000042
表示所述第一虚拟相机在水平方向上的位置坐标，
Figure FDA0003454166630000043
表示所述第二虚拟相机在水平方向上的位置坐标，0ffset表示所述第一虚拟相机和所述第二虚拟相机在水平方向上预设的左右眼视差。
CN202210001081.1A 2022-01-04 2022-01-04 一种三维虚拟场景中全景视频的生成方法及设备 Active CN114513646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210001081.1A CN114513646B (zh) 2022-01-04 2022-01-04 一种三维虚拟场景中全景视频的生成方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210001081.1A CN114513646B (zh) 2022-01-04 2022-01-04 一种三维虚拟场景中全景视频的生成方法及设备

Publications (2)

Publication Number Publication Date
CN114513646A true CN114513646A (zh) 2022-05-17
CN114513646B CN114513646B (zh) 2023-09-15

Family

ID=81549306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210001081.1A Active CN114513646B (zh) 2022-01-04 2022-01-04 一种三维虚拟场景中全景视频的生成方法及设备

Country Status (1)

Country Link
CN (1) CN114513646B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174886A (zh) * 2022-08-25 2022-10-11 吉林大学 支持立体虚拟现实与增强现实的手机镜头及显示方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9473758B1 (en) * 2015-12-06 2016-10-18 Sliver VR Technologies, Inc. Methods and systems for game video recording and virtual reality replay
CN106375748A (zh) * 2016-09-07 2017-02-01 深圳超多维科技有限公司 立体虚拟现实全景视图拼接方法、装置及电子设备
US20170186243A1 (en) * 2015-12-28 2017-06-29 Le Holdings (Beijing) Co., Ltd. Video Image Processing Method and Electronic Device Based on the Virtual Reality
CN107545537A (zh) * 2017-08-21 2018-01-05 嘀拍信息科技南通有限公司 一种从稠密点云生成3d全景图片的方法
CN108648257A (zh) * 2018-04-09 2018-10-12 腾讯科技（深圳）有限公司 全景画面的获取方法、装置、存储介质及电子装置
CN110390714A (zh) * 2018-04-16 2019-10-29 脸谱科技有限责任公司 用于渲染凹形效果的系统、方法和非暂时性存储介质
US20200358996A1 (en) * 2017-09-04 2020-11-12 Ideapool Culture & Technology Co., Ltd. Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene
CN113206992A (zh) * 2021-04-20 2021-08-03 聚好看科技股份有限公司 一种转换全景视频投影格式的方法及显示设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9473758B1 (en) * 2015-12-06 2016-10-18 Sliver VR Technologies, Inc. Methods and systems for game video recording and virtual reality replay
US20170186243A1 (en) * 2015-12-28 2017-06-29 Le Holdings (Beijing) Co., Ltd. Video Image Processing Method and Electronic Device Based on the Virtual Reality
CN106375748A (zh) * 2016-09-07 2017-02-01 深圳超多维科技有限公司 立体虚拟现实全景视图拼接方法、装置及电子设备
CN107545537A (zh) * 2017-08-21 2018-01-05 嘀拍信息科技南通有限公司 一种从稠密点云生成3d全景图片的方法
US20200358996A1 (en) * 2017-09-04 2020-11-12 Ideapool Culture & Technology Co., Ltd. Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene
CN108648257A (zh) * 2018-04-09 2018-10-12 腾讯科技（深圳）有限公司 全景画面的获取方法、装置、存储介质及电子装置
CN110390714A (zh) * 2018-04-16 2019-10-29 脸谱科技有限责任公司 用于渲染凹形效果的系统、方法和非暂时性存储介质
CN113206992A (zh) * 2021-04-20 2021-08-03 聚好看科技股份有限公司 一种转换全景视频投影格式的方法及显示设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹彦珏;安博文;李启明;: "基于后处理的实时景深模拟与应用", 计算机应用, no. 05 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174886A (zh) * 2022-08-25 2022-10-11 吉林大学 支持立体虚拟现实与增强现实的手机镜头及显示方法

Also Published As

Publication number Publication date
CN114513646B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US20230328220A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US11575876B2 (en) Stereo viewing
US9848184B2 (en) Stereoscopic display system using light field type data
US8189035B2 (en) Method and apparatus for rendering virtual see-through scenes on single or tiled displays
KR20170040342A (ko) 스테레오 이미지 녹화 및 재생
US8866887B2 (en) Computer graphics video synthesizing device and method, and display device
JP2011090400A (ja) 画像表示装置および方法、並びにプログラム
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax
US9766458B2 (en) Image generating system, image generating method, and information storage medium
CN113286138A (zh) 一种全景视频显示方法及显示设备
US11126001B2 (en) Image generating apparatus, head-mounted display, content processing system and image displaying method
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
CN110870304A (zh) 向用户提供信息以观察多视图内容的方法和装置
TWM630947U (zh) 立體影像播放裝置
CN110264406B (zh) 图像处理装置及图像处理的方法
Bourke Omni-directional stereoscopic fisheye images for immersive hemispherical dome environments
JP6198157B2 (ja) プログラム、記録媒体、画像処理装置及び画像処理方法
JP7365183B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
TWI817335B (zh) 立體影像播放裝置及其立體影像產生方法
US20220122216A1 (en) Generating and processing an image property pixel structure
JP2022113478A (ja) インテグラル立体表示システム及びその方法
CN117459694A (zh) 图像生成方法、装置、电子设备及存储介质
JP2013223133A (ja) 誘導装置、誘導方法、及び誘導プログラム
WO2019026184A1 (ja) 画像生成装置および画像生成方法
Kim et al. Tiled stereo display system for immersive telemeeting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant