CN109961395A - 深度图像的生成及显示方法、装置、系统、可读介质 - Google Patents

深度图像的生成及显示方法、装置、系统、可读介质 Download PDF

Info

Publication number
CN109961395A
CN109961395A CN201711414436.5A CN201711414436A CN109961395A CN 109961395 A CN109961395 A CN 109961395A CN 201711414436 A CN201711414436 A CN 201711414436A CN 109961395 A CN109961395 A CN 109961395A
Authority
CN
China
Prior art keywords
image
eye camera
depth image
right eye
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711414436.5A
Other languages
English (en)
Other versions
CN109961395B (zh
Inventor
王森
刘阳
罗小伟
林福辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201711414436.5A priority Critical patent/CN109961395B/zh
Priority to CN202210841424.5A priority patent/CN115222793A/zh
Publication of CN109961395A publication Critical patent/CN109961395A/zh
Application granted granted Critical
Publication of CN109961395B publication Critical patent/CN109961395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

一种深度图像的生成及显示方法、装置、系统、可读介质，所述深度图像的生成方法包括：获取左眼相机和右眼相机拍摄的图像；基于所获取的拍摄的图像，生成立体全景图像；基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。应用上述方法，在立体全景视频的基础上，加入深度信息，可以在后续显示时，形成真实的运动视差，增加用户的沉浸感。

Description

深度图像的生成及显示方法、装置、系统、可读介质
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种深度图像的生成及显示方法、装置、系统、可读介质。
背景技术
虚拟现实(Virtual Reality，VR)技术利用头戴式显示设备(Head-MountedDisplays)，给人带来沉浸感，让人感觉身在其中。目前的VR系统都提供高分辨率，低延时的体验，并且能实时跟踪用户的头部位置和角度。
对于使用相机拍摄的VR场景，可以通过多个相机，指向场景中的不同部分，然后将同一时刻的各个相机拍摄的图像拼接成这一时刻的全景图片，最终将不同时刻的全景图片合在一起形成全景视频，该全景视频为“伪3D”全景视频，即在一个时刻，只有一张球面投影(Equirectangular Projection)全景图片。在用户观看时，通过一定算法将图像进行处理(如最简单的左右平移一段位移)，以产生“伪3D”全景视频的效果。由于“伪3D”全景视频用户体验差，容易产生眩晕感等不适，Facebook提出了Surround360技术，用来拍摄“真3D”全景视频。Surround360技术通过模拟左眼和右眼，利用左眼相机和右眼相机，在圆环每一个点均生成一个虚拟相机所拍摄的内容，从而生成环绕一周360度的全景图像。在用户观看时，只需将左眼相机和右眼相机拍摄的图像分别显示在对应的显示区域即可。
对于相机拍摄合成的“伪3D”全景视频，无任何视差、遮挡等深度效果，故用户体验差，容易产生眩晕感等不适。而Surround360拍摄的“真3D”全景视频，由于在拍摄时模拟人眼进行拍摄，可以产生一定的遮挡、左右眼视差效果，用户体验较好，但是，由于默认人眼一直处于拍摄中心，观看只能允许用户头部旋转来选择观看区域，不能移动来调整视点。
发明内容
本发明实施例解决的技术问题是对于拍摄的图像，如何基于不同视点，形成真实的运动视差，增加用户的沉浸感。
为解决上述技术问题，本发明实施例提供一种深度图像的生成方法，所述方法包括：获取左眼相机和右眼相机拍摄的图像；基于所获取的拍摄的图像，生成立体全景图像；基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。
可选地，所述基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像包括：将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值；基于所计算的深度值，生成所述立体全景图像对应的深度图像。
可选地，所述基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值包括：获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；计算t1与t2之和为像素对应的深度值d。
可选地，所述基于所获取的拍摄的图像，生成立体全景图像包括：将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标；计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；对于重叠区域的每一列像素，基于左眼相机及其对应的光流值生成左眼相机全景图像，基于右眼相机及其对应的光流值生成右眼相机全景图像；基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。
可选地，基于以下任意一种算法计算计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值：相位相关算法、位相关算法和Lucas-Kanade算法。
本发明实施例提供一种深度图像的显示方法，包括：采用上述任一种深度图像的生成方法，生成立体全景图像及其对应的深度图像；基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图；将所述点云图投影至视平面，并扭曲其对应的深度图像；将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像；输出显示对应深度值较小的视平面图像。
可选地，所述视平面为：与眼睛视线注意方向垂直的平面。
可选地，所述深度图像的显示方法还包括：压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据；解压所述立体全景图像及其对应的深度图像的压缩数据，获取所述立体全景图像及其对应的深度图像。
本发明实施例提供一种深度图像的生成装置，包括：获取单元，适于获取左眼相机和右眼相机拍摄的图像；第一生成单元，适于基于所获取的拍摄的图像，生成立体全景图像；第二生成单元，适于基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。
可选地，所述第二生成单元包括：第一转换子单元，适于将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；第一计算子单元，适于计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；第二计算子单元，适于基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值；第一生成子单元，适于基于所计算的深度值，生成所述立体全景图像对应的深度图像。
可选地，所述第二计算子单元包括：第一计算模块、第二计算模块和第三计算模块，其中：所述第一计算模块，适于获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；所述第二计算模块，适于获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；所述第三计算模块，适于计算t1与t2之和为像素对应的深度值d。
可选地，所述第一生成单元包括：第二转换子单元，适于将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标；第一计算子单元，适于计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；第二生成子单元，适于对于重叠区域的每一列像素，分别基于左眼相机及其对应的光流值生成左眼相机全景图像，基于右眼相机及其对应的光流值生成右眼相机全景图像；第三生成子单元，适于基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。
可选地，所述第一计算子单元，适于基于以下任意一种算法计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值：相位相关算法、位相关算法和Lucas-Kanade算法。
本发明实施例提供一种深度图像的显示装置，包括：第三生成单元，适于采用如权利要求1至5任一项所述的方法，生成立体全景图像及其对应的深度图像；重建单元，适于基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图；扭曲单元，适于将所述点云图投影至视平面，并扭曲其对应的深度图像；第四生成单元，适于将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像；输出单元，适于输出显示对应深度值较小的视平面图像。
可选地，所述视平面为：与眼睛视线注意方向垂直的平面。
可选地，所述深度图像的显示装置还包括：压缩单元，适于压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据；解压缩单元，适于解压所述立体全景图像及其对应的深度图像的压缩数据，获取所述立体全景图像及其对应的深度图像。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种深度图像的生成方法的步骤。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种深度图像的显示方法的步骤。
本发明实施例提供一种深度图像的生成系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种深度图像的生成方法的步骤。
本发明实施例提供一种深度图像的显示系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种深度图像的显示方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成立体全景图像对应的深度图像，在立体全景视频的基础上，加入深度信息，可以在后续显示时，基于不同的视点，形成真实的运动视差，增加用户的沉浸感。
进一步地，基于生成的立体全景视频及其相应的深度图像，重建点云图，然后将点云图投影至视平面，并通过扭曲深度图像，生成视平面图像进行输出，可以基于头部移动的位置产生不同的视点，形成真实的运动视差，增加用户的沉浸感。
附图说明
图1是本发明实施例提供的一种深度图像的生成方法的详细流程图；
图2是本发明实施例提供的一种相机坐标系和世界坐标系的俯视图；
图3是本发明实施例提供的一种深度图像的显示方法的详细流程图；
图4是本发明实施例提供的一种图像拍摄和显示方法的详细流程图；
图5是本发明实施例提供的一种深度图像的生成装置的结构示意图；
图6是本发明实施例提供的一种深度图像的显示装置的结构示意图。
具体实施方式
在现有的技术中，对于相机拍摄合成的“伪3D”全景视频，无任何视差、遮挡等深度效果，故用户体验差，容易产生眩晕感等不适。而Surround360拍摄的“真3D”全景视频，由于在拍摄时模拟人眼进行拍摄，可以产生一定的遮挡、左右眼视差效果，用户体验较好，但是，由于默认人眼一直处于拍摄中心，观看只能允许用户头部旋转来选择观看区域，不能移动来调整视点。
本发明实施例基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成立体全景图像对应的深度图像，在立体全景视频的基础上，加入深度信息，可以在后续显示时，基于不同的视点，形成真实的运动视差，增加用户的沉浸感。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参见图1，本发明实施例提供了一种深度图像的生成方法，可以包括如下步骤：
步骤S101，获取左眼相机和右眼相机拍摄的图像。
在具体实施中，由于“伪3D”全景视频用户体验差，容易产生眩晕感等缺点，Facebook提出了Surround360技术，用来拍摄“真3D”全景视频。Surround360技术通过模拟左眼和右眼，利用左眼相机和右眼相机，在圆环每一个点均生成一个虚拟相机所拍摄的内容，从而生成环绕一周360度的全景图像，本发明实施例可以基于Surround360技术的左眼相机和右眼相机拍摄的图像生成深度图像。
步骤S102，基于所获取的拍摄的图像，生成立体全景图像。
在具体实施中，可以基于所获取的左眼相机和右眼相机拍摄的图像，生成立体全景图像。
在具体实施中，由于所获取的左眼相机和右眼相机拍摄的图像像素对应的是像素坐标，首先需要将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标映射至球面坐标或者柱面坐标。然后基于球面坐标或者柱面坐标，计算计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，并对于重叠区域的每一列像素，基于左眼相机及其对应的光流值，产生新的虚拟相机输出，生成左眼相机全景图像，基于右眼相机及其对应的光流值，产生新的虚拟相机输出，生成右眼相机全景图像，最后基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。
在本发明一实施例中，球面坐标(Spherical coordinate system)到笛卡尔坐标(Cartesian coordinate system)的转换公式如下：
x＝r sinθcosφ
y＝r sinθsinφ
z＝r cosθ (1)
其中(x，y，z)为笛卡尔坐标，(r，θ，)为球面坐标，r为球的半径，θ为天顶角(azimuthal angle)，为方位角(polar angle)。
根据相机外参(Extrinsic)，世界坐标到相机坐标的转换公式如下：
Xc＝R1X+T (2)
其中Xc为相机坐标，X为世界坐标，R1为旋转矩阵，T为平移向量。
又根据相机内参(Intrinsic)，计算像素坐标如下：
x′＝x/z
y′＝y/z
u＝fxx′+cx
v＝fyy′+cy (3)
其中(u，v)为像素坐标，fx，fy分别为水平和垂直方向的焦距，cx，cy分别为图像原点相对于光心成像点的水平偏移量和垂直偏移量。
基于公式(1)、(2)和(3)，可以将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标。
采用球面投影可以提供360x180度的沉浸式体验，使用柱面投影无法提供顶部和底部图像，体验比球面投影差。
在具体实施中，可以基于相位相关算法、位相关算法或者Lucas-Kanade算法计算重叠区域的光流值。
在具体实施中，由于真实的相机数量有限，为了生成全景图像，需要在真实的左眼相机和右眼相机之间生成连续的虚拟相机。又由于图像的分辨率有限，可以将全景图像的每一列作为一个虚拟相机的输出。
在本发明一实施例中，左眼相机和右眼相机拍摄的相邻图像之间重叠区域中的某一列的相位角为ξ，左眼相机和右眼相机的光心所在位置对应的相位角分别为α1和α2，则左眼相机对应的光流值ψ1和右眼相机对应的光流值ψ2分别为：
在具体实施中，可以将左眼相机全景图像和右眼相机全景图像进行基于距离的alpha融合，生成立体全景图像。
步骤S103，基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。
在具体实施中，由于基于结构光、飞行时间(Time Of Flight，TOF)、激光扫描等方法获取深度值，需要额外的设备，不仅在结构设计上带来难度，而且提高了成本，降低了便携性，故本发明实施例利用光流值计算深度值，不需要额外的设备，可以有效降低成本和设计复杂度。
在本发明一实施例中，首先将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标，然后计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，再基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值，并基于所计算的深度值，生成所述立体全景图像对应的深度图像。
在具体实施中，所述计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值可以参考步骤S102中的描述，此处不再赘述。
为使本领域技术人员更好地理解和实施本发明，本发明实施例提供了一种相机坐标系和世界坐标系的俯视图，如图2所示。
参见图2，左眼相机C1的相机坐标系为x1y1z1，右眼相机C2的相机坐标系为x2y2z2，以圆环圆心为原点的世界坐标系为xyz，左眼相机坐标或者右眼相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，左眼相机和右眼相机形成的圆环相对圆心的半径为R。
对于全景图像中的一个像素，其对应的世界坐标系中的点P(x,y,z)，在左眼相机坐标系和右眼相机坐标系中对应的坐标分别为公式(5)和公式(6)：
x1＝xsinδ-ycosδ
y1＝z
z1＝-xcosδ-ysinδ+R (5)
x2＝-xsinδ-ycosδ
y2＝z
z2＝-xcosδ+ysinδ+R (6)
根据相机模型，有如下关系：
根据公式(5)、(6)和(7)，可以推导如下关系：
又由于如下关系：
在实际场景中，当x＞＞y并且x＞＞z时，深度值d可以根据如下公式计算：
其中W为全景图像的宽度，ψ为左眼相机对应的光流值ψ1或者右眼相机对应的光流值ψ2。
在本发明一实施例中，可以获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；然后获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；最后计算t1与t2之和为像素对应的深度值d。
应用上述方法，基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成立体全景图像对应的深度图像，在立体全景视频的基础上，加入深度信息，可以在后续显示时，基于不同的视点，形成真实的运动视差，增加用户的沉浸感。
为使本领域技术人员更好地理解和实施本发明，本发明实施例提供了一种深度图像的显示方法，如图3所示。
参见图3，所述深度图像的显示方法可以包括如下步骤：
步骤S301，采用上述任一种所述的深度图像的生成方法，生成立体全景图像及其对应的深度图像。
在具体实施中，可以采用上述任一种深度图像的生成方法，生成立体全景图像及其对应的深度图像，此处不再赘述。
步骤S302，基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图。
在具体实施中，可以基于所述立体全景图像及其对应的深度图像，重建点云图。
在本发明一实施例中，对应全景图像中的每一个像素p(h,w)，其中h，w为像素索引，根据其在成像球面上的坐标计算其对应的世界坐标系的坐标如下：
其中O为球面坐标系原点，表示由原点指向S的向量，d为p(h,w)对应的深度值，f为球的半径。
步骤S303，将所述点云图投影至视平面，并扭曲其对应的深度图像。
在具体实施中，对于给定的眼睛位置，与其视线注意方向垂直的平面，即为该视点的视平面。
由于本发明实施例支持头部转动，故眼睛位置可变，只要眼睛的位置位于支持的头部运动范围之内即可，两眼连线的中心不必在圆心。
步骤S304，将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像。
步骤S305，输出显示对应深度值较小的视平面图像。
在具体实施中，步骤S301与步骤S302～步骤S305可能在不同的模块实现，例如，步骤S301可以在拍摄模块实现，步骤S302～步骤S305可以在显示模块实现，所述拍摄模块和所述显示模块之间可以通过接口或者传输线进行通信。当步骤S301与步骤S302～步骤S305在不同的模块实现时，在步骤S301与步骤S302之间还可以包括：
在步骤S301对应的模块内，压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据；
通过步骤S301对应的模块与步骤S302对应的模块之间的接口或者传输线，传输所述立体全景图像及其对应的深度图像的压缩数据至步骤S302对应的模块；
在步骤S302对应的模块内，解压缩所述立体全景图像及其对应的深度图像的压缩数据，再次获取所述立体全景图像及其对应的深度图像。
在具体实施中，为了减少额外的开销，可以采用压缩比高的压缩算法压缩深度图像。
应用上述方法，基于生成的立体全景视频及其相应的深度图像，重建点云图，然后将点云图投影至视平面，并通过扭曲深度图像，生成视平面图像进行输出，可以基于头部移动的位置产生不同的视点，形成真实的运动视差，增加用户的沉浸感。
为使本领域技术人员更好的理解和实施本发明，本发明实施例还提供了一种图像拍摄和显示方法，如图4所示。
参见图4，所述图像拍摄和显示方法包括如下步骤：
步骤S401，生成立体全景图像。
步骤S402，生成所述立体全景图像对应的深度图像。
步骤S403，压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像压缩数据，并传输至显示模块。
在具体实施中，所述步骤S401、步骤S402和步骤S403可以在拍摄模块执行。
步骤S404，解压缩所述立体全景图像及其对应的深度图像压缩数据，生成所述立体全景图像及其对应的深度图像。
步骤S405，基于所述立体全景图像及其对应的深度图像，进行点云重建。
步骤S406，基于点云图，生成新视点图像并输出显示。
在具体实施中，所述步骤S404、步骤S405和步骤S406可以在显示模块执行。
为使本领域技术人员更好的理解和实施本发明，本发明实施例还提供了能够实现上述深度图像的生成方法的装置，如图5所示。
参见图5，深度图像的生成装置50包括：获取单元51、第一生成单元52和第二生成单元53，其中：
所述获取单元51，适于获取左眼相机和右眼相机拍摄的图像。
所述第一生成单元52，适于基于所获取的拍摄的图像，生成立体全景图像。
所述第二生成单元53，适于基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。
在具体实施中，所述第二生成单元53包括：第一转换子单元(未示出)、第一计算子单元(未示出)、第二计算子单元(未示出)和第一生成子单元(未示出)，其中：
所述第一转换子单元，适于将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标。
所述第一计算子单元，适于计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值。
所述第二计算子单元，适于基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值。
所述第一生成子单元，适于基于所计算的深度值，生成所述立体全景图像对应的深度图像。
在本发明一实施例中，所述第二计算子单元包括：第一计算模块(未示出)、第二计算模块(未示出)和第三计算模块(未示出)，其中：
所述第一计算模块，适于获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1。
所述第二计算模块，适于获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值。
所述第三计算模块，适于计算t1与t2之和为像素对应的深度值d。
在具体实施中，所述第一生成单元52包括：第二转换子单元(未示出)、第一计算子单元(未示出)、第二生成子单元(未示出)和第三生成子单元(未示出)，其中：
所述第二转换子单元，适于将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标。
所述第一计算子单元，适于计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值。
所述第二生成子单元，适于对于重叠区域的每一列像素，基于左眼相机及其对应的光流值生成左眼相机全景图，基于右眼相机及其对应的光流值生成右眼相机全景图像。
所述第三生成子单元，适于基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。
在本发明一实施例中，所述第一计算子单元，适于基于以下任意一种算法计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值：相位相关算法、位相关算法和Lucas-Kanade算法。
在具体实施中，所述生成装置50的工作流程及原理可以参考上述实施例中提供的方法中的描述，此处不再赘述。
为使本领域技术人员更好的理解和实施本发明，本发明实施例还提供了能够实现上述深度图像的显示方法的装置，如图6所示。
参见图6，深度图像的显示装置60包括：第三生成单元61、重建单元62、扭曲单元63、第四生成单元64和输出单元65，其中：
所述第三生成单元61，适于采用上述任一种所述的深度图像的生成方法，生成立体全景图像及其对应的深度图像。
所述重建单元62，适于基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图。
所述扭曲单元63，适于将所述点云图投影至视平面，并扭曲其对应的深度图像。
所述第四生成单元64，适于将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像。
所述输出单元65，适于输出显示对应深度值较小的视平面图像。
在具体实施中，所述视平面为：与眼睛视线注意方向垂直的平面。
在具体实施中，所述显示装置60还可以包括：压缩单元(未示出)和解压缩单元(未示出)，其中：
所述压缩单元，适于压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据。
所述解压缩单元，适于解压所述立体全景图像及其对应的深度图像的压缩数据，获取所述立体全景图像及其对应的深度图像。
在具体实施中，所述显示装置60的工作流程及原理可以参考上述实施例中提供的方法中的描述，此处不再赘述。
本发明实施例提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种所述深度图像的生成方法对应的步骤，此处不再赘述。
本发明实施例提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种所述深度图像的显示方法对应的步骤，此处不再赘述。
本发明实施例提供一种深度图像的生成系统，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种所述深度图像的生成方法对应的步骤，此处不再赘述。
本发明实施例提供一种深度图像的显示系统，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种所述深度图像的显示方法对应的步骤，此处不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (20)

1.一种深度图像的生成方法，其特征在于，包括：
获取左眼相机和右眼相机拍摄的图像；
基于所获取的拍摄的图像，生成立体全景图像；
基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。
2.根据权利要求1所述的深度图像的生成方法，其特征在于，所述基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像包括：
将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；
计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；
基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值；
基于所计算的深度值，生成所述立体全景图像对应的深度图像。
3.根据权利要求2所述的深度图像的生成方法，其特征在于，所述基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值包括：
获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；
获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；
计算t1与t2之和为像素对应的深度值d。
4.根据权利要求1所述的深度图像的生成方法，其特征在于，所述基于所获取的拍摄的图像，生成立体全景图像包括：
将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标；
计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；
对于重叠区域的每一列像素，基于左眼相机及其对应的光流值生成左眼相机全景图像，基于右眼相机及其对应的光流值生成右眼相机全景图像；
基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。
5.根据权利要求2或4所述的深度图像的生成方法，其特征在于，基于以下任意一种算法计算计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值：相位相关算法、位相关算法和Lucas-Kanade算法。
6.一种深度图像的显示方法，其特征在于，包括：
采用如权利要求1至5任一项所述的方法，生成立体全景图像及其对应的深度图像；
基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图；
将所述点云图投影至视平面，并扭曲其对应的深度图像；
将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像；
输出显示对应深度值较小的视平面图像。
7.根据权利要求6所述的深度图像的显示方法，其特征在于，所述视平面为：
与眼睛视线注意方向垂直的平面。
8.根据权利要求6所述的深度图像的显示方法，其特征在于，还包括：
压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据；
解压所述立体全景图像及其对应的深度图像的压缩数据，获取所述立体全景图像及其对应的深度图像。
9.一种深度图像的生成装置，其特征在于，包括：
获取单元，适于获取左眼相机和右眼相机拍摄的图像；
第一生成单元，适于基于所获取的拍摄的图像，生成立体全景图像；
第二生成单元，适于基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。
10.根据权利要求9所述的深度图像的生成装置，其特征在于，所述第二生成单元包括：
第一转换子单元，适于将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；
第一计算子单元，适于计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；
第二计算子单元，适于基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值；
第一生成子单元，适于基于所计算的深度值，生成所述立体全景图像对应的深度图像。
11.根据权利要求10所述的深度图像的生成装置，其特征在于，所述第二计算子单元包括：第一计算模块、第二计算模块和第三计算模块，其中：
所述第一计算模块，适于获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；
所述第二计算模块，适于获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；
所述第三计算模块，适于计算t1与t2之和为像素对应的深度值d。
12.根据权利要求9所述的深度图像的生成装置，其特征在于，所述第一生成单元包括：
第二转换子单元，适于将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标；
第一计算子单元，适于计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；
第二生成子单元，适于对于重叠区域的每一列像素，分别基于左眼相机及其对应的光流值生成左眼相机全景图像，基于右眼相机及其对应的光流值生成右眼相机全景图像；
第三生成子单元，适于基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。
13.根据权利要求10或12所述的深度图像的生成装置，其特征在于，所述第一计算子单元，适于基于以下任意一种算法计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值：相位相关算法、位相关算法和Lucas-Kanade算法。
14.一种深度图像的显示装置，其特征在于，包括：
第三生成单元，适于采用如权利要求1至5任一项所述的方法，生成立体全景图像及其对应的深度图像；
重建单元，适于基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图；
扭曲单元，适于将所述点云图投影至视平面，并扭曲其对应的深度图像；
第四生成单元，适于将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像；
输出单元，适于输出显示对应深度值较小的视平面图像。
15.根据权利要求14所述的深度图像的显示装置，其特征在于，所述视平面为：
与眼睛视线注意方向垂直的平面。
16.根据权利要求14所述的深度图像的显示装置，其特征在于，还包括：
压缩单元，适于压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据；
解压缩单元，适于解压所述立体全景图像及其对应的深度图像的压缩数据，获取所述立体全景图像及其对应的深度图像。
17.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至5中任一项所述方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求6至8中任一项所述方法的步骤。
19.一种深度图像的生成系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至5中任一项所述方法的步骤。
20.一种深度图像的显示系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求6至8中任一项所述方法的步骤。
CN201711414436.5A 2017-12-22 2017-12-22 深度图像的生成及显示方法、装置、系统、可读介质 Active CN109961395B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711414436.5A CN109961395B (zh) 2017-12-22 2017-12-22 深度图像的生成及显示方法、装置、系统、可读介质
CN202210841424.5A CN115222793A (zh) 2017-12-22 2017-12-22 深度图像的生成及显示方法、装置、系统、可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711414436.5A CN109961395B (zh) 2017-12-22 2017-12-22 深度图像的生成及显示方法、装置、系统、可读介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210841424.5A Division CN115222793A (zh) 2017-12-22 2017-12-22 深度图像的生成及显示方法、装置、系统、可读介质

Publications (2)

Publication Number Publication Date
CN109961395A true CN109961395A (zh) 2019-07-02
CN109961395B CN109961395B (zh) 2022-10-11

Family

ID=67020271

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210841424.5A Pending CN115222793A (zh) 2017-12-22 2017-12-22 深度图像的生成及显示方法、装置、系统、可读介质
CN201711414436.5A Active CN109961395B (zh) 2017-12-22 2017-12-22 深度图像的生成及显示方法、装置、系统、可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210841424.5A Pending CN115222793A (zh) 2017-12-22 2017-12-22 深度图像的生成及显示方法、装置、系统、可读介质

Country Status (1)

Country Link
CN (2) CN115222793A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192312A (zh) * 2019-12-04 2020-05-22 中广核工程有限公司 基于深度学习的深度图像获取方法、装置、设备及介质
CN113891061A (zh) * 2021-11-19 2022-01-04 深圳市易快来科技股份有限公司 一种裸眼3d显示方法及显示设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974055A (zh) * 2013-02-06 2014-08-06 城市图像科技有限公司 3d照片生成系统及方法
WO2015085406A1 (en) * 2013-12-13 2015-06-18 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
CN105225241A (zh) * 2015-09-25 2016-01-06 广州极飞电子科技有限公司 无人机深度图像的获取方法及无人机
CN106060523A (zh) * 2016-06-29 2016-10-26 北京奇虎科技有限公司 全景立体图像采集、显示方法及相应的装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974055A (zh) * 2013-02-06 2014-08-06 城市图像科技有限公司 3d照片生成系统及方法
WO2015085406A1 (en) * 2013-12-13 2015-06-18 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
CN105225241A (zh) * 2015-09-25 2016-01-06 广州极飞电子科技有限公司 无人机深度图像的获取方法及无人机
CN106060523A (zh) * 2016-06-29 2016-10-26 北京奇虎科技有限公司 全景立体图像采集、显示方法及相应的装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192312A (zh) * 2019-12-04 2020-05-22 中广核工程有限公司 基于深度学习的深度图像获取方法、装置、设备及介质
CN111192312B (zh) * 2019-12-04 2023-12-26 中广核工程有限公司 基于深度学习的深度图像获取方法、装置、设备及介质
CN113891061A (zh) * 2021-11-19 2022-01-04 深圳市易快来科技股份有限公司 一种裸眼3d显示方法及显示设备
CN113891061B (zh) * 2021-11-19 2022-09-06 深圳市易快来科技股份有限公司 一种裸眼3d显示方法及显示设备

Also Published As

Publication number Publication date
CN115222793A (zh) 2022-10-21
CN109961395B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN108257219B (zh) 一种实现全景多点漫游的方法
US20200051269A1 (en) Hybrid depth sensing pipeline
TWI619091B (zh) 全景圖壓縮方法及裝置
JP2017532847A (ja) 立体録画及び再生
JP6672315B2 (ja) 画像生成装置、及び画像表示制御装置
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
CN103345771A (zh) 一种基于建模的图像高效渲染方法
CN107240147B (zh) 图像渲染方法及系统
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax
US11308682B2 (en) Dynamic stereoscopic rendering method and processor
KR102141319B1 (ko) 다시점 360도 영상의 초해상화 방법 및 영상처리장치
WO2017128887A1 (zh) 全景图像的校正3d显示方法和系统及装置
US20220327781A1 (en) Stereoscopic rendering of virtual 3d objects
WO2020151268A1 (zh) 一种3d小行星动态图的生成方法及便携式终端
JP2006515128A (ja) 立体パノラマ画像取り込み装置
CN102692806A (zh) 自由视点四维空间视频序列的采集与形成方法
CN111091491B (zh) 一种等距圆柱投影的全景视频像素再分配方法及系统
CN107562185B (zh) 一种基于头戴vr设备的光场显示系统及实现方法
WO2020184174A1 (ja) 画像処理装置および画像処理方法
CN108769648A (zh) 一种基于720度全景vr的3d场景呈现方法
Marrinan et al. Real-time omnidirectional stereo rendering: generating 360 surround-view panoramic images for comfortable immersive viewing
CN109961395A (zh) 深度图像的生成及显示方法、装置、系统、可读介质
CN105979241B (zh) 一种柱面立体全景视频快速反变换方法
US10699372B2 (en) Image generation apparatus and image display control apparatus
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant