CN111343444A - 一种立体图像生成方法及装置 - Google Patents

一种立体图像生成方法及装置 Download PDF

Info

Publication number
CN111343444A
CN111343444A CN202010084752.6A CN202010084752A CN111343444A CN 111343444 A CN111343444 A CN 111343444A CN 202010084752 A CN202010084752 A CN 202010084752A CN 111343444 A CN111343444 A CN 111343444A
Authority
CN
China
Prior art keywords
image
viewpoint
dense
sparse
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010084752.6A
Other languages
English (en)
Other versions
CN111343444B (zh
Inventor
邢树军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010084752.6A priority Critical patent/CN111343444B/zh
Publication of CN111343444A publication Critical patent/CN111343444A/zh
Application granted granted Critical
Publication of CN111343444B publication Critical patent/CN111343444B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例公开了一种立体图像生成方法及装置，方法包括：根据虚拟三维场景和虚拟相机阵列，确定稀疏视点的图像；根据稀疏视点的图像，确定稠密视点的图像；将稠密视点的图像转化为稠密视点的彩色图像；重排稠密视点的彩色图像，得到立体图像。本发明实施例采用混合渲染的方式，即首先利用基于几何的渲染方法，将虚拟三维场景和虚拟相机阵列输入几何渲染管线中，得到稀疏视点的图像；再利用基于图像的渲染方法将所述稀疏视点的图像输入运行在显卡中的多线程程序中，得到稠密视点的图像，克服了传统超多视点立体图像的渲染算法存在可视角度小，渲染时间长，显示质量差，只考虑理想散射介质，故渲染出来的图像存在光照效果失真的现象等问题。

Description

一种立体图像生成方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种立体图像生成方法及装置。
背景技术
随着三维显示技术的蓬勃发展，显示效果越来越好，可视化角度越来越大，视点数目越来越密集。
传统的渲染方法主要分为两大类：基于几何的渲染方法和基于图像渲染的方法。基于几何的渲染方法其输入数据为模型数据，纹理数据，法线数据等。最简单的基于几何的渲染方法为摄像机阵列生成法，即在虚拟空间中建立一系列的虚拟相机，然后逐个渲染得到单个的视点图像。随着视点数目的增多，渲染效率会严重下降。与摄像机阵列生成法相反的方法是逆向光线跟踪生成法，根据自由立体显示器的视点排布规律，生成光线与虚拟空间中的几何体进行碰撞检测，最佳得到无冗余的自由立体图像。虽然近些年来，实时光线跟踪技术快速发展，但是根据英伟达公司出版的图灵架构白皮书，在未来十年内在超大分辨率，超多视角的自由立体显示器上实现实时的光线跟踪方案是不可能的。除此之外，还有哈佛大学提出的MVR(Multiview Rendering，多视点渲染)技术，首先生成EPI(EpipolarPlane Image，极限平面图像)图像然后再转化多视点。这个算法虽然有效的利用了多视点的相关性，提高了渲染效率，但它并不被现代渲染管线所支持，所以很难生成高质量图像。基于图像的渲染方法其输入数据为一系列的图像。最常见的渲染方法包括体渲染和光场渲染。体数据的自由立体实时渲染是光线投射法，其缺点也很明显，即碰撞检测消耗大量计算资源，无法处理大规模数据。光场渲染将消耗大量的存储资源，无法浏览大规模场景。然而，基于深度图像的立体图像生成方法是近年来的研究热点。单DIBR(Depth Image BasedRendering，基于深度图的图像绘制)可实现可视角度在10度以内的自由立体显示器实时渲染。多DIBR图像可以扩展可视角度，并提升渲染效率。但它们只有深度图像和彩色图像，并没有考虑光照问题。所以输出的渲染质量有时会很差。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种立体图像生成方法及装置。
第一方面，本发明实施例提出一种立体图像生成方法，包括：
根据虚拟三维场景和虚拟相机阵列，确定稀疏视点的图像；
根据所述稀疏视点的图像，确定稠密视点的图像；
将所述稠密视点的图像转化为所述稠密视点的彩色图像；
重排所述稠密视点的彩色图像，得到立体图像。
可选地，所述虚拟相机阵列采用错切的排列方式。
可选地，所述虚拟相机阵列中的虚拟相机的排列公式如下：
Figure BDA0002381648050000021
Figure BDA0002381648050000022
其中，Mvn，Mpn分别是虚拟相机n的模型视图矩阵和投影矩阵，Mvc，MPC为中心相机的模型视图矩阵和投影矩阵，d代表相邻两个相机之间的距离，dh代表相机到零视差平面的距离，n代表相机的序号，N代表相机的数目。
可选地，所述根据所述稀疏视点的图像，确定稠密视点的图像，包括：
将所述稀疏视点的图像中的视点进行视点变换；
若视点变换后产生空洞，则利用线性插值法填补空洞，以得到所述稠密视点的图像。
可选地，所述将所述稠密视点的图像转化为所述稠密视点的彩色图像，包括：
采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。
可选地，所述采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像的具体公式为：
Itot＝Iamb+Idiff+Ispec
其中，Idiff代表散射部分，Ispec代表高光部分，Iamb代表环境光照部分。
可选地，所述重排所述稠密视点的彩色图像，得到立体图像，包括：
通过以下公式重排所述稠密视点的彩色图像，得到立体图像，公式为：
Figure BDA0002381648050000031
其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。
第二方面，本发明实施例还提出一种立体图像生成装置，包括：
第一确定模块、第二确定模块、转化模块和重排模块；
所述第一确定模块，用于根据虚拟三维场景和虚拟相机阵列，确定第一视点的图像；
所述第二确定模块，用于根据所述第一视点的图像，确定第二视点的图像；
所述转化模块，用于将所述第二视点的图像转化为所述第二视点的彩色图像；
所述重排模块，用于重排所述第二视点的彩色图像，得到立体图像。
可选地，所述虚拟相机阵列采用错切的排列方式。
可选地，所述虚拟相机阵列中的虚拟相机的排列公式如下：
Figure BDA0002381648050000041
Figure BDA0002381648050000042
其中，Mvn，Mpn分别是虚拟相机n的模型视图矩阵和投影矩阵，Mvc，MPC为中心相机的模型视图矩阵和投影矩阵，d代表相邻两个相机之间的距离，dh代表相机到零视差平面的距离，n代表相机的序号，N代表相机的数目。
可选地，所述第二确定模块，具体用于：
将所述稀疏视点的图像中的视点进行视点变换；
若视点变换后产生空洞，则利用线性插值法填补空洞，以得到所述稠密视点的图像。
可选地，所述转化模块，具体用于：
采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。
可选地，所述采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像的具体公式为：
Itot＝Iamb+Idiff+Ispec
其中，Idiff代表散射部分，Ispec代表高光部分，Iamb代表环境光照部分。
可选地，所述重排模块，具体用于：
通过以下公式重排所述稠密视点的彩色图像，得到立体图像，公式为：
Figure BDA0002381648050000051
其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。
第三方面，本发明实施例还提出一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。
由上述技术方案可知，本发明实施例采用混合渲染的方式，即首先利用基于几何的渲染方法，将虚拟三维场景和虚拟相机阵列输入几何渲染管线中，得到稀疏视点的图像；再利用基于图像的渲染方法将所述稀疏视点的图像输入运行在显卡中的多线程程序中，得到稠密视点的图像，克服了传统超多视点立体图像的渲染算法存在可视角度小，渲染时间长，显示质量差，只考虑理想散射介质，故渲染出来的图像存在光照效果失真的现象等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种立体图像生成方法的流程示意图；
图2为本发明一实施例提供的虚拟相机排列示意图；
图3为本发明一实施例提供的视点变换示意图；
图4为本发明一实施例提供的空洞像素示意图；
图5为本发明一实施例提供的视点图像的重排示意图；
图6为本发明一实施例提供的一种立体图像生成装置的结构示意图；
图7为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本实施例提供的一种立体图像生成方法的流程示意图，包括：
S11，根据虚拟三维场景和虚拟相机阵列，确定稀疏视点的图像。
在本发明实施例中，将所述虚拟三维场景和虚拟相机阵列输入几何渲染管线中，即可得到稀疏视点的图像。而稀疏视点的图像由深度纹理，法线纹理，扩散纹理以及高光纹理构成。为了加速稀疏视点的图像生成，在本发明实施例中，采用英伟达公司最新的图灵多视点绘制技术。它能够同时渲染四路视点图像，相对传统的单pass(即只能渲染一路视点图像)的渲染效率提高了2到3倍。
S12，根据所述稀疏视点的图像，确定稠密视点的图像。
在本发明实施例中，将S11中得到的稀疏视点的图像输入运行在显卡中的多线程程序，即可得到稠密视点的图像。该步骤主要包括两个部分，一部分是视点变换，另一部分是空洞填充。
S13，将所述稠密视点的图像转化为所述稠密视点的彩色图像。
在本发明实施例中，利用光场模型Blinn-phong模型将S12中得到的稠密视点的图像转化为所述稠密视点的彩色图像。光源采用点光源。
S14，重排所述稠密视点的彩色图像，得到立体图像。
在本发明实施例中，通过在GPU(Graphics Processing Unit，图像处理器)下的运算，实现视点图像的重排，通过以下公式对S13中得到的稠密视点的彩色图像进行重排(即通过以下公式得到每一子像素对应的视点值，找到相应视点图像，抽取相应的子像素值)，得到立体图像，公式如下：
Figure BDA0002381648050000071
其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。
本发明实施例采用混合渲染的方式，即首先利用基于几何的渲染方法，将虚拟三维场景和虚拟相机阵列输入几何渲染管线中，得到稀疏视点的图像；再利用基于图像的渲染方法将所述稀疏视点的图像输入运行在显卡中的多线程程序中，得到稠密视点的图像，克服了传统超多视点立体图像的渲染算法存在可视角度小，渲染时间长，显示质量差，只考虑理想散射介质，故渲染出来的图像存在光照效果失真的现象等问题。
进一步地，在上述方法实施例的基础上，所述虚拟相机阵列采用错切的排列方式。
在本发明实施例中，错切式虚拟相机的阵列设置既能显示出屏立体显示效果，又能显示入屏立体显示效果，并且没有汇聚式虚拟相机的阵列设置产生的畸变。因此，在本发明实施例中，所述虚拟相机阵列采用错切的排列方式。
本发明实施例采用错切的排列方式设置虚拟相机阵列，既能显示出屏立体显示效果，又能显示入屏立体显示效果，并且没有汇聚式虚拟相机的阵列设置产生的畸变。
进一步地，在上述方法实施例的基础上，所述虚拟相机阵列中的虚拟相机的排列公式如下：
Figure BDA0002381648050000081
Figure BDA0002381648050000082
其中，Mvn，Mpn分别是虚拟相机n的模型视图矩阵和投影矩阵，Mvc，MPC为中心相机的模型视图矩阵和投影矩阵，d代表相邻两个相机之间的距离，dh代表相机到零视差平面的距离，n代表相机的序号，N代表相机的数目。d和dh如图2所示。
本发明实施例采用上述矩阵对虚拟相机进行排列，既能显示出屏立体显示效果，又能显示入屏立体显示效果，并且没有汇聚式虚拟相机的阵列设置产生的畸变。
进一步地，在上述方法实施例的基础上，所述根据所述稀疏视点的图像，确定稠密视点的图像，包括：
将所述稀疏视点的图像中的视点进行视点变换；
若视点变换后产生空洞，则利用线性插值法填补空洞，以得到所述稠密视点的图像。
在本发明实施例中，如图3所示，点p1和p2在参考视点中的投影点为pj1，pj2，根据下面的公式进行视点变换均得到目标投影点pj。
Δs1＝d1Δx/(dh-d1)
Δs2＝d2Δx/(dh-d2)
当Δs1大于等于Δs2时，p1点所携带的值将会被保留下来。视点变换的本质是平移像素，但很容易造成空洞的问题。在本发明实施例中，采用最简单的线性插值法来填补空洞。如图4所示，空洞像素(x,y,m)的值可以通过V(x,y,m)＝(drVl+dlVr)/(dl+dr)计算出来。其中，dr和dl分别代表本空洞像素到左右两边最近的非空洞像素之间的距离。
本发明实施例利用基于图像的渲染方法将所述稀疏视点的图像输入运行在显卡中的多线程程序中，得到稠密视点的图像，结合上述基于几何的渲染方法，将虚拟三维场景和虚拟相机阵列输入几何渲染管线中，得到稀疏视点的图像，克服了传统超多视点立体图像的渲染算法存在可视角度小，渲染时间长，显示质量差，只考虑理想散射介质，故渲染出来的图像存在光照效果失真的现象等问题。
进一步地，在上述方法实施例的基础上，所述将所述稠密视点的图像转化为所述稠密视点的彩色图像，包括：
采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。
在本发明实施例中，稠密视点和稀疏视点的图像包含深度图像、法线图像、扩散材质图像和高光材质图像，人眼无法直接观看，所以需要将所述稠密视点和稀疏视点的图像转化成彩色图像。具体地，采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。光源采用点光源。
本发明实施例通过将稠密视点的图像转化为稠密视点的彩色图像，以利于人眼直接观看。
进一步地，在上述方法实施例的基础上，所述采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像的具体公式为：
Itot＝Iamb+Idiff+Ispec
其中，Idiff代表散射部分，Ispec代表高光部分，Iamb代表环境光照部分。散射部分Idiff可通过以下公式计算得到：
Figure BDA0002381648050000101
其中，
Figure BDA0002381648050000102
代表按位相乘，
Figure BDA0002381648050000103
代表光源位置Spos到点
Figure BDA0002381648050000104
的入射方向，
Figure BDA0002381648050000105
代表
Figure BDA0002381648050000106
处的法线，Mdiff代表扩散颜色，Sdiff代表光源的颜色。高光部分Ispec可通过以下公式计算得到：
Figure BDA0002381648050000107
其中，
Figure BDA0002381648050000108
是
Figure BDA0002381648050000109
到人眼之间向量，
Figure BDA00023816480500001010
为
Figure BDA00023816480500001011
和
Figure BDA00023816480500001012
之间的半向量。环境光照部分Iamb可通过以下公式计算得到：
Figure BDA00023816480500001013
通过上面的运算，最终得到各个稠密视点的彩色图像。
本发明实施例通过将稠密视点的图像转化为稠密视点的彩色图像，以利于人眼直接观看。
进一步地，在上述方法实施例的基础上，所述重排所述稠密视点的彩色图像，得到立体图像，包括：
通过以下公式重排所述稠密视点的彩色图像，得到立体图像，公式为：
Figure BDA00023816480500001014
其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。
在本发明实施例中，通过在GPU下的运算，实现视点图像的重排。如图5所示，为适应立体显示器的参数，重排所述稠密视点的彩色图像，得到立体图像的公式为：
Figure BDA00023816480500001015
其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。
本发明实施例采用混合渲染的方式，即首先利用基于几何的渲染方法，将虚拟三维场景和虚拟相机阵列输入几何渲染管线中，得到稀疏视点的图像；再利用基于图像的渲染方法将所述稀疏视点的图像输入运行在显卡中的多线程程序中，得到稠密视点的图像，克服了传统超多视点立体图像的渲染算法存在可视角度小，渲染时间长，显示质量差，只考虑理想散射介质，故渲染出来的图像存在光照效果失真的现象等问题。
图6示出了本实施例提供的一种立体图像生成装置的结构示意图，所述装置包括：第一确定模块61、第二确定模块62、转化模块63和重排模块64；
所述第一确定模块61，用于根据虚拟三维场景和虚拟相机阵列，确定第一视点的图像；
所述第二确定模块62，用于根据所述第一视点的图像，确定第二视点的图像；
所述转化模块63，用于将所述第二视点的图像转化为所述第二视点的彩色图像；
所述重排模块64，用于重排所述第二视点的彩色图像，得到立体图像。
进一步地，在上述装置实施例的基础上，所述虚拟相机阵列采用错切的排列方式。
进一步地，在上述装置实施例的基础上，所述虚拟相机阵列中的虚拟相机的排列公式如下：
Figure BDA0002381648050000111
Figure BDA0002381648050000112
其中，Mvn，Mpn分别是虚拟相机n的模型视图矩阵和投影矩阵，Mvc，MPC为中心相机的模型视图矩阵和投影矩阵，d代表相邻两个相机之间的距离，dh代表相机到零视差平面的距离，n代表相机的序号，N代表相机的数目。
进一步地，在上述装置实施例的基础上，所述第二确定模块62，具体用于：
将所述稀疏视点的图像中的视点进行视点变换；
若视点变换后产生空洞，则利用线性插值法填补空洞，以得到所述稠密视点的图像。
进一步地，在上述装置实施例的基础上，所述转化模块63，具体用于：
采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。
进一步地，在上述装置实施例的基础上，所述采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像的具体公式为：
Itot＝Iamb+Idiff+Ispec
其中，Idiff代表散射部分，Ispec代表高光部分，Iamb代表环境光照部分。
进一步地，在上述装置实施例的基础上，所述重排模块64，具体用于：
通过以下公式重排所述稠密视点的彩色图像，得到立体图像，公式为：
Figure BDA0002381648050000121
其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。
参照图7，所述电子设备，包括：处理器(processor)71、存储器(memory)72和总线73；
其中，
所述处理器71和存储器72通过所述总线73完成相互间的通信；
所述处理器71用于调用所述存储器72中的程序指令，以执行上述各方法实施例所提供的方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种立体图像生成方法，其特征在于，包括：
根据虚拟三维场景和虚拟相机阵列，确定稀疏视点的图像；
根据所述稀疏视点的图像，确定稠密视点的图像；
将所述稠密视点的图像转化为所述稠密视点的彩色图像；
重排所述稠密视点的彩色图像，得到立体图像。
2.根据权利要求1所述的立体图像生成方法，其特征在于，所述虚拟相机阵列采用错切的排列方式。
3.根据权利要求2所述的立体图像生成方法，其特征在于，所述虚拟相机阵列中的虚拟相机的排列公式如下：
Figure FDA0002381648040000011
Figure FDA0002381648040000012
其中，Mvn，Mpn分别是虚拟相机n的模型视图矩阵和投影矩阵，Mvc，MPC为中心相机的模型视图矩阵和投影矩阵，d代表相邻两个相机之间的距离，dh代表相机到零视差平面的距离，n代表相机的序号，N代表相机的数目。
4.根据权利要求1所述的立体图像生成方法，其特征在于，所述根据所述稀疏视点的图像，确定稠密视点的图像，包括：
将所述稀疏视点的图像中的视点进行视点变换；
若视点变换后产生空洞，则利用线性插值法填补空洞，以得到所述稠密视点的图像。
5.根据权利要求1所述的立体图像生成方法，其特征在于，所述将所述稠密视点的图像转化为所述稠密视点的彩色图像，包括：
采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。
6.根据权利要求5所述的立体图像生成方法，其特征在于，所述采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像的具体公式为：
Itot＝Iamb+Idiff+Ispec
其中，Idiff代表散射部分，Ispec代表高光部分，Iamb代表环境光照部分。
7.根据权利要求1所述的立体图像生成方法，其特征在于，所述重排所述稠密视点的彩色图像，得到立体图像，包括：
通过以下公式重排所述稠密视点的彩色图像，得到立体图像，公式为：
Figure FDA0002381648040000021
其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。
8.一种立体图像生成装置，其特征在于，包括：第一确定模块、第二确定模块、转化模块和重排模块；
所述第一确定模块，用于根据虚拟三维场景和虚拟相机阵列，确定第一视点的图像；
所述第二确定模块，用于根据所述第一视点的图像，确定第二视点的图像；
所述转化模块，用于将所述第二视点的图像转化为所述第二视点的彩色图像；
所述重排模块，用于重排所述第二视点的彩色图像，得到立体图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一所述的立体图像生成方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一所述的立体图像生成方法。
CN202010084752.6A 2020-02-10 2020-02-10 一种立体图像生成方法及装置 Expired - Fee Related CN111343444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010084752.6A CN111343444B (zh) 2020-02-10 2020-02-10 一种立体图像生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084752.6A CN111343444B (zh) 2020-02-10 2020-02-10 一种立体图像生成方法及装置

Publications (2)

Publication Number Publication Date
CN111343444A true CN111343444A (zh) 2020-06-26
CN111343444B CN111343444B (zh) 2021-09-17

Family

ID=71185252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084752.6A Expired - Fee Related CN111343444B (zh) 2020-02-10 2020-02-10 一种立体图像生成方法及装置

Country Status (1)

Country Link
CN (1) CN111343444B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915712A (zh) * 2020-08-28 2020-11-10 网易（杭州）网络有限公司 光照渲染方法、装置、计算机可读介质及电子设备
CN112328194A (zh) * 2020-09-18 2021-02-05 广州中望龙腾软件股份有限公司 图纸并行显示方法、智能终端以及存储装置
CN116524061A (zh) * 2023-07-03 2023-08-01 腾讯科技（深圳）有限公司 一种图像渲染方法和相关装置
CN111915712B (zh) * 2020-08-28 2024-05-28 网易（杭州）网络有限公司 光照渲染方法、装置、计算机可读介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447934A (zh) * 2011-11-02 2012-05-09 吉林大学 稀疏镜头采集的组合立体图像系统中立体元的合成方法
CN102496183A (zh) * 2011-11-03 2012-06-13 北京航空航天大学 基于互联网照片集的多视角立体重构方法
CN104966312A (zh) * 2014-06-10 2015-10-07 腾讯科技（深圳）有限公司 一种3d模型的渲染方法、装置及终端设备
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN107767454A (zh) * 2017-11-10 2018-03-06 泰瑞数创科技(北京)有限公司 一种实景三维移动快速建模方法、装置及系统
CN108597012A (zh) * 2018-04-16 2018-09-28 北京工业大学 一种基于cuda的医学图像的三维重建方法
CN109493414A (zh) * 2018-10-30 2019-03-19 西北工业大学 一种基于梯度自适应的Blinn-Phong光照增强算法
CN110246146A (zh) * 2019-04-29 2019-09-17 北京邮电大学 基于多次深度图像渲染的全视差光场内容生成方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447934A (zh) * 2011-11-02 2012-05-09 吉林大学 稀疏镜头采集的组合立体图像系统中立体元的合成方法
CN102496183A (zh) * 2011-11-03 2012-06-13 北京航空航天大学 基于互联网照片集的多视角立体重构方法
CN104966312A (zh) * 2014-06-10 2015-10-07 腾讯科技（深圳）有限公司 一种3d模型的渲染方法、装置及终端设备
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN107767454A (zh) * 2017-11-10 2018-03-06 泰瑞数创科技(北京)有限公司 一种实景三维移动快速建模方法、装置及系统
CN108597012A (zh) * 2018-04-16 2018-09-28 北京工业大学 一种基于cuda的医学图像的三维重建方法
CN109493414A (zh) * 2018-10-30 2019-03-19 西北工业大学 一种基于梯度自适应的Blinn-Phong光照增强算法
CN110246146A (zh) * 2019-04-29 2019-09-17 北京邮电大学 基于多次深度图像渲染的全视差光场内容生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢树军: "《电子沙盘的三维可视化关键技术研究》", 《中国博士学位论文全文数据库（电子期刊）社会科学I辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915712A (zh) * 2020-08-28 2020-11-10 网易（杭州）网络有限公司 光照渲染方法、装置、计算机可读介质及电子设备
CN111915712B (zh) * 2020-08-28 2024-05-28 网易（杭州）网络有限公司 光照渲染方法、装置、计算机可读介质及电子设备
CN112328194A (zh) * 2020-09-18 2021-02-05 广州中望龙腾软件股份有限公司 图纸并行显示方法、智能终端以及存储装置
CN116524061A (zh) * 2023-07-03 2023-08-01 腾讯科技（深圳）有限公司 一种图像渲染方法和相关装置
CN116524061B (zh) * 2023-07-03 2023-09-26 腾讯科技（深圳）有限公司 一种图像渲染方法和相关装置

Also Published As

Publication number Publication date
CN111343444B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
JP4489610B2 (ja) 立体視可能な表示装置および方法
CN103440660B (zh) 一种基于gpu的集成成像微图像阵列快速生成方法
CN110246146A (zh) 基于多次深度图像渲染的全视差光场内容生成方法及装置
CN111343444B (zh) 一种立体图像生成方法及装置
Li et al. A real-time high-quality complete system for depth image-based rendering on FPGA
US11468635B2 (en) Methods and apparatus to facilitate 3D object visualization and manipulation across multiple devices
Pang et al. High-efficient rendering of the multi-view image for the three-dimensional display based on the backward ray-tracing technique
Nonaka et al. Fast plane-based free-viewpoint synthesis for real-time live streaming
US20170116777A1 (en) Image processing method and apparatus
JP2006163547A (ja) 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。
CN106231286B (zh) 一种三维图像生成方法及装置
Baričević et al. User-perspective AR magic lens from gradient-based IBR and semi-dense stereo
Zhang et al. Pseudo-LiDAR point cloud magnification
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
Xing et al. A real-time super multiview rendering pipeline for wide viewing-angle and high-resolution 3D displays based on a hybrid rendering technique
Waizenegger et al. Parallel high resolution real-time visual hull on gpu
Yang et al. Real-time light-field generation based on the visual hull for the 3D light-field display with free-viewpoint texture mapping
JP7257272B2 (ja) 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
Wang et al. GPU based implementation of 3DTV system
KR101003060B1 (ko) 입체영상 제작을 위한 동영상 프레임 생성방법
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation
Liao et al. Decoupled and reparameterized compound attention-based light field depth estimation network
Liu et al. An Efficient Stereoscopic Game Conversion System for Embedded Platform
CN116503536B (zh) 一种基于场景分层的光场渲染方法
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210917

Termination date: 20220210

CF01 Termination of patent right due to non-payment of annual fee