CN109982064B - 一种裸眼3d的虚拟视点图像生成方法和便携式终端 - Google Patents

一种裸眼3d的虚拟视点图像生成方法和便携式终端 Download PDF

Info

Publication number
CN109982064B
CN109982064B CN201910203920.6A CN201910203920A CN109982064B CN 109982064 B CN109982064 B CN 109982064B CN 201910203920 A CN201910203920 A CN 201910203920A CN 109982064 B CN109982064 B CN 109982064B
Authority
CN
China
Prior art keywords
reference image
image
virtual viewpoint
depth map
filling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910203920.6A
Other languages
English (en)
Other versions
CN109982064A (zh
Inventor
高瑞东
谢亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN201910203920.6A priority Critical patent/CN109982064B/zh
Publication of CN109982064A publication Critical patent/CN109982064A/zh
Priority to PCT/CN2020/090416 priority patent/WO2020187339A1/zh
Application granted granted Critical
Publication of CN109982064B publication Critical patent/CN109982064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于图像处理领域，提供了一种裸眼3D的虚拟视点图像生成方法和便携式终端。所述方法包括：获取摄像机拍摄的左右两幅参考图像，并进行校正；根据校正后的左右两幅参考图像，利用立体匹配算法分别获取左右两幅参考图像的深度图；分别根据左右两幅参考图像及其深度图生成左右两幅虚拟视点图像，在生成左右两幅虚拟视点图像的过程中对裂纹进行消除处理和对空洞进行填充处理；将左右两幅虚拟视点图像进行线性加权融合，得到裸眼3D的虚拟视点图像。本发明合成出的虚拟视点图像不存在裂纹和空洞，用于裸眼观看时，图像效果好。

Description

一种裸眼3D的虚拟视点图像生成方法和便携式终端
技术领域
本发明属于图像处理领域，尤其涉及一种裸眼3D的虚拟视点图像生成方法和便携式终端。
背景技术
现有技术的裸眼3D的虚拟视点图像通常采用以下方式生成：摄像机获得左右两幅参考图像，并校正两幅参考图像，利用立体匹配算法获取深度图，采用基于深度的虚拟视点绘制算法合成出不同虚拟视点下的图像，生成虚拟视点图像。
但是由于计算中的投影误差以及物体遮挡等原因，合成出的虚拟视点图像主要存在两个问题：
①裂纹：由于重投影过程中的投影误差存在的原因，导致若干像素点未被赋予像素值，从而导致合成出的虚拟视点图像会存在裂纹。
②空洞：由于实际空间中物体之间的前后遮挡关系，存在同一个物体只在一幅参考图像中出现，或者在两幅参考图像中均不出现的情况，这种情况下无法准确计算出被遮挡物体的深度值。在合成的虚拟视点图像中，由于摄像机位置的偏移，被遮挡物体出现的位置会存在大面积空洞。
发明内容
本发明的目的在于提供一种裸眼3D的虚拟视点图像生成方法、计算机可读存储介质和便携式终端，旨在解决现有技术合成出的虚拟视点图像存在裂纹和空洞的问题。
第一方面，本发明提供了一种裸眼3D的虚拟视点图像生成方法，所述方法包括：
S101、获取摄像机拍摄的左右两幅参考图像，并进行校正；
S102、根据校正后的左右两幅参考图像，利用立体匹配算法分别获取左右两幅参考图像的深度图；
S103、分别根据左右两幅参考图像及其深度图生成左右两幅虚拟视点图像，在生成左右两幅虚拟视点图像的过程中对裂纹进行消除处理和对空洞进行填充处理；
S104、将左右两幅虚拟视点图像进行线性加权融合，得到裸眼3D的虚拟视点图像；
所述对空洞进行填充处理具体为：采用基于参考图像的深度图的前后景进行分割来检测参考图像和参考图像的深度图中可能出现空洞的区域，并利用多尺度窗口滤波算法对空洞进行填充，得到模糊填充后的参考图像的深度图和模糊填充后的参考图像；
所述对裂纹进行消除处理具体为：将参考图像的深度图和模糊填充后的参考图像的深度图分别执行正向映射消除裂纹。
第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的裸眼3D的虚拟视点图像生成方法的步骤。
第三方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的裸眼3D的虚拟视点图像生成方法的步骤。
在本发明中，由于在生成左右两幅虚拟视点图像的过程中对裂纹进行消除处理和对空洞进行填充处理；所述对空洞进行填充处理具体为：采用基于参考图像的深度图的前后景进行分割来检测参考图像和参考图像的深度图中可能出现空洞的区域，并利用多尺度窗口滤波算法对空洞进行填充，得到模糊填充后的参考图像的深度图和模糊填充后的参考图像；所述对裂纹进行消除处理具体为：将参考图像的深度图和模糊填充后的参考图像的深度图分别执行正向映射消除裂纹。因此合成出的虚拟视点图像不存在裂纹和空洞，用于裸眼观看时，图像效果好。
附图说明
图1是本发明实施例一提供的裸眼3D的虚拟视点图像生成方法的流程图。
图2是本发明实施例三提供的便携式终端的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的裸眼3D的虚拟视点图像生成方法包括以下步骤：
S101、获取摄像机拍摄的左右两幅参考图像，并进行校正；
S102、根据校正后的左右两幅参考图像，利用立体匹配算法分别获取左右两幅参考图像的深度图；
S103、分别根据左右两幅参考图像及其深度图生成左右两幅虚拟视点图像，在生成左右两幅虚拟视点图像的过程中对裂纹进行消除处理和对空洞进行填充处理；
S104、将左右两幅虚拟视点图像进行线性加权融合，得到裸眼3D的虚拟视点图像。
在本发明实施例一中，针对生成左虚拟视点图像或右虚拟视点图像的过程，S103具体包括以下步骤：
S1031、采用基于参考图像的深度图depth的前后景进行分割来检测参考图像I和参考图像的深度图depth中可能出现空洞的区域，并利用多尺度窗口滤波算法对空洞进行填充，得到模糊填充后的参考图像的深度图depth_blur和模糊填充后的参考图像I_blur。
S1032、将参考图像的深度图depth和模糊填充后的参考图像的深度图depth_blur分别执行正向映射消除裂纹，得到虚拟视点位置的图像的深度图depth_virt和虚拟视点位置的模糊填充后的图像的深度图depth_blur_virt。
S1033、采用反向映射方法，利用虚拟视点位置的图像的深度图depth_virt和虚拟视点位置的模糊填充后的图像的深度图depth_blur_virt将虚拟视点位置的像素点重投影到三维空间，平移后再重投影到参考视点位置。
S1034、采用双线性插值算法，分别从参考图像I和模糊填充后的参考图像I_blur中对应位置的邻域像素点插值得到虚拟视点位置的像素点的像素值，从而分别得到虚拟视点位置下的视图image_virt和模糊填充后的视图image_blur_virt。
由于模糊填充后的参考图像的深度图depth_blur中已经不存在深度不连续区域，并且经过正向映射后的虚拟视点位置的模糊填充后的图像的深度图depth_blur_virt也消除了裂纹区域，因此得到的模糊填充后的视图image_blur_virt中不存在空洞区域。但虚拟视点位置下的视图image_virt中存在大量空洞区域。
S1035、将虚拟视点位置下的视图image_virt中没有空洞的区域复制到模糊填充后的视图image_blur_virt中，得到一幅融合后的虚拟视点图像img_out。
虚拟视点图像img_out中遮挡区域本来应该是空洞的地方，取自模糊填充后的视图image_blur_virt中的模糊区域，非遮挡区域取自虚拟视点位置下的视图image_virt。这样既利用背景信息填充了遮挡造成的空洞，也保证了非遮挡区域的真实性，不会因为空洞填充而模糊掉。
S1036、不断平移虚拟视点位置，三维平移矩阵也随之改变，从而得到一系列不同视点下的虚拟视点图像。
在本发明实施例一中，S1031具体包括以下步骤：
S10311、对参考图像的深度图depth进行边界检测，得到主要边界。
由于遮挡区域往往出现在深度不连续区域，在深度图中表现为边界区域。S10311具体可以为：
利用sobel算子检测出参考图像的深度图depth中的主要边界，并获取主要边界区域的n个深度值序列ListD{D1,D2,D3,…,Dn}，n是自然数。
S10312、根据主要边界对参考图像I和参考图像的深度图depth进行分割。
S10312具体可以为：
以边界区域的深度值为分割阈值，根据分割阈值由小到大的策略，分别对参考图像I和参考图像的深度图depth进行区域分割，分割出n个去除前后景的局部参考图像序列ListI{I1,I2,I3,…,In}和局部参考图像的深度图序列Listd{d1,d2,d3,…,dn}。
S10313、分别对局部参考图像序列和局部参考图像的深度图序列进行前景空洞填充。
S10313具体可以为：
在局部参考图像序列ListI和局部参考图像的深度图序列Listd中，每一幅局部参考图像和局部参考图像的深度图的前景区域被填充为0，采用多尺度窗口滤波算法将前景区域填充为邻域背景信息。
针对每一幅局部参考图像和局部参考图像的深度图，执行如下步骤：
步骤一、设定初始滤波窗口尺寸为图像宽度，对参考图像进行均值滤波得到第一滤波结果图；
步骤二、将滤波窗口尺寸缩小一半，对参考图像进行均值滤波得到第二滤波结果图；如果第二滤波结果图中仍然存在未被填充的空洞区域，则用第一滤波结果图中对应位置像素点填充；
步骤三、多次执行步骤二，每次缩小滤波窗口尺寸为前一次的一半，然后判断是否仍然存在空洞区域，如果存在，则用前一次滤波结果图中对应位置像素点填充，当滤波窗口尺寸小于3时，停止循环。
所述对参考图像进行均值滤波可以用积分图方法快速实现，而积分图也很方便用于并行加速。
经过S10313的填充，局部参考图像序列ListI中图像的空洞区域均被对应的背景信息填充，得到填充后的局部参考图像序列ListI_fill{I1_fill,I2_fill,I3_fill,…,In_fill},并且是越靠近空洞边界区域的像素点权重值越大，越远离空洞边界区域的像素点权重越小。
S10314、分别对进行前景空洞填充后的局部参考图像序列和局部参考图像的深度图序列进行融合，得到一幅模糊填充后的参考图像I_blur和模糊填充后的参考图像的深度图depth_blur。
融合方法具体可以是将上一层填充后的空洞区域复制到下一层，例如将In-1_fill中的空洞填充区域复制到In_fill对应位置，依次类推，直到将所有序列融合完成，得到一幅所有前景区域均被模糊填充的视图。
在本发明实施例一中，S1032具体包括以下步骤：
S10321、根据摄像机内参矩阵和虚拟视点位置与参考视点位置之间的三维平移矩阵计算得到从参考视点到虚拟视点的映射map。
摄像机内参矩阵camK通过摄像机标定得到：
Figure BDA0001998357200000061
其中，fx，fy是摄像机的焦距，cx，cy是摄像机的主点坐标(通常在图像的中心)，已知参考图像中的像素点的二维图像坐标(U,V)和深度值D，将该像素点投影到三维空间点P(X,Y,Z)，其中，
Figure BDA0001998357200000071
根据虚拟视点位置与参考视点位置之间的三维平移矩阵T，平移三维空间点P得到P’(X’,Y’,Z’)，P′＝P+T；
将P’重投影到虚拟视点图像平面得到(U’,V’)，
Figure BDA0001998357200000072
S10322、根据从参考视点到虚拟视点的映射map，采用面元法进行映射，利用双线性插值算法从参考图像的深度图中的区域计算出对应的虚拟视点位置的参考图像的深度图中的区域的每个像素点的深度值，利用双线性插值算法从模糊填充后的参考图像的深度图中的区域计算出对应的虚拟视点位置的模糊填充后的参考图像的深度图中的区域的每个像素点的深度值。
例如，选取参考图像的深度图中2x2区域srcRegion，然后在从参考视点到虚拟视点的映射map中找出对应的虚拟视点图像中的区域dstRegion。利用双线性插值算法从srcRegion中计算出dstRegion中的每个像素点的深度值。DdstR＝f(DsrcR)，其中DdstR表示目标区域深度值，DsrcR表示源区域深度值，f(·)表示双线性插值算法。
采用面元法计算出的虚拟视点位置的图像的深度图depth_virt和虚拟视点位置的模糊填充后的图像的深度图depth_blur_virt能够有效解决在深度连续区域出现的裂纹现象。
实施例二：
本发明实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的裸眼3D的虚拟视点图像生成方法的步骤。
实施例三：
图2示出了本发明实施例三提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的裸眼3D的虚拟视点图像生成方法的步骤。
在本发明中，由于在生成左右两幅虚拟视点图像的过程中对裂纹进行消除处理和对空洞进行填充处理；所述对空洞进行填充处理具体为：采用基于参考图像的深度图的前后景进行分割来检测参考图像和参考图像的深度图中可能出现空洞的区域，并利用多尺度窗口滤波算法对空洞进行填充，得到模糊填充后的参考图像的深度图和模糊填充后的参考图像；所述对裂纹进行消除处理具体为：将参考图像的深度图和模糊填充后的参考图像的深度图分别执行正向映射消除裂纹。因此合成出的虚拟视点图像不存在裂纹和空洞，用于裸眼观看时，图像效果好。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种裸眼3D的虚拟视点图像生成方法，其特征在于，所述方法包括：
S101、获取摄像机拍摄的左右两幅参考图像，并进行校正；
S102、根据校正后的左右两幅参考图像，利用立体匹配算法分别获取左右两幅参考图像的深度图；
S103、分别根据左右两幅参考图像及其深度图生成左右两幅虚拟视点图像，在生成左右两幅虚拟视点图像的过程中对裂纹进行消除处理和对空洞进行填充处理；
S104、将左右两幅虚拟视点图像进行线性加权融合，得到裸眼3D的虚拟视点图像；
针对生成左虚拟视点图像或右虚拟视点图像的过程，S103具体包括以下步骤：
S1031、采用基于参考图像的深度图的前后景进行分割来检测参考图像和参考图像的深度图中可能出现空洞的区域，并利用多尺度窗口滤波算法对空洞进行填充，得到模糊填充后的参考图像的深度图和模糊填充后的参考图像；
S1032、将参考图像的深度图和模糊填充后的参考图像的深度图分别执行正向映射消除裂纹，得到虚拟视点位置的图像的深度图和虚拟视点位置的模糊填充后的图像的深度图；
S1033、采用反向映射方法，利用虚拟视点位置的图像的深度图和虚拟视点位置的模糊填充后的图像的深度图将虚拟视点位置的像素点重投影到三维空间，平移后再重投影到参考视点位置；
S1034、采用双线性插值算法，分别从参考图像和模糊填充后的参考图像中对应位置的邻域像素点插值得到虚拟视点位置的像素点的像素值，从而分别得到虚拟视点位置下的视图和模糊填充后的视图；
S1035、将虚拟视点位置下的视图中没有空洞的区域复制到模糊填充后的视图中，得到一幅融合后的虚拟视点图像；
S1036、不断平移虚拟视点位置，三维平移矩阵也随之改变，从而得到一系列不同视点下的虚拟视点图像;
S1031具体包括以下步骤：
S10311、对参考图像的深度图进行边界检测，得到主要边界；
S10312、根据主要边界对参考图像和参考图像的深度图进行分割，得到局部参考图像序列和局部参考图像的深度图序列；
S10313、分别对局部参考图像序列和局部参考图像的深度图序列进行前景空洞填充；
S10314、分别对进行前景空洞填充后的局部参考图像序列和局部参考图像的深度图序列进行融合，得到一幅模糊填充后的参考图像和模糊填充后的参考图像的深度图。
2.如权利要求1所述的方法，其特征在于，S10311具体为：
利用sobel算子检测出参考图像的深度图中的主要边界，并获取主要边界区域的n个深度值序列，n是自然数。
3.如权利要求1所述的方法，其特征在于，S10312具体为：
以边界区域的深度值为分割阈值，根据分割阈值由小到大的策略，分别对参考图像和参考图像的深度图进行区域分割，分割出n个去除前后景的局部参考图像序列和局部参考图像的深度图序列。
4.如权利要求3所述的方法，其特征在于，S10313具体为：
在局部参考图像序列和局部参考图像的深度图序列中，每一幅局部参考图像和局部参考图像的深度图的前景区域被填充为0，采用多尺度窗口滤波算法将前景区域填充为邻域背景信息。
5.如权利要求4所述的方法，其特征在于，针对每一幅局部参考图像和局部参考图像的深度图，执行如下步骤：
步骤一、设定初始滤波窗口尺寸为图像宽度，对参考图像进行均值滤波得到第一滤波结果图；
步骤二、将滤波窗口尺寸缩小一半，对参考图像进行均值滤波得到第二滤波结果图；如果第二滤波结果图中仍然存在未被填充的空洞区域，则用第一滤波结果图中对应位置像素点填充；
步骤三、多次执行步骤二，每次缩小滤波窗口尺寸为前一次的一半，然后判断是否仍然存在空洞区域，如果存在，则用前一次滤波结果图中对应位置像素点填充，当滤波窗口尺寸小于3时，停止循环。
6.如权利要求1所述的方法，其特征在于，S1032具体包括以下步骤：
S10321、根据摄像机内参矩阵和虚拟视点位置与参考视点位置之间的三维平移矩阵计算得到从参考视点到虚拟视点的映射；
S10322、根据从参考视点到虚拟视点的映射，采用面元法进行映射，利用双线性插值算法从参考图像的深度图中的区域计算出对应的虚拟视点位置的参考图像的深度图中的区域的每个像素点的深度值，利用双线性插值算法从模糊填充后的参考图像的深度图中的区域计算出对应的虚拟视点位置的模糊填充后的参考图像的深度图中的区域的每个像素点的深度值。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的裸眼3D的虚拟视点图像生成方法的步骤。
8.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的裸眼3D的虚拟视点图像生成方法的步骤。
CN201910203920.6A 2019-03-18 2019-03-18 一种裸眼3d的虚拟视点图像生成方法和便携式终端 Active CN109982064B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910203920.6A CN109982064B (zh) 2019-03-18 2019-03-18 一种裸眼3d的虚拟视点图像生成方法和便携式终端
PCT/CN2020/090416 WO2020187339A1 (zh) 2019-03-18 2020-05-15 一种裸眼3d的虚拟视点图像生成方法及便携式终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910203920.6A CN109982064B (zh) 2019-03-18 2019-03-18 一种裸眼3d的虚拟视点图像生成方法和便携式终端

Publications (2)

Publication Number Publication Date
CN109982064A CN109982064A (zh) 2019-07-05
CN109982064B true CN109982064B (zh) 2021-04-27

Family

ID=67079327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910203920.6A Active CN109982064B (zh) 2019-03-18 2019-03-18 一种裸眼3d的虚拟视点图像生成方法和便携式终端

Country Status (2)

Country Link
CN (1) CN109982064B (zh)
WO (1) WO2020187339A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982064B (zh) * 2019-03-18 2021-04-27 影石创新科技股份有限公司 一种裸眼3d的虚拟视点图像生成方法和便携式终端
CN112188186B (zh) * 2020-09-28 2023-01-24 南京工程学院 一种基于归一化无限视点的获取裸眼3d合成图方法
CN113382227A (zh) * 2021-06-03 2021-09-10 天翼阅读文化传播有限公司 一种基于智能手机的裸眼3d全景视频渲染装置及方法
CN113450274B (zh) * 2021-06-23 2022-08-05 山东大学 一种基于深度学习的自适应视点融合方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635859A (zh) * 2009-08-21 2010-01-27 清华大学 一种实现平面视频转立体视频的方法和装置
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN101556700B (zh) * 2009-05-15 2012-02-15 宁波大学 一种虚拟视点图像绘制方法
CN102447925A (zh) * 2011-09-09 2012-05-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种虚拟视点图像合成方法及装置
CN103024421A (zh) * 2013-01-18 2013-04-03 山东大学 自由视点电视中的虚拟视点合成方法
CN103581648A (zh) * 2013-10-18 2014-02-12 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN106023299A (zh) * 2016-05-04 2016-10-12 上海玮舟微电子科技有限公司 一种基于深度图的虚拟视图绘制方法及系统
CN106791774A (zh) * 2017-01-17 2017-05-31 湖南优象科技有限公司 基于深度图的虚拟视点图像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012215852A (ja) * 2011-03-25 2012-11-08 Semiconductor Energy Lab Co Ltd 画像処理方法、表示装置
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
CN103581651B (zh) * 2013-10-28 2015-04-29 西安交通大学 一种用于车载多目摄像机环视系统的虚拟视点合成方法
CN107018401B (zh) * 2017-05-03 2019-01-22 曲阜师范大学 基于逆映射的虚拟视点空洞填补方法
CN109982064B (zh) * 2019-03-18 2021-04-27 影石创新科技股份有限公司 一种裸眼3d的虚拟视点图像生成方法和便携式终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556700B (zh) * 2009-05-15 2012-02-15 宁波大学 一种虚拟视点图像绘制方法
CN101635859A (zh) * 2009-08-21 2010-01-27 清华大学 一种实现平面视频转立体视频的方法和装置
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN102447925A (zh) * 2011-09-09 2012-05-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种虚拟视点图像合成方法及装置
CN103024421A (zh) * 2013-01-18 2013-04-03 山东大学 自由视点电视中的虚拟视点合成方法
CN103581648A (zh) * 2013-10-18 2014-02-12 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN106023299A (zh) * 2016-05-04 2016-10-12 上海玮舟微电子科技有限公司 一种基于深度图的虚拟视图绘制方法及系统
CN106791774A (zh) * 2017-01-17 2017-05-31 湖南优象科技有限公司 基于深度图的虚拟视点图像生成方法

Also Published As

Publication number Publication date
CN109982064A (zh) 2019-07-05
WO2020187339A1 (zh) 2020-09-24

Similar Documents

Publication Publication Date Title
CN109982064B (zh) 一种裸眼3d的虚拟视点图像生成方法和便携式终端
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
EP2622581B1 (en) Multi-view ray tracing using edge detection and shader reuse
US9013482B2 (en) Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
CN110349086B (zh) 一种非同心成像条件的图像拼接方法
CN110223222B (zh) 图像拼接方法、图像拼接装置和计算机可读存储介质
US20130002827A1 (en) Apparatus and method for capturing light field geometry using multi-view camera
KR102199458B1 (ko) 3차원 컬러 메쉬 복원 방법 및 장치
JP4796072B2 (ja) 画像セグメンテーションに基づく画像レンダリング
CN113678168B (zh) 空间中的元素定位
Oliveira et al. Selective hole-filling for depth-image based rendering
CN115345897A (zh) 三维重建的深度图优化方法及装置
CN111383185A (zh) 一种基于稠密视差图的孔洞填充方法及车载设备
KR102455843B1 (ko) 영상 재구성 장치 및 방법
Ishikawa et al. Rethinking the prior model for stereo
CN113570702A (zh) 3d照片的生成方法与装置、终端及可读存储介质
CN118587370B (zh) 用于三维点云重建的阴影消除方法、装置及相关设备
CN118314271B (zh) 一种基于3d高斯光栅化快速高精度稠密重建方法和系统
CN114612601A (zh) 一种纹理映射方法、装置及存储介质
Su et al. The Optimal Design of Digital Media Interactive Virtual Vision Based on the Reconstruction of Dual Viewpoints
CN116977394A (zh) 视频生成方法、装置、设备、存储介质和计算机程序产品
CN115908162A (zh) 一种基于背景纹理识别的虚拟视点生成方法及系统
CN116934874A (zh) 一种基于双目视觉的半全局立体匹配方法
Sathyanarayana et al. Generating highly realistic 3D animation video with depth-of-field and motion blur effects
KR20190054552A (ko) 초다시점 rgb-d 영상기반 임의시점 영상생성에서 홀 발생 원인 판별 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605

Applicant after: Yingshi Innovation Technology Co., Ltd

Address before: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605

Applicant before: SHENZHEN ARASHI VISION Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant