CN117061720B - 基于单目图像及深度图像渲染的立体图像对生成方法 - Google Patents
基于单目图像及深度图像渲染的立体图像对生成方法 Download PDFInfo
- Publication number
- CN117061720B CN117061720B CN202311310383.8A CN202311310383A CN117061720B CN 117061720 B CN117061720 B CN 117061720B CN 202311310383 A CN202311310383 A CN 202311310383A CN 117061720 B CN117061720 B CN 117061720B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- pixel
- coordinate system
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000009877 rendering Methods 0.000 title claims abstract description 26
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提出一种基于单目图像及深度图像渲染的立体图像对生成方法，涉及涉及立体图像对生成的技术领域，针对单目图像缺乏立体信息、当前立体图像对生成方法计算量大和实时性差等问题，以原始的单目RGB图像作为左眼视图，基于左眼视图估计出深度图像，将深度图像的像素深度值转换为对应的视差值，根据对应深度图的三维信息，从原视图获取新视点视图，并对于像素移动所产生的像素空洞，进行基于边界信息孔洞的填充，生成最终完整的右眼视图，实现了基于单幅图像的立体图像对生成。
Description
技术领域
本发明涉及立体图像对生成的技术领域，更具体地，涉及一种基于单目图像及深度图像渲染的立体图像对生成方法。
背景技术
虚拟制作可以让人们完全沉浸在一个人造的虚拟现实的环境中并与环境中的虚拟物体和人进行交互。立体显示技术是在虚拟环境中构建现实的三维空间的虚拟现实技术，是虚拟现实的一种实现方式。
生成立体图像对是立体显示技术主要研究方向之一，此技术是基于双眼视差的原理。双眼视差是指人利用双眼观察时左眼获取的图像和右眼获取的图像存在的水平像位差，大脑通过经验从左右眼的二维视差图像中提取到各个物体的深度信息，人眼在观察同一物体时会产生左右视差，参见如图1所示的投影视角，左眼视角和右眼视角的差异被称为屏幕视差，该视差使得立体物体投影到左右眼中，经过大脑处理后呈现出立体图像。计算机视觉将双眼视差定义为两个图像之间相似特征的坐标差异。
目前，立体图像对的生成方法主要分为两种，基于几何变换和基于深度学习的方法。其中，基于几何的新视点图像生成方法首先估计对象的近似三维(Three Dimensional,3D)结构，其次对输入图像中的像素进行图像变换以生成新图像，这种方法要求以某种方式估算3D结构，限制了图像生成算法的灵活性，同时由于此方法对没有适当视觉内容的地方需要使用各种类型的纹理进行填孔，这导致了生成的立体图像对效果不佳。基于深度学习的方法将图像合成看成是一个深度学习的问题，通常在训练时尝试构建对象类的参数模型，其次在测试阶段将模型与输入图像共同使用以生成新视点图像，这种方法需要尝试构建对象的参数模型，通过卷积神经网络学习估算得到的新视点图像通常过于模糊，而通过合成RGBD光场的方法生成新视点图像对硬件要求较严苛。尤其是面对单目图像时，单目图像缺乏立体信息，这些传统的新视点视图生成算法存在计算量大和实时性差等问题，在基于单目图像的立体图像对生成，挑战更大。
基于深度图像的渲染是3D空间中的图形变换技术，即三维图像变换(3D ImageWarping)技术，是从静止或运动的彩色图像以及相关的每像素深度信息合成场景的虚拟视图的过程，通过参考视点RGB数据和深度数据获取新视点数据。当前，大型3D显示技术主要是通过两路数据的叠加，然而，想要实现全景3D所需要的数据量远大于两路数据，这将对传输数据设备产生较高的要求。基于深度图像的渲染技术可以忽略数据传输，直接在显示端合成所需的视点数据。
发明内容
为解决单目图像缺乏立体信息、传统立体图像对生成算法计算量大和实时性差的问题，本发明提出一种基于单目图像及深度图像渲染的立体图像对生成方法，克服单目图像本身存在的缺陷，生成立体图像对，计算量小。
为解决上述问题，本申请采用的技术方案为：
一种基于单目图像及深度图像渲染的立体图像对生成方法，包括以下步骤：
S1:以原始的单目RGB图像作为左眼视图，基于左眼视图估计出深度图像，将深度图像的像素表示的深度值转换为对应的视差值；
S2：根据视差值进行像素移动，生成新视点视图，对生成的新视点视图进行基于边界信息孔洞的填充，得到最终的新视点视图，将最终的新视点视图作为右眼视图，与左眼视图形成立体图像对。
优选地，在步骤S1中，构建深度学习神经网络模型并进行预训练，将左眼视图作为预训练好的深度学习神经网络模型的输入，预测估计出左眼视图的深度图像。
优选地，在步骤S1中，在步骤S1中，将深度图像的像素表示的深度值转换为对应的视差值的过程为：
S11:形成基于深度图像的渲染坐标系，将深度图像的图像点从二维图像坐标系转换至三维空间坐标系；
S12:构建三维坐标系中深度图像3D空间点的仿射变换表达式，基于仿射变换表达式，形成仿射视差方程；
S13：利用仿射视差方程，将深度图像的像素表示的深度值转换为对应的视差值。
优选地，在步骤S11中，基于深度图像的渲染坐标系包括像素坐标系、图像坐标系和三维空间坐标系，像素坐标系和图像坐标系均为二维图像坐标系，三维空间坐标系采用相机坐标系；
设C为相机中心，c为成像平面中心，Z为与像平面相交的主轴，得到深度图像的图像点在三维空间坐标系与二维图像坐标系的中心投影对应关系表达式：
其中，表示深度图像中图像点的图像坐标，/>表示深度图像中图像点的相机坐标，/>和/>均为设置偏移参数；/>和/>均表示焦距；
将中心投影对应关系表达式转换为齐次坐标的形式：
得到相机的内参矩阵K，表达式为：
利用旋转量R和平移量t调节深度图像的图像点从二维图像坐标系转换至三维空间坐标系的过程，则：
其中，R和t拼接组成相机的外参矩阵，表示深度图像的图像点的世界坐标。
通过上述技术手段，考虑图像从三维空间中生成后可能发生缩放，首先对像素坐标进行等比缩放，利用相机内参矩阵对图像点进行2D到3D坐标的转换，且相机内参是固定不变的，最后利用外参矩阵完成三维坐标映射，实现三维图像变换。
优选地，在步骤S12中，设三维坐标系中深度图像的任一3D空间点表示为M，M在两个视角的投影分别为m和，当世界坐标系与其中一个视角的相机坐标系重合时，两个视角透视投影方程分别为：
其中，、/>和/>是分别是M、m和/>对应的齐次表示，/>表示成比例相等，A和/>分别表示两个视角的相机内参矩阵，D为矩阵，由旋转量R和平移量t组成，P n表示归一化透视投影矩阵；
从世界坐标系变换到另一个视角的相机坐标系时，得到三维坐标系中深度图像3D空间点的仿射变换表达式：
其中，Z表示空间点M在两个相机中的一个相机深度图像素对应的深度值；将代入/>中，得到仿射视差方程的表达式为：
其中，表示空间点M在两个相机中的另一个相机深度图像素对应的深度值。
优选地，在步骤S2之前，还包括：对深度图像进行预处理，过程为：基于边缘的深度滤波器对深度图像进行预处理，设定深度滤波器窗口大小以扫描深度图，设阈值为T，在窗口大小内判断选中的深度图像的像素深度值与周围像素点的深度值差值的平均值，若平均值大于T，则选中的深度图像的像素点为前景与背景边缘的像素点，利用深度滤波器对该像素点进行平滑处理；若平均值小于等于T，则选中的深度图像的像素点为非边缘像素点，不需要进行像素处理。
通过上述技术手段，减少新视点图像中由深度值的不连续所产生的空洞数量，并且保留图像信息，减少了图像的失真，使最终生成的新视点图像更自然。
优选地，在步骤S2中，根据视差值进行像素移动时，满足：
其中，U表示视差值，表示像素的深度值，d表示人眼到屏幕的距离，e表示人眼之间的瞳距。
优选地，从像素的深度值获取视差值后，进行视差检查，确定像素移动的位置后，若正在移动的像素所要移动的位置上已有其他像素，即前景像素和背景像素发生了遮挡，则该位置当前的像素将被舍弃，同时填入正在移动的像素，正在移动的像素所要移动的位置上为空，则将直接将该像素填入此位置；
同时，检查当前像素的深度值对应的视差值是否大于先前处理的像素的深度值对应的视差值，若是，则在像素移动的右侧创建孔洞，使用已处理的背景像素替换孔洞进行孔洞的填充，在像素移动的左侧出现像素重叠，生成新视点视图。
优选地，对生成的新视点视图进行基于边界信息孔洞的填充的步骤为：
S21：确定生成的新视点视图孔洞所在的位置，同时对孔洞的像素编号并确定个数；
S22：扫描新视点视图中的孔像素，确定孔的边缘；
S23:对孔的边缘像素进行插值，插值公式为：
其中，Z表示像素点的深度值，N表示孔边缘像素存在值的像素个数；
S24：对插值后的孔边缘像素的深度值从小到大排序，设置深度值阈值，将深度值小于深度值阈值的像素保留，将深度值大于等于深度值阈值的像素作为孔像素，利用背景像素填充；
S25:对整个新视点视图进行不断遍历，直至孔洞全部填充完毕。
通过上述技术手段，生成更完整准确的新视点视图以作为右眼视图，提高立体图像对生成效果。
优选地，步骤S22的过程具体为：
根据新视点视图视差的不同，利用不同大小的窗口进行扫描，当扫描到的像素所在的窗口中同时存在孔像素和正常像素，则该像素位于孔边缘。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于单目图像及深度图像渲染的立体图像对生成方法，针对单目图像缺乏立体信息、当前立体图像对生成方法计算量大和实时性差等问题，以原始的单目RGB图像作为左眼视图，基于左眼视图估计出深度图像，将深度图像的像素深度值转换为对应的视差值，根据对应深度图的三维信息，从原视图获取新视点视图，并对于像素移动所产生的像素空洞，进行基于边界信息孔洞的填充，生成最终完整的右眼视图，实现了基于单幅图像的立体图像对生成。
附图说明
图1表示本发明背景技术中提出的立体视觉的左右视差投影示意图；
图2表示本发明实施例中提出的基于单目图像及深度图像渲染的立体图像对生成方法的流程示意图；
图3表示本发明实施例中提出的单目RGB图像对应的深度图像示意图；
图4表示本发明实施例中提出的像素处理过程的示意图；
图5表示本发明实施例中提出的基于边界信息孔洞的填充流程图；
图6表示利用本申请提出的方法生成新视点图像的示意图；其中，原始单目RGB图像为简单几何物体、半透明物体和复杂边缘物体的绿幕原始图像；
图7表示利用本申请提出的方法生成新视点图像的另一示意图；其中，原始单目RGB图像为室外场景图像、室内场景图像及复杂场景图像。
具体实施方式
附图仅用于示例性说明，不能理解为对本申请的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明；
附图中描述位置关系的仅用于示例性说明，不能理解为对本申请的限制；
实施例1如图2所示，本实施例提出了一种基于单目图像及深度图像渲染的立体图像对生成方法，参见图2，该述方法包括以下步骤：
S1:以原始的单目RGB图像作为左眼视图，基于左眼视图估计出深度图像，将深度图像的像素表示的深度值转换为对应的视差值；
S2：根据视差值进行像素移动，生成新视点视图，对生成的新视点视图进行基于边界信息孔洞的填充，得到最终的新视点视图，将最终的新视点视图作为右眼视图，与左眼视图形成立体图像对。
在本实施例中，采用单目RGB图像为绿幕下含两人的情景图，以该图作为左眼视图，构建深度学习神经网络模型并进行预训练，将左眼视图作为预训练好的深度学习神经网络模型的输入，预测估计出左眼视图的深度图像如图3所示，本实施例中的深度学习神经网络模型如采用CNN-based网络，用的是一个Multi-scale的网络，这里的Multi-scale不是现在网络中Multi-scale features的做法，而是分为两个scale的网络来做DepthMap的估计，分别是Global Coarse-Scale Network和Local Fine-Scale Network。前者是AlexNet，来得到一个低分辨率的Coarse的Depth Map,再用后者去refine前者的输出得到最后的refined depth map。
在本实施例中，将深度图像的像素深度值转换为对应的视差值的过程为：
S11:形成基于深度图像的渲染坐标系，将深度图像的图像点从二维图像坐标系转换至三维空间坐标系；
S12:构建三维坐标系中深度图像3D空间点的仿射变换表达式，基于仿射变换表达式，形成仿射视差方程；
S13：利用仿射视差方程，将深度图像的像素表示的深度值转换为对应的视差值。
基于深度图像的渲染坐标系包括像素坐标系、图像坐标系和三维空间坐标系，像素坐标系和图像坐标系均为二维图像坐标系，而基于深度图像的渲染需要将图像点从成像平面投影到三维空间中，因此需要进行二维图像坐标系到三维空间坐标系的转换。在本实施例中，三维空间坐标系采用相机坐标系，并且与相机成像模型紧密联系。应用最广泛的成像模型为针孔相机模型，该模型描述了三维空间中的点在图像平面上投影的数学关系，其中图像坐标所在的平面与相机成像平面重合，假设三维空间中任意一点P在成像平面上的投影为P1，并且相机坐标的XY平面与成像平面平行，得到二维图像坐标系与三维相机坐标系之间的位置关系。
设C为相机中心，c为成像平面中心，Z为与像平面相交的主轴，得到深度图像的图像点在三维空间坐标系与二维图像坐标系的中心投影对应关系表达式：
其中，表示深度图像中图像点的图像坐标，/>表示深度图像中图像点的相机坐标，/>和/>均为设置偏移参数；/>和/>均表示焦距；
将中心投影对应关系表达式转换为齐次坐标的形式：
得到相机的内参矩阵K，表达式为：
利用旋转量R和平移量t调节深度图像的图像点从二维图像坐标系转换至三维空间坐标系的过程，则：
其中，R和t拼接组成相机的外参矩阵，表示深度图像的图像点的世界坐标。在本实施例中，R为3*3大小的旋转矩阵，t为3*1的平移矩阵。
由上述转换可得像素坐标到世界坐标的投影关系为：
其中，s为缩放因子。考虑图像从三维空间中生成后可能发生缩放，首先对像素坐标进行等比缩放，利用相机内参矩阵对图像点进行2D到3D坐标的转换，且相机内参是固定不变的，最后利用外参矩阵完成三维坐标映射，实现三维图像变换。
设三维坐标系中深度图像的任一3D空间点表示为M，M在两个视角的投影分别为m和，当世界坐标系与其中一个视角的相机坐标系重合时，两个视角透视投影方程分别为：
其中，、/>和/>是分别是M、m和/>对应的齐次表示，/>表示成比例相等，A和/>分别表示两个视角的相机内参矩阵，D为矩阵，由旋转量R和平移量t组成，P n表示归一化透视投影矩阵；
从世界坐标系变换到另一个视角的相机坐标系时，得到三维坐标系中深度图像3D空间点的仿射变换表达式：
其中，Z表示空间点M在两个相机中的一个相机深度图像素对应的深度值；将代入/>中，得到仿射视差方程的表达式为：
其中，表示空间点M在两个相机中的另一个相机深度图像素对应的深度值。定义了在同一3D场景中，两个视角的视图的对应点之间的深度相关。
实施例2在RGB图像中前景物体的边缘深度值和背景的深度值不同或者不连续，此时进行像素移动会导致新视点图像中产生多余的空洞。因此，在本实施例中，在步骤S2之前，还包括：对深度图像进行预处理，过程为：基于边缘的深度滤波器对深度图像进行预处理，设定深度滤波器窗口大小（本实施例中使用3*3大小的窗口）以扫描深度图，设阈值为T，在窗口大小内判断选中的深度图像的像素深度值与周围像素点的深度值差值的平均值，若平均值大于T，则选中的深度图像的像素点为前景与背景边缘的像素点，利用深度滤波器对该像素点进行平滑处理；若平均值小于等于T，则选中的深度图像的像素点为非边缘像素点，不需要进行像素处理。通过预处理，减少新视点图像中由深度值的不连续所产生的空洞数量，并且保留图像信息，减少了图像的失真，使最终生成的新视点图像更自然。
在步骤S2中，根据视差值进行像素移动时，满足：
其中，U表示视差值，表示像素的深度值，d表示人眼到屏幕的距离，e表示人眼之间的瞳距。
在本实施例中，从像素的深度值获取视差值后，使用查找表LUT进行视差检查，确定像素移动的位置后，若正在移动的像素所要移动的位置上已有其他像素，即前景像素和背景像素发生了遮挡，则该位置当前的像素将被舍弃，同时填入正在移动的像素，正在移动的像素所要移动的位置上为空，则将直接将该像素填入此位置；
同时，检查当前像素的深度值对应的视差值是否大于先前处理的像素的深度值对应的视差值，若是，则在像素移动的右侧创建孔洞，使用已处理的背景像素替换孔洞进行孔洞的填充，在像素移动的左侧出现像素重叠，生成新视点视图。
图4表示上述描述的像素处理过程的示意图，包括像素孔洞以及像素重叠的示意图，在整幅图像中不断重复上述步骤，直到所有像素处理完成，在本实施例中，从左眼视图中生成右眼视图，大部分孔洞出现在移动像素的右侧，而像素重叠则出现在移动像素的左侧。
实施例3虽然经过深度图像预处理步骤，但是由于像素移动生成的新视点图像仍然会存在少许的孔，大约1-4像素的大小，这些孔洞通常属于在原始参考图像中不存在的信息，而且容易被忽略。这类孔洞的产生是由于前景物体遮挡了背景物体，像素移动时被遮挡像素出现在图像中，但由于原始图像中没有该像素的信息而导致的背景像素信息缺失，所以此部分的空洞需要利用背景物体的像素进行填充。本实施例对生成的新视点视图进行基于边界信息孔洞的填充，以生成更完整准确的新视点视图以作为右眼视图，提高立体图像对生成效果。基于边界信息孔洞的填充流程参见图5，具体步骤为：
S21：确定生成的新视点视图孔洞所在的位置，同时对孔洞的像素编号并确定个数；
S22：扫描新视点视图中的孔像素，确定孔的边缘；具体为：
根据新视点视图视差的不同，利用不同大小的窗口进行扫描，当扫描到的像素所在的窗口中同时存在孔像素和正常像素，则该像素位于孔边缘。
S23:对孔的边缘像素进行插值，插值公式为：
其中，Z表示像素点的深度值，N表示孔边缘像素存在值的像素个数；
S24：对插值后的孔边缘像素的深度值从小到大排序，设置深度值阈值，将深度值小于深度值阈值的像素保留，将深度值大于等于深度值阈值的像素作为孔像素，利用背景像素填充；
S25:对整个新视点视图进行不断遍历，直至孔洞全部填充完毕。
利用基于边界信息填充的算法进行图像修复时，前景物体距离相机越远，前景像素和背景像素的深度值越接近，而像素移动的距离越小；前景物体距离相机越近，前景像素和背景像素深度值差异越大，而像素移动的距离越大。当物体与相机相隔越远，前景像素与背景像素的深度差异越模糊，会造成像素移动重叠时，前景像素不能完全覆盖背景像素而导致前景像素丢失的问题，而当物体与相机相隔越近，前景像素移动距离越远，会造成像素填充面积过大而导致局部区域模糊。
如表1所示，当人物在深度100cm左右的PSNR和SSIM指标要比在深度150cm左右高，修复的效果也较好。
表1
图6表示利用本申请提出的方法生成新视点图像的示意图；其中，原始单目RGB图像为简单几何物体、半透明物体和复杂边缘物体的绿幕原始图像；在图6中，自上而下依次为简单物体1、简单物体2、半透明物体、复杂边缘物体，可以看出，对于包含简单的几何物体、半透明物体和边缘复杂的物体的绿幕图像，利用本实施例提出的方法均能获取效果较好的新视点视图。
图7表示利用本申请提出的方法生成新视点图像的另一示意图；图7对应的原始单目RGB图像为室外场景图像、室内场景图像及复杂场景图像。利用本申请提出的方法生成新视点图像时，在图7中，按图片展示顺序，从左到右分别是深度图像、填充修复前新视点视图和填充修复后新视点视图，更具体的，在图7中，自上向下的三行图片分别是代表室外场景图像生成新视点图像的过程图、室内场景图像生成新视点图像的过程图及复杂场景图像生成新视点图像的过程图，其中，对于第一行图片，自左向右，依次分别代表室外场景图像的深度图像、室外场景图像的填充修复前新视点视图及室外场景图像的填充修复后新视点视图；对于第二行图片，自左向右，依次分别代表室内场景图像的深度图像、室内场景图像的填充修复前新视点视图及室内场景图像的填充修复后新视点视图；对于第三行图片，自左向右，依次分别代表复杂场景图像的深度图像、复杂场景图像的填充修复前新视点视图及复杂场景图像的填充修复后新视点视图。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种基于单目图像及深度图像渲染的立体图像对生成方法，其特征在于，包括以下步骤：
S1:以原始的单目RGB图像作为左眼视图，基于左眼视图估计出深度图像，将深度图像的像素表示的深度值转换为对应的视差值；
在步骤S1中，将深度图像的像素表示的深度值转换为对应的视差值的过程为：
S11:形成基于深度图像的渲染坐标系，将深度图像的图像点从二维图像坐标系转换至三维空间坐标系；
S12:构建三维坐标系中深度图像3D空间点的仿射变换表达式，基于仿射变换表达式，形成仿射视差方程；
在步骤S12中，设三维坐标系中深度图像的任一3D空间点表示为M，M在两个视角的投影分别为m和，当世界坐标系与其中一个视角的相机坐标系重合时，两个视角透视投影方程分别为：
其中，、/>和/>是分别是M、m和/>对应的齐次表示，/>表示成比例相等，A和/>分别表示两个视角的相机内参矩阵，D为矩阵，由旋转量R和平移量t组成，P n表示归一化透视投影矩阵；
从世界坐标系变换到另一个视角的相机坐标系时，得到三维坐标系中深度图像3D空间点的仿射变换表达式：
其中，将代入/>中，得到仿射视差方程的表达式为：
；
其中，Z和表示空间点M在两个视角下分别对应的深度图像的像素的深度值；
S13：利用仿射视差方程，将深度图像的像素表示的深度值转换为对应的视差值；
S2：根据视差值进行像素移动，生成新视点视图，对生成的新视点视图进行基于边界信息孔洞的填充，得到最终的新视点视图，将最终的新视点视图作为右眼视图，与左眼视图形成立体图像对。
2.根据权利要求1所述的基于单目图像及深度图像渲染的立体图像对生成方法，其特征在于，在步骤S1中，构建深度学习神经网络模型并进行预训练，将左眼视图作为预训练好的深度学习神经网络模型的输入，预测估计出左眼视图的深度图像。
3.根据权利要求1所述的基于单目图像及深度图像渲染的立体图像对生成方法，其特征在于，在步骤S11中，基于深度图像的渲染坐标系包括像素坐标系、图像坐标系和三维空间坐标系，像素坐标系和图像坐标系均为二维图像坐标系，三维空间坐标系采用相机坐标系；
设c为相机的成像平面中心，得到深度图像的图像点在三维空间坐标系与二维图像坐标系的中心投影对应关系表达式：
其中，表示深度图像中图像点的图像坐标，/>表示深度图像中图像点的相机坐标，/>和/>均为设置的偏移参数；/>和/>分别表示相机的二维x方向焦距和二维y方向焦距；
将中心投影对应关系表达式转换为齐次坐标的形式：
其中，z表示齐次坐标形式下，深度图像中图像点的相机坐标中坐标Z c对应的齐次表示形式;
得到相机的内参矩阵K，表达式为：
利用旋转量R和平移量t调节深度图像的图像点从二维图像坐标系转换至三维空间坐标系的过程，则：
其中，表示深度图像的图像点的世界坐标。
4.根据权利要求1所述的基于单目图像及深度图像渲染的立体图像对生成方法，其特征在于，在步骤S2之前，还包括：对深度图像进行预处理，过程为：基于边缘的深度滤波器对深度图像进行预处理，设定深度滤波器窗口大小以扫描深度图，设阈值为T，在窗口大小内判断选中的深度图像的像素深度值与周围像素点的深度值差值的平均值，若平均值大于T，则选中的深度图像的像素点为前景与背景边缘的像素点，利用深度滤波器对该像素点进行平滑处理；若平均值小于等于T，则选中的深度图像的像素点为非边缘像素点，不需要进行像素处理。
5.根据权利要求1所述的基于单目图像及深度图像渲染的立体图像对生成方法，其特征在于，在步骤S2中，根据视差值进行像素移动时，满足：
其中，U表示视差值，表示像素的深度值，d表示人眼到屏幕的距离，e表示人眼之间的瞳距。
6.根据权利要求5所述的基于单目图像及深度图像渲染的立体图像对生成方法，其特征在于，从像素的深度值获取视差值后，进行视差检查，确定像素移动的位置后，若正在移动的像素所要移动的位置上已有其他像素，即前景像素和背景像素发生了遮挡，则正在移动的像素所要移动的位置当前的像素将被舍弃，同时填入正在移动的像素；若正在移动的像素所要移动的位置上为空，则直接将正在移动的像素填入此位置；
同时，检查当前像素的深度值对应的视差值是否大于先前处理的像素的深度值对应的视差值，若是，则在像素移动的右侧创建孔洞，使用已处理的背景像素替换孔洞进行孔洞的填充，在像素移动的左侧出现像素重叠，生成新视点视图。
7.根据权利要求6所述的基于单目图像及深度图像渲染的立体图像对生成方法，其特征在于，对生成的新视点视图进行基于边界信息孔洞的填充的步骤为：
S21：确定生成的新视点视图孔洞所在的位置，同时对孔洞的像素编号并确定个数；
S22：扫描新视点视图中的孔像素，确定孔的边缘；
S23:对孔的边缘像素进行插值，插值公式为：
其中，Z表示像素的深度值，N表示孔边缘像素存在值的像素个数，f i表示相机的焦距；
S24：对插值后的孔边缘像素的深度值从小到大排序，设置深度值阈值，将深度值小于深度值阈值的像素保留，将深度值大于等于深度值阈值的像素作为孔像素，利用背景像素填充；
S25:对整个新视点视图进行不断遍历，直至孔洞全部填充完毕。
8.根据权利要求7所述的基于单目图像及深度图像渲染的立体图像对生成方法，其特征在于，步骤S22的过程具体为：
根据新视点视图视差的不同，利用不同大小的窗口进行扫描，当扫描到的像素所在的窗口中同时存在孔像素和正常像素，则该像素位于孔边缘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311310383.8A CN117061720B (zh) | 2023-10-11 | 2023-10-11 | 基于单目图像及深度图像渲染的立体图像对生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311310383.8A CN117061720B (zh) | 2023-10-11 | 2023-10-11 | 基于单目图像及深度图像渲染的立体图像对生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117061720A CN117061720A (zh) | 2023-11-14 |
| CN117061720B true CN117061720B (zh) | 2024-03-01 |
Family
ID=88663018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311310383.8A Active CN117061720B (zh) | 2023-10-11 | 2023-10-11 | 基于单目图像及深度图像渲染的立体图像对生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117061720B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07192147A (ja) * | 1993-12-27 | 1995-07-28 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
| US5929859A (en) * | 1995-12-19 | 1999-07-27 | U.S. Philips Corporation | Parallactic depth-dependent pixel shifts |
| EP1353518A1 (en) * | 2002-04-09 | 2003-10-15 | STMicroelectronics S.r.l. | Process and system for generating stereoscopic images from monocular images |
| WO2011028837A2 (en) * | 2009-09-01 | 2011-03-10 | Prime Focus Vfx Services Ii Inc. | System and process for transforming two-dimensional images into three-dimensional images |
| CN102026013A (zh) * | 2010-12-18 | 2011-04-20 | 浙江大学 | 基于仿射变换的立体视频匹配方法 |
| CN102609974A (zh) * | 2012-03-14 | 2012-07-25 | 浙江理工大学 | 一种基于深度图分割渲染的虚拟视点图像的生成方法 |
| CN104159093A (zh) * | 2014-08-29 | 2014-11-19 | 杭州道玄影视科技有限公司 | 运动拍摄的静态场景视频的时域一致性空洞区域修补方法 |
| CN106791773A (zh) * | 2016-12-30 | 2017-05-31 | 浙江工业大学 | 一种基于深度图像的新视点合成方法 |
| CN114881841A (zh) * | 2022-04-19 | 2022-08-09 | 维沃移动通信有限公司 | 图像生成方法及其装置 |
| CN115661337A (zh) * | 2022-09-23 | 2023-01-31 | 安徽南瑞继远电网技术有限公司 | 一种基于双目视觉的变电站作业人员三维重建的方法 |
| CN115830135A (zh) * | 2022-09-02 | 2023-03-21 | 万物镜像(北京)计算机系统有限公司 | 一种图像处理方法、装置及电子设备 |
| CN116597488A (zh) * | 2023-05-18 | 2023-08-15 | 视缘(上海)交通科技有限公司 | 一种基于Kinect数据库的人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013112796A1 (en) * | 2012-01-25 | 2013-08-01 | Lumenco, Llc | Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses |
-
2023
- 2023-10-11 CN CN202311310383.8A patent/CN117061720B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07192147A (ja) * | 1993-12-27 | 1995-07-28 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
| US5929859A (en) * | 1995-12-19 | 1999-07-27 | U.S. Philips Corporation | Parallactic depth-dependent pixel shifts |
| EP1353518A1 (en) * | 2002-04-09 | 2003-10-15 | STMicroelectronics S.r.l. | Process and system for generating stereoscopic images from monocular images |
| WO2011028837A2 (en) * | 2009-09-01 | 2011-03-10 | Prime Focus Vfx Services Ii Inc. | System and process for transforming two-dimensional images into three-dimensional images |
| CN102026013A (zh) * | 2010-12-18 | 2011-04-20 | 浙江大学 | 基于仿射变换的立体视频匹配方法 |
| CN102609974A (zh) * | 2012-03-14 | 2012-07-25 | 浙江理工大学 | 一种基于深度图分割渲染的虚拟视点图像的生成方法 |
| CN104159093A (zh) * | 2014-08-29 | 2014-11-19 | 杭州道玄影视科技有限公司 | 运动拍摄的静态场景视频的时域一致性空洞区域修补方法 |
| CN106791773A (zh) * | 2016-12-30 | 2017-05-31 | 浙江工业大学 | 一种基于深度图像的新视点合成方法 |
| CN114881841A (zh) * | 2022-04-19 | 2022-08-09 | 维沃移动通信有限公司 | 图像生成方法及其装置 |
| CN115830135A (zh) * | 2022-09-02 | 2023-03-21 | 万物镜像(北京)计算机系统有限公司 | 一种图像处理方法、装置及电子设备 |
| CN115661337A (zh) * | 2022-09-23 | 2023-01-31 | 安徽南瑞继远电网技术有限公司 | 一种基于双目视觉的变电站作业人员三维重建的方法 |
| CN116597488A (zh) * | 2023-05-18 | 2023-08-15 | 视缘(上海)交通科技有限公司 | 一种基于Kinect数据库的人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117061720A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9288476B2 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
| US9438878B2 (en) | Method of converting 2D video to 3D video using 3D object models | |
| US9407904B2 (en) | Method for creating 3D virtual reality from 2D images | |
| JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| EP2340534B1 (en) | Optimal depth mapping | |
| JP4052331B2 (ja) | 仮想視点画像生成方法及び３次元画像表示方法並びに装置 | |
| US8384763B2 (en) | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging | |
| JP5858381B2 (ja) | 多視点画像合成方法及び多視点画像合成システム | |
| US7689031B2 (en) | Video filtering for stereo images | |
| US9986258B2 (en) | Efficient encoding of multiple views | |
| CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
| JPH08331607A (ja) | 三次元表示画像生成方法 | |
| CN102325259A (zh) | 多视点视频中虚拟视点合成方法及装置 | |
| JP2009116532A (ja) | 仮想視点画像生成方法および仮想視点画像生成装置 | |
| WO2014121108A1 (en) | Methods for converting two-dimensional images into three-dimensional images | |
| CN109510975B (zh) | 一种视频图像的提取方法、设备及系统 | |
| CN111047709A (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| Park et al. | Efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereo 3D images | |
| JP2013005025A (ja) | 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体 | |
| JPH0981746A (ja) | 二次元表示画像生成方法 | |
| CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
| CN117061720B (zh) | 基于单目图像及深度图像渲染的立体图像对生成方法 | |
| GB2585197A (en) | Method and system for obtaining depth data | |
| Knorr et al. | From 2D-to stereo-to multi-view video | |
| Andersen et al. | An AR-guided system for fast image-based modeling of indoor scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240129 Address after: Room 501/502/503/504, Building B1, Suikai Science and Technology Park, No. 136 Kaiyuan Avenue, Yunpu Street, Huangpu District, Guangzhou City, Guangdong Province, 510535 Applicant after: Guangzhou Dawan District Virtual Reality Research Institute Country or region after: China Applicant after: Shaoguan Museum (Shaoguan Institute of Cultural Relics and Archaeology) Address before: Room 501/502/503/504, Building B1, Suikai Science and Technology Park, No. 136 Kaiyuan Avenue, Yunpu Street, Huangpu District, Guangzhou City, Guangdong Province, 510535 Applicant before: Guangzhou Dawan District Virtual Reality Research Institute Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |