CN104869386A - 一种基于分层处理虚拟视点合成方法 - Google Patents
一种基于分层处理虚拟视点合成方法 Download PDFInfo
- Publication number
- CN104869386A CN104869386A CN201510164850.XA CN201510164850A CN104869386A CN 104869386 A CN104869386 A CN 104869386A CN 201510164850 A CN201510164850 A CN 201510164850A CN 104869386 A CN104869386 A CN 104869386A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- edge
- virtual viewpoint
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000002194 synthesizing effect Effects 0.000 title abstract description 3
- 238000012937 correction Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000012805 post-processing Methods 0.000 claims abstract description 4
- 238000001308 synthesis method Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 230000003628 erosive effect Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 230000010339 dilation Effects 0.000 claims 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于分层处理虚拟视点合成方法，首先分别左右视点的深度图进行深度修正和色彩校正的预处理，然后在采用分层3D Warping生成虚拟视点的图像，根据分层信息融合由DIBR生成的左右两幅参考视点的彩色图像和深度图像，再对融合后的深度图像进行滤波处理，然后根据该深度图对虚拟视点图像进行修复，消除图像中的空洞，最后进行图像插值并且后处理，移除图像中的鬼影现象，最终生成高质量的新视点。本方法能够根据任意两个视点快速合成中间视点，并且新合成视点的图片质量较高。
Description
技术领域
本发明是属于立体显示系统中虚拟点图像合成领域，特别涉及一种面向立体显示系统中分层虚拟视点图像合成方法。
背景技术
随着高清显示技术、成像技术的不断成熟以，人们对多视点立体观看的要求会显得更加迫切。这使得电视技术面临着一场从二维视频到三维视频转换的新的技术变革，三维电视 (Three-Dimensional Television，3DTV)，以其再现三维场景的临境效果将给人以全新的观看感受，是继高清电视之后的电视领域的又一全新发展方向。作为立体电视的重要分支，自由视点立体电视(Free Viewpoint Television，FTV)通过同时显示多个立体图像对,在不借助任何辅助视具的条件下,不仅能够满足多用户对场景深度感知的需求,还能够通过提供小范围的连续视差场以支持用户头部的运动。FTV系统中的一项关键技术是虚拟视点图像的合成。该技术通过在显示端快速有效地绘制虚拟视点图像，为整个FTV系统节省大量的带宽和存储空间。因此研究虚拟视点的合成对FTV系统的发展和应用有着非常重要的意义。
目前国内在关于绪论视点合成中大都采用基于深度图的虚拟视点绘制(Depth Image Based Rendering,DIBR)，尽管DIBR技术的编码效率高，能够迅速生成任一位置的虚拟视点，并且复杂度较低，但是考虑到深度图的不确定性以及视点改变所造成的物体间遮挡关系变化等因素的影响，单纯地通过DIBR技术绘制的虚拟视点图像质量并不理想。如何解决重叠问题、空洞问题、虚假边缘问题是DIBR绘制技术研究的重点也是难点。
发明内容
本发明主要解决的技术问题是提供一种基于分层处理虚拟视点合成方法，这种方法能够解决虚拟视点合成中的重叠问题、空洞问题、虚假边缘问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于分层处理虚拟视点合成方法，具体步骤包括：
（100）、分别对左右视点的深度图进行深度修正和彩色图进行色彩校正的预处理；能保证所获取的场景深度信息和彩色信息的正确性；
（200）、采用分层3D Warping生成虚拟视点的图像；
（300）、根据分层信息融合由DIBR生成的左右两幅参考视点的彩色图像和深度图像，并对融合后的深度图像进行滤波处理；
（400）、采用基于深度图的图像修复方法对虚拟视点图像进行修复，消除图像中的空洞；
（500）、进行图像插值并且后处理。
在本发明一个较佳实施例中，所述步骤（100）具体为对于边缘深度错误修正，采用图像膨胀和腐蚀等形态学处理方式来修正物体边缘上错误的深度信息；对于背景深度错误和前景深度缺失，通过比对纹理图像和深度图像前景区域和背景区域的不同提取出深度错误区域，再根据正确的深度信息，对其进行修正。在本发明一个较佳实施例中，所述步骤（200）具体包括：
（210）、边缘检测；检测出边缘区域。通过边缘检测能够找到新生成中间视点图像的前景与背景的边缘；
（220）、边缘膨胀处理和边缘区域划分；
（230）、对分层后的各个区域分别采用3D Warping生成虚拟视点的对应的图像区域。
在本发明一个较佳实施例中，所述步骤（210）中采用Canny边缘检测算法检测出边缘区域。
在本发明一个较佳实施例中，所述步骤（220）具体为通过边缘膨胀处理将图像边缘深度信息不稳定的区域划分到边缘区域中，提取出过渡区域，并将剩下的图像前景区域与背景区域分别提取出来。
在本发明一个较佳实施例中，所述步骤（230）中通过3D Warping将左右视点分别投影到了中间视点上生成新视点的图像。
在本发明一个较佳实施例中，所述步骤（300）具体为左右视点的纹理图像分别以分层的形式映射到中间视点位置，并且采用中值滤波处理消除在各层映射的过程中会出现细小空洞和错误映射的细线。
在本发明一个较佳实施例中，所述步骤（400）具体为对融合后的深度图进行滤波，利用深度图区分虚拟视点图像中的前景和背景，根据前景与背景的关系来选择图像周围的像素来填充图像中的空洞。
在本发明一个较佳实施例中，所述步骤（500）中，将图像修复后的虚拟视点图像转换成灰度图像，并利用Canny边缘检测算法找出图像的边缘，当一个像素将与其邻近像素的之间相差大于某一阈值并且不是边缘点，用其四邻域像素加权得到该点像素值。
本发明的有益效果是：
1） 本发明给出的一种基于分层处理虚拟视点合成方法，通过采用图像分层和过采样的DIBR技术在消除细小空洞和虚假边缘的同时，保护了前景物体边缘的平滑性。
2） 本发明采用分层处理技术来生成虚拟视点巧妙的解决了在虚拟视点合成中的重叠问题、空洞问题以及虚假边缘问题。
3） 本发明与常用的图像修复算法相比，有较高的绘制效率。
本发明基于分层处理虚拟视点合成方法适用于立体显示中的虚拟视点合成，解决了在虚拟视点合成中的重叠问题、空洞问题以及虚假边缘问题。
附图说明
图1是本发明基于分层处理虚拟视点合成方法的流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种基于分层处理虚拟视点合成方法，具体步骤是：
1）分别对左右视点的深度图进行深度修正和彩色图进行色彩校正的预处理。
1.1）分别对左右视点的深度图进行深度修正的预处理。
对于边缘深度错误修正，采用图像膨胀和腐蚀等形态学处理方式来修正物体边缘上错误的深度信息。
对于背景深度错误和前景深度缺失，通过比对纹理图像和深度图像前景区域和背景区域的不同提取出深度错误区域。再根据正确的深度信息，对其进行修正。在深度图修正的过程中，首先修正背景深度错误，并在此基础上前景深度缺失进行修正。
1.2）分别对左右视点的彩色图进行色彩校正的预处理。
对左右视点的彩色图进行SURF特征点匹配，得到匹配点对集合。
通过公式： ；
得到所有匹配点对g(x,y)和g(x’,y’)之间差异的最小最佳性因子ai和加性因子bi，通过差异参数ai和bi对目标图像进行颜色校验。其中，g(x,y)表示空间中的点（x,y）在左视点的图像上对应点的颜色，g(x’,y’) 表示空间中的点(x’,y’) 在右相机画面上对应点的颜色表示点的坐标。
2）对左右视点深度图利用Canny边缘检测算法检测边缘区域，并对分层后的图像采用分层3D Warping生成虚拟视点的图像。
采用Canny边缘检测算法检测出边缘区域，并对检测出来的边缘做膨胀处理，提取出过渡区域：
其中, 是半径为r的圆盘形结构元素，为边缘膨胀后得到的过渡区域。
根据过渡区域的深度信息的不同，将过渡区域分为前景边缘区域和背景边缘区域。
深度图经过分层处理后划分为：非边缘区域、前景边缘区域和背景边缘区域。并对分层后的各个区域分别采用3D Warping生成虚拟视点的对应的图像区域。
3）根据分层信息融合由DIBR生成的左右两幅参考视点的彩色图像和深度图像，并对融合后的深度图像进行滤波处理。
左右视点的纹理图像分别以分层的形式映射到中间视点位置，并且采用中值滤波处理消除在各层映射的过程中会出现细小空洞和错误映射的细线。
对于非边缘区域融合，选择对应中心视点的一路作为主要参考视点图像另一路作为辅助参考视点图像，用辅助参考视点中的非边缘区域填补主要参考视点非边缘区域在虚拟视点中的空洞。
对于前景边缘融合，用主要参考视点的前景边缘替换图像中对应位置的像素点。
对于背景边缘融合，用主要参考视点和辅助参考视点的背景边缘区域的融合结果去填补图像中的空洞区域。
4）采用基于深度图的图像修复方法对虚拟视点图像进行修复，消除图像中的空洞。
先对融合后的深度图进行滤波，利用深度图区分虚拟视点图像中的前景和背景。对于前景区域采用周围同一深度的前景中非空洞的像素点进行加权平均，得到空洞点的像素值；对于背景区域采用周围同一深度的背景中非空洞点进行加权，其他非空洞点则不作处理。
5）进行图像插值并且后处理，移除图像中的鬼影现象，最终生成高质量的新视点。
将图像修复后的虚拟视点图像转换成灰度图像，并利用Canny边缘检测算法找出图像的边缘。当一个像素将与其邻近像素的之间相差大于某一阈值并且不是边缘点，用其四邻域像素加权得到该点像素值。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种基于分层处理虚拟视点合成方法，其特征在于，具体步骤包括：
（100）、分别对左右视点的深度图进行深度修正和彩色图进行色彩校正的预处理；
（200）、采用分层3D Warping生成虚拟视点的图像；
（300）、根据分层信息融合由DIBR生成的左右两幅参考视点的彩色图像和深度图像，并对融合后的深度图像进行滤波处理；
（400）、采用基于深度图的图像修复方法对虚拟视点图像进行修复，消除图像中的空洞；
（500）、进行图像插值并且后处理。
2.根据权利要求书1所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（100）具体为对于边缘深度错误修正，采用图像膨胀和腐蚀等形态学处理方式来修正物体边缘上错误的深度信息；对于背景深度错误和前景深度缺失，通过比对纹理图像和深度图像前景区域和背景区域的不同提取出深度错误区域，再根据正确的深度信息，对其进行修正。
3.根据权利要求书1所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（200）具体包括：
（210）、边缘检测；
（220）、边缘膨胀处理和边缘区域划分；
（230）、对分层后的各个区域分别采用3D Warping生成虚拟视点的对应的图像区域。
4.根据权利要求书3的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（210）中采用Canny边缘检测算法检测出边缘区域。
5.根据权利要求书3所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（220）具体为通过边缘膨胀处理将图像边缘深度信息不稳定的区域划分到边缘区域中，提取出过渡区域。
6.根据权利要求书3的所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（230）中通过3D Warping将左右视点分别投影到了中间视点上生成新视点的图像。
7.根据权利要求书1所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（300）具体为左右视点的纹理图像分别以分层的形式映射到中间视点位置，并且采用中值滤波处理消除在各层映射的过程中会出现细小空洞和错误映射的细线。
8.根据权利要求书1所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（400）具体为对融合后的深度图进行滤波，利用深度图区分虚拟视点图像中的前景和背景，根据前景与背景的关系来选择图像周围的像素来填充图像中的空洞。
9.根据权利要求书1所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（500）中，将图像修复后的虚拟视点图像转换成灰度图像，并利用Canny边缘检测算法找出图像的边缘，当一个像素将与其邻近像素的之间相差大于某一阈值并且不是边缘点，用其四邻域像素加权得到该点像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510164850.XA CN104869386A (zh) | 2015-04-09 | 2015-04-09 | 一种基于分层处理虚拟视点合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510164850.XA CN104869386A (zh) | 2015-04-09 | 2015-04-09 | 一种基于分层处理虚拟视点合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104869386A true CN104869386A (zh) | 2015-08-26 |
Family
ID=53914853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510164850.XA Pending CN104869386A (zh) | 2015-04-09 | 2015-04-09 | 一种基于分层处理虚拟视点合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104869386A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791773A (zh) * | 2016-12-30 | 2017-05-31 | 浙江工业大学 | 一种基于深度图像的新视点合成方法 |
| CN106851247A (zh) * | 2017-02-13 | 2017-06-13 | 浙江工商大学 | 基于深度信息的复杂场景分层方法 |
| CN108924434A (zh) * | 2018-06-29 | 2018-11-30 | 宁波大学 | 一种基于曝光变换的立体高动态范围图像合成方法 |
| CN109194888A (zh) * | 2018-11-12 | 2019-01-11 | 北京大学深圳研究生院 | 一种针对低质量深度图的dibr自由视点合成方法 |
| CN109712067A (zh) * | 2018-12-03 | 2019-05-03 | 北京航空航天大学 | 一种基于深度图像的虚拟视点绘制方法 |
| CN110134222A (zh) * | 2018-02-02 | 2019-08-16 | 上海集鹰科技有限公司 | 一种vr头显定位瞄准系统及其定位瞄准方法 |
| CN113450274A (zh) * | 2021-06-23 | 2021-09-28 | 山东大学 | 一种基于深度学习的自适应视点融合方法及系统 |
| WO2023272531A1 (zh) * | 2021-06-29 | 2023-01-05 | Oppo广东移动通信有限公司 | 图像处理方法及装置、设备、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103269435A (zh) * | 2013-04-19 | 2013-08-28 | 四川长虹电器股份有限公司 | 双目转多目虚拟视点合成方法 |
| CN104270624A (zh) * | 2014-10-08 | 2015-01-07 | 太原科技大学 | 一种分区域的3d视频映射方法 |
-
2015
- 2015-04-09 CN CN201510164850.XA patent/CN104869386A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103269435A (zh) * | 2013-04-19 | 2013-08-28 | 四川长虹电器股份有限公司 | 双目转多目虚拟视点合成方法 |
| CN104270624A (zh) * | 2014-10-08 | 2015-01-07 | 太原科技大学 | 一种分区域的3d视频映射方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王震: "自由视点立体电视系统的虚拟视点合成技术研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 * |
| 程浩: "基于深度分层图的虚拟视点合成方法的研究", 《武汉船舶职业技术学院学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791773A (zh) * | 2016-12-30 | 2017-05-31 | 浙江工业大学 | 一种基于深度图像的新视点合成方法 |
| CN106791773B (zh) * | 2016-12-30 | 2018-06-01 | 浙江工业大学 | 一种基于深度图像的新视点合成方法 |
| CN106851247A (zh) * | 2017-02-13 | 2017-06-13 | 浙江工商大学 | 基于深度信息的复杂场景分层方法 |
| CN110134222A (zh) * | 2018-02-02 | 2019-08-16 | 上海集鹰科技有限公司 | 一种vr头显定位瞄准系统及其定位瞄准方法 |
| CN108924434A (zh) * | 2018-06-29 | 2018-11-30 | 宁波大学 | 一种基于曝光变换的立体高动态范围图像合成方法 |
| CN109194888A (zh) * | 2018-11-12 | 2019-01-11 | 北京大学深圳研究生院 | 一种针对低质量深度图的dibr自由视点合成方法 |
| CN109194888B (zh) * | 2018-11-12 | 2020-11-27 | 北京大学深圳研究生院 | 一种针对低质量深度图的dibr自由视点合成方法 |
| CN109712067A (zh) * | 2018-12-03 | 2019-05-03 | 北京航空航天大学 | 一种基于深度图像的虚拟视点绘制方法 |
| CN113450274A (zh) * | 2021-06-23 | 2021-09-28 | 山东大学 | 一种基于深度学习的自适应视点融合方法及系统 |
| WO2023272531A1 (zh) * | 2021-06-29 | 2023-01-05 | Oppo广东移动通信有限公司 | 图像处理方法及装置、设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104869386A (zh) | 一种基于分层处理虚拟视点合成方法 | |
| US9407896B2 (en) | Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions | |
| US9445071B2 (en) | Method and apparatus generating multi-view images for three-dimensional display | |
| CN103581648B (zh) | 绘制新视点中的空洞填补方法 | |
| CN102892021B (zh) | 一种合成虚拟视点图像的新方法 | |
| CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| CN104756489A (zh) | 一种虚拟视点合成方法及系统 | |
| CN109194888B (zh) | 一种针对低质量深度图的dibr自由视点合成方法 | |
| CN110660131A (zh) | 一种基于深度背景建模的虚拟视点空洞填补方法 | |
| Sharma et al. | A flexible architecture for multi-view 3DTV based on uncalibrated cameras | |
| Reel et al. | Joint texture-depth pixel inpainting of disocclusion holes in virtual view synthesis | |
| US9196080B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| Zhu et al. | An improved depth image based virtual view synthesis method for interactive 3D video | |
| Schmeing et al. | Depth image based rendering | |
| CN105791795A (zh) | 立体图像处理方法、装置以及立体视频显示设备 | |
| CN108833879A (zh) | 具有时空连续性的虚拟视点合成方法 | |
| US9787980B2 (en) | Auxiliary information map upsampling | |
| Liu et al. | Hole-filling based on disparity map and inpainting for depth-image-based rendering | |
| CN103379350B (zh) | 虚拟视点图像后处理方法 | |
| Cheng et al. | A DIBR method based on inverse mapping and depth-aided image inpainting | |
| Tran et al. | Spatially consistent view synthesis with coordinate alignment | |
| Ikeya et al. | Depth estimation from three cameras using belief propagation: 3D modelling of sumo wrestling | |
| Wang et al. | Depth image segmentation for improved virtual view image quality in 3-DTV | |
| KR101608804B1 (ko) | 품질 향상을 위한 변이 지도의 경계 왜곡 보정 기반 가상시점 영상 생성 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150826 |