CN101404777B - 一种基于深度图像的绘制的视图合成方法 - Google Patents
一种基于深度图像的绘制的视图合成方法 Download PDFInfo
- Publication number
- CN101404777B CN101404777B CN2008100464706A CN200810046470A CN101404777B CN 101404777 B CN101404777 B CN 101404777B CN 2008100464706 A CN2008100464706 A CN 2008100464706A CN 200810046470 A CN200810046470 A CN 200810046470A CN 101404777 B CN101404777 B CN 101404777B
- Authority
- CN
- China
- Prior art keywords
- empty
- point
- target image
- matrix
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度图像的绘制的视图合成方法，首先对深度图像进行平滑，然后执行两次三维图像变换：第一次变换采用平滑后的深度图像，得到含有较小空洞的目标图像；第二次变换采用原始的深度图像，得到含有较大空洞的目标图像，接着以第二次变换得到的目标图像为基准将两幅目标图像融合，最后对融合得到的目标图像进行空洞填充。本发明的特点是在视图合成过程中，始终维持一个与目标图像相对应的0-1矩阵，用于指示目标图像中某点是否为空洞点，并且视图合成过程中进行了两次三维图像变换，从而能在消除空洞的同时保证不会降低非空洞区域图像的质量，并尽可能地保留视图的真实性。
Description
技术领域
本发明涉及立体电视技术领域，具体来讲，涉及一种基于深度图像的绘制的视图合成方法。
背景技术
继高清晰度电视(High-Definition TV)以后，立体电视(3DTV)将成为下一代电视技术的发展方向。传统的立体视频是将左右两台摄像机固定在场景中模拟人的双眼从两个不同角度拍摄得到的。这就造成在传输节目时需要传输两路视频。为了减少数据的传输，联合视频小组JVT和欧洲的ATTEST项目都建议采用“视频+深度”的数据格式。这样，左右视频可以由中间视频及其对应的深度图像(depth image)来合成，这便是3DTV中的基于深度图像的绘制(Depth Image BasedRendering，DIBR)技术。DIBR能利用参考图像(reference image)及其对应的深度图像(depth image)合成任意视点的视图，是一种比较有前途的方法。
然而由于可见性变化等原因，采用DIBR合成的视图往往存在空洞(holes)。空洞消除的效果决定着基于DIBR的视图合成技术能否被进一步推广。1993年，苹果公司的Shenchang Eric Chen和Lance Williams提出可以通过插值相邻像素的颜色或偏移向量来填充空洞。这类方法不一定精确但复杂性较低，通常用于消除的较小空洞。2003年，Christoph Fehn提出用高斯滤波器平滑深度图，以消除合成的视图中较大的空洞或者使之变小。2005年，Liang Zhang等人在滤波器的选择以及滤波的区域确定、参考图像的处理等方面做了改进。然而这些方法在消除空洞的同时往往会降低图像的质量，或者由于需要多幅参考图像而不适合3DTV的传输。不但如此，由平滑后的深度图像合成的图像与真正想要生成的视点的图像相比，发生了位移和扭曲，即合成的视图已经不是想要视点的视图。如何解决这一问题是3DTV应用中要攻克的重要问题。
发明内容
本发明的目的在于克服现有视图合成方法的不足，提供一种能在消除空洞的同时精确绘制非空洞区域的图像，并且不会降低非空洞区域图像质量，尽可能地保留视图真实性的基于深度图像的绘制的视图合成方法。
为了达到上述发明目的，本发明基于深度图像的绘制的视图合成方法包括以下步骤：
(1)、对参考图像的原始深度图像进行平滑，得到平滑后的深度图像；
(2)、将参考图像和平滑后的深度图像作为三维图像变换的输入，生成含有较小空洞的目标图像，同时得到一个与该含有较小空洞的目标图像相对应的0-1矩阵，0-1矩阵中的每一个元素指示该目标图像中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；
(3)、将参考图像和原始深度图像作为另一三维图像变换的输入，生成含有较大空洞的目标图像，同时得到一个与该含有较大空洞的目标图像相对应的0-1矩阵，矩阵中的每一个元素指示目标图像中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；
(4)、根据步骤(3)得到的0-1矩阵，遍历步骤(3)得到的较大空洞的目标图像的空洞点，如果某一空洞点，根据步骤(2)得到的0-1矩阵判断该空洞点在步骤(2)得到的较小空洞的目标图像中对应点不是空洞点，则将较小空洞的目标图像中对应点的像素值拷贝到较大空洞的目标图像中的该空洞点，这样，较大空洞的目标图像中的空洞变小；
(5)、对步骤(4)得到的空洞变小后的较大空洞的目标图像中剩余的空洞进行填充，合成最终的目标图像。
本发明的特点是在视图合成过程中，始终维持一个与目标图像相对应的0-1矩阵，用于指示目标图像中某点是否为空洞点，这样做的好处是可以准确辨别哪些像素是真正的空洞，节省了计算量；并且视图合成过程中进行了两次三维图像变换，第一次三维图像变换采用参考图像以及平滑后的深度图像，得到含有较小空洞的目标图像，第二次三维图像变换采用参考图像及其深度图像直接进行变换，得到含有较大空洞的目标图像，然后将两幅目标图像进行融合，即将第二次三维图像变换合成的较大空洞的目标图像中的空洞从第一次三维图像变换合成的目标图像中采样填充，这样由于第二次三维图像变换合成最终目标图像的非空洞区域的精确图像，同时采用第一次三维图像变换合成的目标图像来采样填充第二次三维图像变换合成的较大空洞的目标图像的空洞部分，使其缩小，从而能在减小空洞的同时保证不会降低非空洞区域图像的质量，并尽可能地保留视图的真实性。最后通过对剩余的空洞进行填充，得到最终的目标图像，完成视图的合成。
附图说明
图1是现有技术中一个典型的基于图像深度的绘制的视图合成流程图；
图2是本发明一种具体实施方式的具体流程图。
具体实施方式
为更好地理解本发明，下面结合具体实施方式对本发明进行更为详细描述。在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容时，这些描述在这儿将被忽略。
图1是现有技术中一个典型的基于深度图像的绘制的视图合成流程图。图中，对深度图像进行预处理后，直接进行三维图像变换，最后进行空洞填充，在消除空洞的同时降低非空洞区域图像质量，并且不能很好地保留视图真实性。
图2是本发明一种具体实施方式的具体流程图。
在本实施例中，具体流程为：
(1)、利用高斯低通滤波器对参考图像IR的原始的深度图像D进行滤波，得到平滑后的深度图像Ds，即对深度图像D进行预处理；
在本实施例中，高斯低通滤波器中的高斯曲线的标准偏差σ为15，即可以得到较为满意的平滑效果；
(2)、将参考图像IR和平滑后的深度图像Ds作为三维图像变换的输入，生成含有较小空洞的目标图像I1及其对应的0-1矩阵M1。0-1矩阵M1中的每一个元素指示目标图像I1中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；
(3)、将参考图像IR和原始的深度图像D作为另一三维图像变换的输入，生成含有较大空洞的目标图像I2及其对应的0-1矩阵M2。0-1矩阵M2中的每一个元素指示目标图像I2中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；
(4)、将步骤(2)、(3)得到的含有较小空洞的目标图像I1以含有较大空洞的目标图像I2进行融合，具体为根据0-1矩阵M2遍历由步骤(3)得到的目标图像I2中的空洞点，如果某一空洞点，根据步骤(2)得到的0-1矩阵M1判断该空洞点在步骤(2)得到的较小空洞的目标图像I1中对应点不是空洞点，则将较小空洞的目标图像I1中对应点的像素值拷贝到较大空洞的目标图像I2中的该空洞点，并置0-1矩阵M2中对应位置的元素为1，这样，较大空洞的目标图像I2中的空洞变小，在本实施例中，经过融合后，空洞变小后的较大空洞的目标图像为目标图像I，0-1矩阵M2变成目标图像I对应的0-1矩阵M；
在本实施例中，步骤(5)，即对步骤(4)得到的空洞变小后的较大空洞的目标图像I中剩余的空洞进行填充，合成最终的目标图像的具体步骤为：
(51)、按行遍历目标图像I中的空洞点，根据0-1矩阵M填充上下左右4邻域像素集中所有像素都不空的空洞点，同时更新0-1矩阵M；
(52)、按行遍历目标图像I中的空洞点，根据0-1矩阵M填充上下左右4邻域像素集中有3个及3个以上像素不空的空洞点，同时更新0-1矩阵M；若还存在上下左右4邻域像素集中有3个及3个以上像素不空的空洞点，则转到步骤(51)，否则转到步骤(53)；
(53)、按行遍历目标图像I中的空洞点，根据0-1矩阵M填充上下左右4邻域像素集中有2个及2个以上像素不空的空洞点，同时更新0-1矩阵M；若还存在上下左右4邻域像素集中有2个及2个以上像素不空的空洞点，则转步骤(51)，否则转到步骤(54)；
(54)、按行遍历目标图像I中的空洞点，根据0-1矩阵M填充上下左右4邻域像素集中有1个及1个以上像素不空的空洞点，同时更新0-1矩阵M；若还存在上下左右4邻域像素集中有1个及1个以上像素不空的空洞点，则转步骤(51)，否则停止。
本实施例的填充方法与现有技术，即苹果公司的Shenchang Eric Chen和Lance Williams提出的通过插值相邻像素的颜色或偏移向量来填充空洞的方法相比，尽管都是用于消除的较小空洞，但本实施例的填充方法每一轮的填充过程中总是先插值那些周围非空洞点较多的空洞点，从而保证了用于填充的像素值更接近真实值。
尽管上面对本发明说明性的具体实施方式进行了描述，但应当清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种基于深度图像的绘制的视图合成方法，包括以下步骤：
(1)、对参考图像的原始深度图像进行平滑，得到平滑后的深度图像；
(2)、将参考图像和平滑后的深度图像作为三维图像变换的输入，生成含有较小空洞的目标图像，同时得到一个与该含有较小空洞的目标图像相对应的0-1矩阵，0-1矩阵中的每一个元素指示该目标图像中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；
(3)、将参考图像和原始深度图像作为另一三维图像变换的输入，生成含有较大空洞的目标图像，同时得到一个与该含有较大空洞的目标图像相对应的0-1矩阵，矩阵中的每一个元素指示目标图像中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；
(4)、根据步骤(3)得到的0-1矩阵，遍历步骤(3)得到的较大空洞的目标图像的空洞点，如果某一空洞点，根据步骤(2)得到的0-1矩阵判断该空洞点在步骤(2)得到的较小空洞的目标图像中对应点不是空洞点，则将较小空洞的目标图像中对应点的像素值拷贝到较大空洞的目标图像中的该空洞点，这样，较大空洞的目标图像中的空洞变小；
(5)、对步骤(4)得到的空洞变小后的较大空洞的目标图像中剩余的空洞进行填充，合成最终的目标图像。
2.根据权利要求1所述的基于深度图像的绘制的视图合成方法，其特征在于，步骤(1)所述的对参考图像的深度图像进行平滑，采用的是高斯低通滤波器。
3.根据权利要求2所述的基于深度图像的绘制的视图合成方法，其特征在于，所述的高斯低通滤波器的高斯曲线的标准偏差σ为15。
4.根据权利要求1所述的基于深度图像的绘制的视图合成方法，其特征在于：
步骤(4)中，将较小空洞的目标图像中对应点的像素值拷贝到较大空洞的目标图像中的该空洞点的同时，还将步骤(3)得到的0-1矩阵中对应位置的元素置为1，得到新的0-1矩阵M；
步骤(5)所述的对步骤(4)得到的空洞变小后的较大空洞的目标图像中剩余的空洞进行填充，合成最终的目标图像，包括以下步骤：
(51)、按行遍历步骤(4)得到的空洞变小后的较大空洞的目标图像中的空洞点，根据对应的0-1矩阵M填充上下左右4邻域像素集中所有像素都不空的空洞点，并更新0-1矩阵M；
(52)、按行遍历步骤(51)得到的目标图像中的空洞点，根据对应的0-1矩阵M填充上下左右4邻域像素集中有3个及3个以上像素不空的空洞点，并更新0-1矩阵M；若还存在上下左右4邻域像素集中有3个及3个以上像素不空的空洞点，则转到步骤(51)，否则转到步骤(53)；
(53)、按行遍历步骤(52)得到的目标图像中的空洞点，根据对应的0-1矩阵M填充上下左右4邻域像素集中有2个及2个以上像素不空的空洞点，并更新0-1矩阵M；若还存在上下左右4邻域像素集中有2个及2个以上像素不空的空洞点，则转步骤(51)，否则转到步骤(54)；
(54)、按行遍历步骤(53)得到的目标图像中的空洞点，根据对应的0-1矩阵M填充上下左右4邻域像素集中有1个及1个以上像素不空的空洞点，并更新0-1矩阵M；若还存在上下左右4邻域像素集中有1个及1个以上像素不空的空洞点，则转步骤(51)，否则停止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008100464706A CN101404777B (zh) | 2008-11-06 | 2008-11-06 | 一种基于深度图像的绘制的视图合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008100464706A CN101404777B (zh) | 2008-11-06 | 2008-11-06 | 一种基于深度图像的绘制的视图合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101404777A CN101404777A (zh) | 2009-04-08 |
| CN101404777B true CN101404777B (zh) | 2010-12-01 |
Family
ID=40538623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008100464706A Expired - Fee Related CN101404777B (zh) | 2008-11-06 | 2008-11-06 | 一种基于深度图像的绘制的视图合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101404777B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8903135B2 (en) * | 2010-06-30 | 2014-12-02 | Panasonic Corporation | Stereo image processing apparatus and method of processing stereo image |
| CN102457737A (zh) * | 2010-10-26 | 2012-05-16 | 重庆大学 | 一种基于深度图像的3d视频去隔行方法和装置 |
| CN102289841B (zh) * | 2011-08-11 | 2013-01-16 | 四川虹微技术有限公司 | 一种立体图像观众感知深度的调节方法 |
| CN102447927B (zh) * | 2011-09-19 | 2013-11-06 | 四川虹微技术有限公司 | 一种有摄像机标定参数的三维图像变换方法 |
| CN102447926B (zh) * | 2011-09-19 | 2013-12-04 | 四川虹微技术有限公司 | 一种无摄像机标定参数的三维图像变换方法 |
| CN102547338B (zh) * | 2011-12-05 | 2013-11-06 | 四川虹微技术有限公司 | 一种适用于3d电视的dibr系统 |
| CN102572482A (zh) * | 2012-01-06 | 2012-07-11 | 浙江大学 | 基于fpga的立体视频到多视点视频的3d重构方法 |
| CN103488608A (zh) * | 2013-09-27 | 2014-01-01 | 杨昕吉 | 可视化样式电子名片快速构建的方法和系统 |
| CN103581648B (zh) * | 2013-10-18 | 2015-08-26 | 清华大学深圳研究生院 | 绘制新视点中的空洞填补方法 |
| CN106028020B (zh) * | 2016-06-21 | 2017-11-17 | 电子科技大学 | 一种基于多方向预测的虚拟视角图像空洞填补方法 |
| CN109462747B (zh) * | 2018-12-11 | 2020-06-26 | 成都美律科技有限公司 | 基于生成对抗网络的dibr系统空洞填充方法 |
-
2008
- 2008-11-06 CN CN2008100464706A patent/CN101404777B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101404777A (zh) | 2009-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101404777B (zh) | 一种基于深度图像的绘制的视图合成方法 | |
| JP6157606B2 (ja) | 画像融合方法及び装置 | |
| JP5763184B2 (ja) | ３次元画像に対する視差の算出 | |
| JP6021541B2 (ja) | 画像処理装置及び方法 | |
| ES2676055T3 (es) | Receptor de imagen eficaz para múltiples vistas | |
| KR101863767B1 (ko) | 의사-3d 인위적 원근법 및 장치 | |
| US9172939B2 (en) | System and method for adjusting perceived depth of stereoscopic images | |
| JP6002043B2 (ja) | 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 | |
| CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| US20130069942A1 (en) | Method and device for converting three-dimensional image using depth map information | |
| US20150341614A1 (en) | Stereoscopic video encoding device, stereoscopic video decoding device, stereoscopic video encoding method, stereoscopic video decoding method, stereoscopic video encoding program, and stereoscopic video decoding program | |
| KR20110045013A (ko) | 다목적 ３―ｄ 화상 포맷 | |
| US20170310943A1 (en) | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3d cameras | |
| CN105306919A (zh) | 立体图像合成方法及装置 | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| CN103716641A (zh) | 预测图像生成方法和装置 | |
| JP2006186795A (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
| CN104284193A (zh) | 编码装置和编码方法、以及解码装置和解码方法 | |
| JP2015171097A (ja) | 画像処理装置及びその制御方法 | |
| JPWO2013069171A1 (ja) | 画像処理装置、及び画像処理方法 | |
| US20120170841A1 (en) | Image processing apparatus and method | |
| CN105163104B (zh) | 一种不产生空洞的中间视图合成方法 | |
| JP5906165B2 (ja) | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム | |
| JP6025740B2 (ja) | エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法 | |
| Paradiso et al. | A novel interpolation method for 3D view synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20091002 Address after: Building 8, high tech incubator Park, South Tianfu Road, Tianfu Road, Chengdu, Sichuan Province, China: 610041 Applicant after: Sichuan Hongwei Technology Co., Ltd. Co-applicant after: Chongqing University Address before: Building 8, high tech incubator Park, South Tianfu Road, Tianfu Road, Chengdu, Sichuan Province, China: 610041 Applicant before: Panovasic Co., Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101201 Termination date: 20151106 |
|
| EXPY | Termination of patent right or utility model |