CN104463958B - 基于视差图融合的三维超分辨率方法 - Google Patents
基于视差图融合的三维超分辨率方法 Download PDFInfo
- Publication number
- CN104463958B CN104463958B CN201410684093.4A CN201410684093A CN104463958B CN 104463958 B CN104463958 B CN 104463958B CN 201410684093 A CN201410684093 A CN 201410684093A CN 104463958 B CN104463958 B CN 104463958B
- Authority
- CN
- China
- Prior art keywords
- disparity map
- pixel
- resolution
- benchmark
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 title claims abstract description 10
- 238000013519 translation Methods 0.000 claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明是一种基于深度图融合的三维超分辨率方法,涉及计算机视觉领域。该方法引入相位相关算法:平移双目摄像机组获得同一场景的多幅深度图,利用相位相关的特性算出每幅深度图各像素与基准深度图的平移参数,根据平移参数将各深度图中的像素逐一插入到基准深度图,再由基准深度图对应摄像机参数将深度图投影到三维空间,最后得到超分辨率三维重建结果。解决双目三维重建系统在实际应用中,由于图像采集设备分辨率低、信噪比低等因素,导致三维重建结果分辨率较低的问题。
Description
技术领域
本发明涉及一种三维超分辨率算法,尤其涉及一种基于视差图融合的三维超分辨率算法,属于计算机视觉领域。
背景技术
三维重建是计算机视觉领域中的重要研究方向之一,其目的是从单幅图像加景物约束或从两幅、两幅以上图像恢复空间点的三维坐标。三维重建在医学图像处理、虚拟现实和数字媒体创作等领域有着广泛应用。双目三维重建直接模拟人类双眼处理景物的方式,从两个视点观察同一个景物,即由不同位置的两台摄像机拍摄同一场景,以三角测量为基础,计算空间点在两幅图像像素间的视差来恢复目标物体的视差信息,进而获取物体的三维形状。但在实际应用中,图像采集设备分辨率低、信噪比低等因素,均会导致三维重建结果分辨率较低,不仅不能获得良好的视觉效果,还影响了基于重建结果测量的精准性。目前针对这一不足,一方面可以提高硬件条件,如使用较高分辨率的摄像机,但会增加成本;另一方面可以对采集图像进行超分辨率处理,然后对处理后的图像进行三维重建,获得较高分辨率的三维重建结果,但该类方法受限于图像超分辨率的性能,若目标分辨率与原始分辨率相差过大,该类方法也很难满足要求。
发明内容
本发明所要解决的技术问题是提供一种基于视差图融合的三维超分辨率方法,在低分辨率成像条件下,提高双目重建系统的三维重建结果分辨率。
本发明的解决方案是:通过平移双目摄像机组获得同一场景的多幅视差图,利用相位相关的特性算出每幅视差图各像素与基准视差图的平移参数,根据平移参数将各视差图中的像素逐一插入到基准视差图,最后由基准视差图对应摄像机参数将融合后视差图投影到三维空间得到超分辨率三维重建结果。
本发明为实现上述解决方案,其方法步骤如下所示:
1. 通过平移双目摄像机组获得同一场景的多幅视差图。保持两个摄像机的相对位置不变,对双目摄像机组作平行于摄像机成像面的平移,拍摄N组双目图像对{,,通过立体匹配算法求取各组图像对相应的视差图 ;
2. 利用相位相关法算出每幅视差图各像素与基准视差图的平移参数。指定基准视差图 (base ∈ {1,2, 3 …… N}),以每像素(x,y)为中心,截取R*R的方形窗口 。同样对其余视差图 (other ∈{1,2, 3 …… N} 且 other ≠base),以每像素(x,y)为中心,截取R*R的方形窗口 。分别对 、 进行傅里叶变换得到 、 。进一步计算互功率谱: (*表示复共轭),将互功率谱进行傅里叶逆变换得到脉冲函数σ,由其峰值位置得到各像素点平移参数( , ;
3. 根据平移参数将各视差图中的像素逐一插入到基准视差图并投影到三维空间。根据已知基线B、相机焦距f、CCD水平像素间距px、CCD垂直像素间距py、图像中心坐标(midHeight, midWidth),将基准视差图投影到三维空间,对像素(u,v)有:
X =
Y =
Z =
然后根据与基准视差图的平移参数,将其余视差图各像素(u,v)投影到三维空间:
X =
Y =
Z =
得到基于视差图融合的超分辨率三维重建结果。
Claims (3)
1.一种基于视差图融合的三维超分辨率方法,其特征在于包含以下步骤:
1)通过平移双目摄像机组获得同一场景的多幅视差图;
2)利用相位相关法算出每幅视差图各像素与基准视差图的平移参数;
3)根据平移参数将各视差图中的像素逐一插入到基准视差图并投影到三维空间;
其中,步骤3)的具体特征在于如下两个步骤:
1)根据已知基线B、相机焦距f、CCD水平像素间距px、CCD垂直像素间距py、图像中心坐标(midHeight,midWidth)、水平平移参数垂直平移参数将基准视差图投影到三维空间,对像素(u,v)有:
2)然后根据与基准视差图的平移参数,将其余视差图各像素(u,v)投影到三维空间:
得到基于视差图融合的超分辨率三维重建结果。
2.根据权利要求1所述的一种基于视差图融合的三维超分辨率方法,其特征在于所述的通过平移双目摄像机组获得同一场景的多幅视差图:
1)保持两个摄像机的相对位置不变,对双目摄像机组作平行于摄像机成像面的平移,拍摄N组双目图像对
2)通过立体匹配算法求取各组图像对相应的视差图Di。
3.根据权利要求1所述的一种基于视差图融合的三维超分辨率方法,其特征在于所述的利用相位相关法算出每幅视差图各像素与基准视差图的平移参数:
1)指定基准视差图Dbase,以每像素(x,y)为中心,截取R*R的方形窗口同样对其余视差图Dother,以每像素(x,y)为中心,截取R*R的方形窗口
2)分别对进行傅里叶变换得到进一步计算互功率谱:将互功率谱进行傅里叶逆变换得到脉冲函数σ,由其峰值位置得到该像素点的水平平移参数和垂直平移参数
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410684093.4A CN104463958B (zh) | 2014-11-25 | 2014-11-25 | 基于视差图融合的三维超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410684093.4A CN104463958B (zh) | 2014-11-25 | 2014-11-25 | 基于视差图融合的三维超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104463958A CN104463958A (zh) | 2015-03-25 |
CN104463958B true CN104463958B (zh) | 2017-11-14 |
Family
ID=52909940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410684093.4A Active CN104463958B (zh) | 2014-11-25 | 2014-11-25 | 基于视差图融合的三维超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104463958B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105812769B (zh) * | 2016-04-06 | 2018-04-03 | 四川大学 | 基于相位相关的高精度视差跟踪器 |
CN112489103B (zh) * | 2020-11-19 | 2022-03-08 | 北京的卢深视科技有限公司 | 一种高分辨率深度图获取方法及系统 |
CN113506217B (zh) * | 2021-07-09 | 2022-08-16 | 天津大学 | 一种基于循环交互的立体图像超分辨率重建方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013250891A (ja) * | 2012-06-01 | 2013-12-12 | Univ Of Tokyo | 超解像方法及び装置 |
CN103489173A (zh) * | 2013-09-23 | 2014-01-01 | 百年金海科技有限公司 | 一种视频图像超分辨率重建方法 |
CN104103052A (zh) * | 2013-04-11 | 2014-10-15 | 北京大学 | 一种基于稀疏表示的图像超分辨率重建方法 |
CN104156957A (zh) * | 2014-08-06 | 2014-11-19 | 昆山天工智能科技有限公司 | 一种稳定高效的高分辨率立体匹配方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101874482B1 (ko) * | 2012-10-16 | 2018-07-05 | 삼성전자주식회사 | 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법 |
-
2014
- 2014-11-25 CN CN201410684093.4A patent/CN104463958B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013250891A (ja) * | 2012-06-01 | 2013-12-12 | Univ Of Tokyo | 超解像方法及び装置 |
CN104103052A (zh) * | 2013-04-11 | 2014-10-15 | 北京大学 | 一种基于稀疏表示的图像超分辨率重建方法 |
CN103489173A (zh) * | 2013-09-23 | 2014-01-01 | 百年金海科技有限公司 | 一种视频图像超分辨率重建方法 |
CN104156957A (zh) * | 2014-08-06 | 2014-11-19 | 昆山天工智能科技有限公司 | 一种稳定高效的高分辨率立体匹配方法 |
Non-Patent Citations (1)
Title |
---|
基于图象配准的超分辨率重建;黄婧;《中国优秀硕士学位论文全文库》;20070415;第2007卷;第18页第2.4部分,第39页倒数第2段 * |
Also Published As
Publication number | Publication date |
---|---|
CN104463958A (zh) | 2015-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102013978B1 (ko) | 이미지들의 융합을 위한 방법 및 장치 | |
Bertel et al. | Megaparallax: Casual 360 panoramas with motion parallax | |
WO2016074639A1 (en) | Methods and systems for multi-view high-speed motion capture | |
US10419669B2 (en) | Omnistereoscopic panoramic video | |
CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN104349155B (zh) | 模拟立体图像显示方法及显示设备 | |
KR101538947B1 (ko) | 실감형 자유시점 영상 제공 장치 및 방법 | |
WO2019085022A1 (zh) | 光场3d显示单元图像的生成方法及生成装置 | |
CN109919911A (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN107240147B (zh) | 图像渲染方法及系统 | |
US11812009B2 (en) | Generating virtual reality content via light fields | |
US8577202B2 (en) | Method for processing a video data set | |
WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
CN109819158B (zh) | 基于光场成像的视频稳像方法 | |
CN107016707B (zh) | 一种集成成像超大三维场景拍摄图像校正方法 | |
CN104463958B (zh) | 基于视差图融合的三维超分辨率方法 | |
CN112995638A (zh) | 自动调节视差的裸眼3d采集和显示系统及方法 | |
CN104159099A (zh) | 一种3d立体影视制作中双目立体摄像机的设置方法 | |
Knorr et al. | Stereoscopic 3D from 2D video with super-resolution capability | |
Knorr et al. | An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion | |
Wegner et al. | Depth estimation from stereoscopic 360-degree video | |
CN109961395B (zh) | 深度图像的生成及显示方法、装置、系统、可读介质 | |
JP7033294B2 (ja) | 撮像システム、撮像方法 | |
Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
Knorr et al. | From 2D-to stereo-to multi-view video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |