CN103986923B - 影像立体匹配系统 - Google Patents

影像立体匹配系统 Download PDF

Info

Publication number
CN103986923B
CN103986923B CN201310049760.7A CN201310049760A CN103986923B CN 103986923 B CN103986923 B CN 103986923B CN 201310049760 A CN201310049760 A CN 201310049760A CN 103986923 B CN103986923 B CN 103986923B
Authority
CN
China
Prior art keywords
stereo matching
image
visual angle
depth map
matching system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310049760.7A
Other languages
English (en)
Other versions
CN103986923A (zh
Inventor
谢明得
杨得炜
朱立家
王宗仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QIJING PHOTOELECTRICITY CO Ltd
Himax Technologies Ltd
Original Assignee
QIJING PHOTOELECTRICITY CO Ltd
Himax Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QIJING PHOTOELECTRICITY CO Ltd, Himax Technologies Ltd filed Critical QIJING PHOTOELECTRICITY CO Ltd
Priority to CN201310049760.7A priority Critical patent/CN103986923B/zh
Publication of CN103986923A publication Critical patent/CN103986923A/zh
Application granted granted Critical
Publication of CN103986923B publication Critical patent/CN103986923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明是有关于一种影像立体匹配系统，包含至少一个立体匹配单元（SMU），每一个立体匹配单元接收视角对（view？pair）的第一视角与第二视角，据以产生第一视角的第一深度图。反向追踪器接收第一深度图，据以得到第二视角的第二深度图。借由本发明，能够降低电路面积及时间延迟，或/且使用可调适视窗尺寸以改善深度图。

Description

影像立体匹配系统
技术领域
本发明是有关于三维成像，特别是关于具可调适视窗尺寸的立体匹配(stereomatching)系统。
背景技术
三维成像技术利用二偏位影像(亦即，左影像及右影像)于观者大脑结合形成三维深度感知，用以产生、增强或记录影像的深度假像。
立体匹配是立体三维调整(stereo3Dadjustment)、多视角成像(multi-viewrendering)、自由视角系统(freeviewpointsystem)等各种应用的核心技术。图1显示传统影像立体匹配系统100于二视角应用的方框图。如图1所示，使用二个立体匹配单元(SMU)11A与11B以分别得到左(L)影像与右(R)影像的深度图。由于立体匹配单元11A与11B所需计算量庞大，因此会占用大电路面积或造成时间延迟。
此外，在传统立体匹配系统中，执行立体匹配的匹配视窗具固定正方形视窗尺寸。如果视窗尺寸设得太小，通常会得到噪声大的深度图。反过来说，如果视窗尺寸设得太大，通常会得到具模糊边缘的深度图。
因此亟需提出一种新颖的影像立体匹配系统，用以克服传统三维系统的缺点。
由此可见，上述现有的传统三维系统在结构与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般产品又没有适切结构能够解决上述问题，此显然是相关业者急欲解决的问题。
发明内容
本发明的目的在于提出一种影像立体匹配系统，用以降低电路面积及时间延迟，或/且使用可调适视窗尺寸以改善深度图。
本发明的目的及解决其技术问题是采用以下技术方案来实现的。本发明一种影像立体匹配系统，包含至少一个立体匹配单元(SMU)、反向追踪器、影像缓冲器、边缘侦测器及纹理密度单元。每一个立体匹配单元接收视角对(viewpair)的第一视角与第二视角，该立体匹配单元据以产生第一视角的第一深度图。反向追踪器接收第一深度图，据以得到第二视角的第二深度图。影像缓冲器用以存放像素值。边缘侦测器用以得到该第一视角的边缘讯息。纹理密度单元将该边缘讯息与至少一个密度临界值作比较，以决定该第一视角与该第二视角的匹配视窗的视窗尺寸。
本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
较佳的，前述的影像立体匹配系统，其中该第一视角与该第二视角分别包含左影像与右影像。
较佳的，前述的影像立体匹配系统，其中该第一深度图的产生是经由该立体匹配单元决定该第一视角与该第二视角的匹配视窗之间的相似度指标。
较佳的，前述的影像立体匹配系统，其中该相似度指标包含绝对差值和(SAD)。
较佳的，前述的影像立体匹配系统，其中该立体匹配单元更产生多个匹配视窗之间的视差。
较佳的，前述的影像立体匹配系统，其中该第二深度图的获得是将该第一深度图的深度数据映射至该第二视角的相应匹配视窗，且该相应匹配视窗依该视差而移位。
较佳的，前述的影像立体匹配系统，其更包含补偿单元，用以填补该第二深度图的至少一个孔洞区域。
较佳的，前述的影像立体匹配系统，其中该补偿单元根据该第二深度图的孔洞区域的邻近区域的深度值，执行内插以建构深度值给该孔洞区域。
较佳的，前述的影像立体匹配系统，其中该补偿单元根据该第二深度图的孔洞区域的邻近区域的深度值，执行外插以建构深度值给该孔洞区域。
较佳的，前述的影像立体匹配系统，其中该匹配视窗的尺寸根据该第一视角的纹理密度而动态改变。
较佳的，前述的影像立体匹配系统，其中该边缘侦测器包含索贝尔(Sobel)滤波器。
较佳的，前述的影像立体匹配系统，其中该边缘讯息包含边缘图的区域直方图(histogram)，提供给该纹理密度单元以产生纹理密度，该纹理密度再与该密度临界值作比较。
较佳的，前述的影像立体匹配系统，其中该纹理密度愈大则分派愈小的视窗，根据所分派的视窗，该影像缓冲器当中被所分派视窗所涵盖的像素值被送至该立体匹配单元以进行处理。
较佳的，前述的影像立体匹配系统，其更包含线缓冲器，当纹理密度小于预设密度临界值而表示为平坦区域时，则将该影像缓冲器所存放的像素值重新组合后存放于该线缓冲器。
借由上述技术方案，本发明影像立体匹配系统至少具有下列优点及有益效果：借由本发明，能够降低电路面积及时间延迟，或/且使用可调适视窗尺寸以改善深度图。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1显示传统影像立体匹配系统于二视角应用的方框图。
图2显示本发明实施例的影像立体匹配系统的方框图。
图3显示右影像的深度图的产生。
图4显示多视角应用的影像立体匹配系统的方框图。
图5显示本发明实施例的提供可调适左影像的视窗尺寸给立体匹配单元(图2)的系统方框图。
【主要元件符号说明】
100：影像立体匹配系统
11A：(左影像)立体匹配单元
11B：(右影像)立体匹配单元
200：影像立体匹配系统
21：立体匹配单元
22：反向追踪器
23：补偿单元
31：(左影像)匹配视窗
32：(右影像)匹配视窗
500：提供可调适视窗尺寸的系统
51：边缘侦测器
52：纹理密度单元
53：影像缓冲器
54：线缓冲器
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种影像立体匹配系统的具体实施方式、结构、特征及其功效，详细说明如后。
图2显示本发明实施例的影像立体匹配系统200的方框图。虽然本实施例以二视角(亦即，左视角及右视角)结构作为例示，然而本发明可适用于多视角的应用。本实施例的系统200可使用积体电路来实施，也可执行于数字影像处理器。
如图2所示，影像立体匹配系统200包含立体匹配单元(SMU)21，其接收左(L)影像及右(R)影像，借以产生左影像的深度图。一般来说，在多视角的应用中，立体匹配单元21产生第一视角的第一深度图。在本实施例中，深度图的产生可经由决定左影像与右影像的匹配视窗之间的相似度指标(例如绝对差值和(SAD))。如图3所例示，决定左影像的匹配视窗31与右影像的相应匹配视窗32之间的最小SAD，则可得到匹配视窗31与32之间的视差(disparity)。移动匹配视窗31与32于整个图框(frame)以决定其相似度，因而可以得到左影像的深度图。在本实施例中，匹配视窗指立体匹配单元21目前接收并处理的左影像或右影像的影像区域的像素。
再参阅图2，影像立体匹配系统200包含反向追踪器(backwardtracer)22，其接收视差及左深度图，据以得到右影像的深度图。一般来说，在多视角的应用中，反向追踪器22可得到第二视角的第二深度图。详而言之，左影像的深度图的深度数据被映射(或反向追踪)至右影像的相应匹配视窗，且该相应匹配视窗依视差而移位，因而得到右影像的深度图。由于本实施例不需使用计算量庞大的SAD以得到右影像的深度图，因而可以减少大量的电路面积(例如省略右影像的立体匹配单元)且可大量加快处理速度。
有时候，右影像的部分像素无法得到匹配深度值，因此所得到的右深度图会有孔洞区域的情形。根据本实施例的另一特征，影像立体匹配系统200可包含补偿单元23，用以填补或修补右深度图的至少一个孔洞区域，因而得到补偿右深度图。在实施例中，可使用内插技术并根据邻近区域的深度值以建构孔洞区域(特别是窄的孔洞区域)的深度值。例如，将邻近孔洞区域的邻近区域的深度值予以平均，作为建构深度值以填补孔洞区域。在另一实施例中，可使用外插技术并根据邻近区域的深度值以建构孔洞区域(特别是宽的孔洞区域)的深度值。例如，使用邻近孔洞区域的邻近区域的深度值作为建构深度值，以填补孔洞区域。
上述二视角应用的实施例可推广适用于多视角的应用，如图4所示。对于二视角对(pair)的每一视角或影像(例如视角0与视角1)，使用单一立体匹配单元21(例如SMU0)以产生第一视角的第一深度图(例如，深度图0)，并得到第二视角的第二深度图(例如，深度图1)。类似的情形，其他视角对(例如，视角2-视角3、视角4-视角5、视角6-视角7)分别使用SMU1-SMU3来处理，以分别产生第一深度图(例如，深度图2、深度图4、深度图6)并分别得到第二深度图(例如，深度图3、深度图5、深度图7)。
根据本实施例的又一特征，上述匹配视窗的尺寸可根据左影像的纹理密度(texturedensity)而调适地或动态地改变。图5显示本发明实施例的提供可调适左影像的视窗尺寸给立体匹配单元21(图2)的系统500方框图。在本实施例中，提供可调适视窗尺寸的系统500包含边缘侦测器51(例如索贝尔(Sobel)滤波器)，用以获得左影像的边缘讯息。纹理密度单元52将边缘讯息与至少一个密度临界值作比较，以决定视窗尺寸。
在实施例中，自边缘侦测器51得到的边缘图的区域直方图(histogram)提供给纹理密度单元52，以产生纹理密度。纹理密度再与三密度临界值(例如，由小至大依序为第一密度临界值、第二密度临界值、第三密度临界值)作比较。当纹理密度大于第一密度临界值但小于第二密度临界值，则分派大视窗尺寸(例如，7x7视窗)。当纹理密度大于第二密度临界值但小于第三密度临界值，则分派中视窗尺寸(例如，5x5视窗)。当纹理密度大于第三密度临界值，则分派小视窗尺寸(例如，3x3视窗)。一般来说，纹理密度愈大则分派愈小的视窗。根据所分派的视窗，影像缓冲器53当中被视窗所涵盖的像素值被送至立体匹配单元21(图2)以进行处理。虽然上述实施例以正方形视窗作为例示，然而也可以使用矩形视窗。
根据本实施例的再一特征，当纹理密度小于第一密度临界值时，表示匹配视窗附近为平坦区域，则将影像缓冲器53(例如大视窗尺寸)所存放的像素值重新组合后存放于线缓冲器54。存放于线缓冲器54(而非影像缓冲器53)的像素值则被送至立体匹配单元21以进行处理。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (14)

1.一种影像立体匹配系统，其特征在于其包含：
至少一个立体匹配单元，每一个该立体匹配单元接收视角对的第一视角与第二视角，该立体匹配单元据以产生第一视角的第一深度图；
反向追踪器，接收该第一深度图，据以得到第二视角的第二深度图；
影像缓冲器，用以存放像素值；
边缘侦测器，用以得到该第一视角的边缘讯息；及
纹理密度单元，将该边缘讯息与至少一个密度临界值作比较，以决定该第一视角与该第二视角的匹配视窗的视窗尺寸。
2.根据权利要求1所述的影像立体匹配系统，其特征在于其中该第一视角与该第二视角分别包含左影像与右影像。
3.根据权利要求1所述的影像立体匹配系统，其特征在于其中该第一深度图的产生是经由该立体匹配单元决定该第一视角与该第二视角的匹配视窗之间的相似度指标。
4.根据权利要求3所述的影像立体匹配系统，其特征在于其中该相似度指标包含绝对差值和。
5.根据权利要求3所述的影像立体匹配系统，其特征在于其中该立体匹配单元更产生多个匹配视窗之间的视差。
6.根据权利要求5所述的影像立体匹配系统，其特征在于其中该第二深度图的获得是将该第一深度图的深度数据映射至该第二视角的相应匹配视窗，且该相应匹配视窗依该视差而移位。
7.根据权利要求1所述的影像立体匹配系统，其特征在于其更包含补偿单元，用以填补该第二深度图的至少一个孔洞区域。
8.根据权利要求7所述的影像立体匹配系统，其特征在于其中该补偿单元根据该第二深度图的孔洞区域的邻近区域的深度值，执行内插以建构深度值给该孔洞区域。
9.根据权利要求7所述的影像立体匹配系统，其特征在于其中该补偿单元根据该第二深度图的孔洞区域的邻近区域的深度值，执行外插以建构深度值给该孔洞区域。
10.根据权利要求3所述的影像立体匹配系统，其特征在于其中该匹配视窗的尺寸根据该第一视角的纹理密度而动态改变。
11.根据权利要求1所述的影像立体匹配系统，其特征在于其中该边缘侦测器包含索贝尔滤波器。
12.根据权利要求1所述的影像立体匹配系统，其特征在于其中该边缘讯息包含边缘图的区域直方图，提供给该纹理密度单元以产生纹理密度，该纹理密度再与该密度临界值作比较。
13.根据权利要求12所述的影像立体匹配系统，其特征在于其中该纹理密度愈大则分派愈小的视窗，根据所分派的视窗，该影像缓冲器当中被所分派视窗所涵盖的像素值被送至该立体匹配单元以进行处理。
14.根据权利要求12所述的影像立体匹配系统，其特征在于其更包含线缓冲器，当纹理密度小于预设密度临界值而表示为平坦区域时，则将该影像缓冲器所存放的像素值重新组合后存放于该线缓冲器。
CN201310049760.7A 2013-02-07 2013-02-07 影像立体匹配系统 Active CN103986923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310049760.7A CN103986923B (zh) 2013-02-07 2013-02-07 影像立体匹配系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310049760.7A CN103986923B (zh) 2013-02-07 2013-02-07 影像立体匹配系统

Publications (2)

Publication Number Publication Date
CN103986923A CN103986923A (zh) 2014-08-13
CN103986923B true CN103986923B (zh) 2016-05-04

Family

ID=51278737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310049760.7A Active CN103986923B (zh) 2013-02-07 2013-02-07 影像立体匹配系统

Country Status (1)

Country Link
CN (1) CN103986923B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389038A (zh) * 2008-09-28 2009-03-18 湖北科创高新网络视频股份有限公司 一种基于宏块分类的视频差错掩盖的方法和装置
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101754042A (zh) * 2008-10-30 2010-06-23 华为终端有限公司 图像重构方法和图像重构系统
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN102307307A (zh) * 2011-05-19 2012-01-04 福州华映视讯有限公司 产生立体影片深度图的方法
CN102682429A (zh) * 2012-04-13 2012-09-19 泰山学院 一种尺寸自适应块匹配变换域滤波图像去噪方法
CN102685523A (zh) * 2011-03-18 2012-09-19 联发科技股份有限公司 深度信息产生器、深度信息产生方法及深度调整装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389038A (zh) * 2008-09-28 2009-03-18 湖北科创高新网络视频股份有限公司 一种基于宏块分类的视频差错掩盖的方法和装置
CN101754042A (zh) * 2008-10-30 2010-06-23 华为终端有限公司 图像重构方法和图像重构系统
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN102685523A (zh) * 2011-03-18 2012-09-19 联发科技股份有限公司 深度信息产生器、深度信息产生方法及深度调整装置
CN102307307A (zh) * 2011-05-19 2012-01-04 福州华映视讯有限公司 产生立体影片深度图的方法
CN102682429A (zh) * 2012-04-13 2012-09-19 泰山学院 一种尺寸自适应块匹配变换域滤波图像去噪方法

Also Published As

Publication number Publication date
CN103986923A (zh) 2014-08-13

Similar Documents

Publication Publication Date Title
JP6563453B2 (ja) 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成
US9171373B2 (en) System of image stereo matching
US9525858B2 (en) Depth or disparity map upscaling
KR101452172B1 (ko) 깊이―관련 정보를 처리하기 위한 방법, 장치 및 시스템
CN102077244B (zh) 用于在基于至少两个图像而估算的深度图或视差图的掩蔽域中进行填充的方法和装置
Jang et al. Efficient disparity map estimation using occlusion handling for various 3D multimedia applications
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
Riechert et al. Real-time disparity estimation using line-wise hybrid recursive matching and cross-bilateral median up-sampling
Zhu et al. An improved depth image based virtual view synthesis method for interactive 3D video
CN109644280B (zh) 生成场景的分层深度数据的方法
Feng et al. Asymmetric bidirectional view synthesis for free viewpoint and three-dimensional video
Liu et al. Hole-filling based on disparity map and inpainting for depth-image-based rendering
CN103986923B (zh) 影像立体匹配系统
US9787980B2 (en) Auxiliary information map upsampling
Muddala et al. Disocclusion handling using depth-based inpainting
Hosseinpour et al. View synthesis for FTV systems based on a minimum spatial distance and correspondence field
Wolinski et al. 3D view synthesis with inter-view consistency
Lü et al. Virtual view synthesis for multi-view 3D display
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation
Tran et al. View synthesis with depth information based on graph cuts for FTV
Wang et al. Depth image segmentation for improved virtual view image quality in 3-DTV
Bodington et al. Rendering of stereoscopic 360 views from spherical image pairs
Ming et al. A Novel Method of Multi-view Virtual Image Synthesis for Auto-stereoscopic Display
Jayachandran et al. Application of exemplar-based inpainting in depth image based rendering
Tran et al. Depth based view synthesis using graph cuts for 3DTV

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant