CN106254850B - 双视点立体视频的图像匹配方法及装置 - Google Patents
双视点立体视频的图像匹配方法及装置 Download PDFInfo
- Publication number
- CN106254850B CN106254850B CN201610710517.9A CN201610710517A CN106254850B CN 106254850 B CN106254850 B CN 106254850B CN 201610710517 A CN201610710517 A CN 201610710517A CN 106254850 B CN106254850 B CN 106254850B
- Authority
- CN
- China
- Prior art keywords
- matching
- matching cost
- cost
- image
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 208000003164 Diplopia Diseases 0.000 title abstract 2
- 208000029444 double vision Diseases 0.000 title abstract 2
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 229910002056 binary alloy Inorganic materials 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 239000003086 colorant Substances 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003631 expected effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开一种双视点立体视频的图像匹配方法及装置,其中,该方法包括:获取左眼及右眼两路视频,并提取出感兴趣的图像帧;预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点;根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价;找出与多组匹配代价最小的匹配对并得到对应的稠密视差图,以及对稠密视差图进行优化。本发明的技术方案能够获取精确快速的稠密视差图,为用户提供精确的数字信息。
Description
技术领域
本发明涉及立体图像处理技术领域,尤其涉及一种双视点立体视频的图像匹配方法及装置。
背景技术
目前,立体视频采集设备通过双目摄像机对两组光学系统中场景进行采集,获取场景的左右视图,并显示在立体显示器上,用户佩戴3D眼镜就可以观看到立体场景。这样可以改善用户的视野,增强观看的立体效果,可以获取更为丰富的场景信息。但是立体视频的应用中,如果要实现数字化功能,获取场景的左右视图后,就不能停留在获取立体观看效果上,需要进一步的对获取的图像进行分析,提取出其中丰富的信息,以为用户提供更为精确的数字信息。
现有技术中立体视频的深度信息获取,给视觉应用带来了很大的变化,无论是从工业检测还是在医疗手术的效率及安全性提高上都有了很大的进步。通过立体深度信息,用户在应用中可以获取更好的视觉体验,更逼真的立体画面,进而得到观察区域的精确信息,提高了用户对观察区的了解,也为量化判断提供了更多的支持。该深度信息可通过视场的稠密视差图来获取。稠密的视差图可以用来三维重建。由于当前立体视频图片分辨率较高,在应用中对系统又有实时性需求,立体匹配算法将是三维重建的基础问题,也是一个难点。
发明内容
本发明的主要目的是提供一种双视点立体视频的图像匹配方法,能够获取精确快速的稠密视差图,为用户提供精确的数字信息。
为实现上述目的,本发明采用的一个技术方案为:提供一种双视点立体视频的图像匹配方法,包括如下步骤:
获取左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧;
预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点;
根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价;
找出与多组匹配代价最小的匹配对并得到对应的稠密视差图,以及对稠密视差图进行优化。
优选地,所述获取左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧的步骤,具体包括:
矫正采集的左眼及右眼两路视频;
获取矫正的左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧。
优选地,所述预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点的步骤,具体包括:
预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并从左眼图像中选出一像素点作为目标像素点;
计算出根据目标像素点的色彩匹配代价,且当该目标像素点的色彩匹配代价小于视差域值的范围时,并从右眼图像寻找出与目标像素点对应的候选的匹配点。
优选地,所述根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价的步骤,具体包括:
分别以目标像素点与候选的匹配点的中心域构建支持窗口,并计算支持窗口内的所有像素点的色彩匹配代价;
分别以目标像素点与候选的匹配点的中心域构建变换窗口,并计算两个变换窗口的结构差异以得出局部关联匹配代价;
分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量,并计算出局部梯度匹配代价;
根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并根据总的代价函数计算出匹配代价。
优选地,所述找出与多组匹配代价最小的匹配对并得到对应的稠密视差图,以及对稠密视差图进行优化的步骤,具体包括:
从匹配代价中筛选出匹配代价最小的匹配对,并根据多组最小匹配对的视差值形成稠密视差图;
调整局部关联匹配代价以及局部梯度匹配代价的参数,以优化稠密视差图。
为实现上述目的,本发明采用的另一个技术方案为:提供一种双视点立体视频的图像匹配装置,包括:
获取模块,用于获取左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧;
预估模块,用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点;
函数构造模块,用于根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价;
优化模块,用于找出与多组匹配代价最小的匹配对并得到对应的稠密视差图,以及对稠密视差图进行优化。
优选地,所述获取模块,包括:
矫正单元,用于矫正采集的左眼及右眼两路视频;
获取单元,用于获取矫正的左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧。
优选地,所述预估模块,包括:
预设单元,用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并从左眼图像中选出一像素点作为目标像素点;
匹配单元,用于计算出根据目标像素点的色彩匹配代价,且当该目标像素点的色彩匹配代价小于视差域值的范围时,并从右眼图像寻找出与目标像素点对应的候选的匹配点。
优选地,所述函数构造模块,包括:
第一计算单元,用于分别以目标像素点与候选的匹配点的中心域构建支持窗口,并计算支持窗口内的所有像素点的色彩匹配代价;
第二计算单元,用于分别以目标像素点与候选的匹配点的中心域构建变换窗口,并计算两个变换窗口的结构差异以得出局部关联匹配代价;
第三计算单元,用于分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量,并计算出局部梯度匹配代价;
匹配代价计算单元,用于根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并根据总的代价函数计算出匹配代价。
优选地,所述优化模块,包括:
筛选单元,用于从匹配代价中筛选出匹配代价最小的匹配对,并根据多组最小匹配对的视差值形成稠密视差图;
优化单元,用于调整局部关联匹配代价以及局部梯度匹配代价的参数,以优化稠密视差图。
本发明的技术方案通过获取左眼及右眼两路视频并提取出感兴趣的图像帧;以及预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并找出与目标像素点对应的候选的匹配点;以及根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价;能够得出找出与多组匹配代价最小的匹配对应的稠密视差图,并通过对对稠密视差图进行优化,获取精确快速的稠密视差图,为用户提供精确的数字信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明双视点立体视频的图像匹配方法一实施例的方法流程图;
图2为图1中步骤S30的具体流程图;
图3为本发明双视点立体视频的图像匹配装置一实施例的模块方框图;
图4为图3中函数构造模块的具体模块方框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
请参照图1,在本发明实施例中,该双视点立体视频的图像匹配方法,包括如下步骤:
步骤S10、获取左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧;
步骤S20、预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点;
步骤S30、根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价;
步骤S40、找出与多组匹配代价最小的匹配对并得到对应的稠密视差图,以及对稠密视差图进行优化。
本发明的技术方案通过获取左眼及右眼两路视频并提取出感兴趣的图像帧;以及预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并找出与目标像素点对应的候选的匹配点;以及根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价;能够得出找出与多组匹配代价最小的匹配对应的稠密视差图,并通过对对稠密视差图进行优化,获取精确快速的稠密视差图,为用户提供精确的数字信息。
在一具体的实施例中,所述步骤S10具体包括:
矫正采集的左眼及右眼两路视频;
获取矫正的左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧。
本实施例中,可以通过立体视频生成设备的双目摄像头采集左眼及右眼两路视频,需要注意的是,为了使两路视频达到预期的效果,需要对该左眼及右眼的摄像头的内参数和外参数进行调整以获取矫正的左眼及右眼两路视频。该感兴趣的图像帧具体为重合可形成3D图像帧,亦可为可被观察到的图像区域。
在一具体的实施例中,所述步骤20具体包括:
预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并从左眼图像中选出一像素点作为目标像素点;
计算出根据目标像素点的色彩匹配代价,且当该目标像素点的色彩匹配代价小于视差域值的范围时,并从右眼图像寻找出与目标像素点对应的候选的匹配点。
本实施例中,考虑到图像的分辨率很高,在实际中,快速获取场景的深度信息,对用户来说具有很大的意义。并且由于相邻场景深度变化有限,有效地估算视差域值,在合适的视差值范围内,计算匹配代价,以获取快速精确地匹配点对。以左眼图像为参考图,右眼图像为目标图为例,可以利用色彩信息对左眼图像中的每一个像素点在右眼图像中寻找候选的匹配点,具体计算公式如下:
其中,P表示左眼图像中像素点,q表示右眼图像中位于同一水平线上的像素点,遍历右图中该行像素点,求出代价函数值小于视差阈值TΤ时对应的候选像素点。TΤ的值可以随实际需要来选取。若想提高精度,则增加TΤ,这样候选的匹配点增多,减小了误匹配的可能性。反之,若想提高算法的速度,可以适当减小TΤ的值,以提高算法的运行速度。
请参照图2,在一具体实施例中,所述步骤30具体包括:
步骤S31、分别以目标像素点与候选的匹配点的中心域构建支持窗口,并计算支持窗口内的所有像素点的色彩匹配代价;
步骤S32、分别以目标像素点与候选的匹配点的中心域构建变换窗口,并计算两个变换窗口的结构差异以得出局部关联匹配代价;
步骤S33、分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量,并计算出局部梯度匹配代价;
步骤S34、根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并根据总的代价函数计算出匹配代价。
本实施例中,步骤S31计算出本算法构造的匹配代价函数的第一项AD(AbsoluteDifference),像素点之间的色彩差异,具体公式如下:
其中,P表示左图中以p点为中心建立的支持窗口,Q表示右图中以q点为中心建立的支持窗口。需要指出的,如果单计算两个像素点间的色彩差异,结果误差会比较大,故采用该像素点的中心域来计算。
步骤S32计算出本算法构造的匹配代价函数的第二项Census变换,局部关联匹配代价,具体为:
先分别以p,q两点为中心,建立变换尺寸为M*N的变换窗口,分别用两个长度为(N*M-1)位的二进制表示Census变换得到的Hamming距离;
然后将支持窗口中的各个像素化成灰度表示,其中N1(p)表示以P点为中心选定的Census变换的窗口,大小设为M*N,对于其中每个像素点,计算灰度强度,计算公式如下:
gray(pi)=R(pi)*0.299+G(pi)*0.587+B(pi)*0.114,
pi∈N1(p),
并计算M*N窗口经Census变换得到新的矩阵C,计算公式如下:
对于Census变换的结果用长为(M*N-1)bit的二进制序列表示,采用自上而下自左向右的扫描顺序,当C矩阵中的元素为1时,对应位置的二进制数就为1,如此得到长为M*N-1位的二进制序列表;
再,求出左眼图像和右眼图像的Census变换结果后,求出二者之间的差异,即可表示两个Census变换窗口的结构差异,用Hamming距离来表示这个差异。该Hamming距离是指两个等长字符串对应位置的不同字符的个数;
最后,计算出局部关联匹配代价,具体为:
其中,P,Q分别表示左右图中以p和q为中心的Cencus变换窗口,C(p),C(q)表示变化后的矩阵C,二者按位比较,如果对应位相同,则函数Diff(x)为1,反之为0,即可得到Cencus变换后,左右图中p,q两像素点的局部结构相似性。
步骤S33计算出本算法构造的匹配代价函数的第三项Gradient变换,局部梯度匹配代价,具体为:求出像素点在水平方向x和在垂直方向y上的梯度向量,作为局部的梯度信息,具体公式如下:
其中,表示点在x和y方向的梯度。梯度用像素点的灰度值来求得。
步骤S34计算出本算法构造的匹配代价函数,具体公式如下:
costAll=costAD+λcostCencus +μcostGradient
其中,λ,μ为常数值,在后续的步骤中,可根据稠密视差图的质量不断调整二者的值,以期获取合适的权值。
在一具体的实施例中,所述步骤S40具体包括:
从匹配代价中筛选出匹配代价最小的匹配对,并根据多组最小匹配对的视差值形成稠密视差图;
调整局部关联匹配代价以及局部梯度匹配代价的参数,以优化稠密视差图。
本实施例中,在求出匹配代价后可根据Winners-Take-All算法,找到匹配代价最小的匹配对,匹配对在x坐标的差异即为匹配点对的视差值。本步骤中将对λ,μ进行不断的修正,以期获取质量较高的视差图。具体调整如下:采用人工交互的方式,定性判断视差图在深度不连续,纹理较少或纹理重复区域的视差值,看其是否平滑,采取控制变量法,先控制其中一个参数,改变另一个参数,分析其对视差图的影响,以期得到质量较优的结果。
请参照图3,在本发明的实施例中,该双视点立体视频的图像匹配装置,包括:
获取模块10,用于获取左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧;
预估模块20,用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点;
函数构造模块30,用于根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价;
优化模块40,用于找出与多组匹配代价最小的匹配对并得到对应的稠密视差图,以及对稠密视差图进行优化。
在一具体的实施例中,所述获取模块10,包括:
矫正单元,用于矫正采集的左眼及右眼两路视频;
获取单元,用于获取矫正的左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧。
本实施例中,利用立体视频生成设备的双目摄像头采集左眼及右眼两路视频,需要注意的是,为了使两路视频达到预期的效果,通过矫正单元可以对该左眼及右眼的摄像头的内参数和外参数进行调整,并通过获取单元可以获取矫正的左眼及右眼两路视频。该感兴趣的图像帧具体为重合可形成3D图像帧,亦可为可被观察到的图像区域。
在一具体的实施例中,所述预估模块20,包括:
预设单元,用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并从左眼图像中选出一像素点作为目标像素点;
匹配单元,用于计算出根据目标像素点的色彩匹配代价,且当该目标像素点的色彩匹配代价小于视差域值的范围时,并从右眼图像寻找出与目标像素点对应的候选的匹配点。
本实施例中,考虑到图像的分辨率很高,在实际中,快速获取场景的深度信息,对用户来说具有很大的意义。并且由于相邻场景深度变化有限,有效地估算视差域值,在合适的视差值范围内,计算匹配代价,以获取快速精确地匹配点对。以左眼图像为参考图,右眼图像为目标图为例,可以利用色彩信息对左眼图像中的每一个像素点在右眼图像中寻找候选的匹配点。需要指出的是,本方案仅考虑的是左眼图像为参考图,右眼图像为目标图的情况。实际上,当右眼图像为参考图,左眼图像为目标图情况正好相反,此处不再赘述。
请参照图4,在一具体的实施例中,所述函数构造模块30,包括:
第一计算单元31,用于分别以目标像素点与候选的匹配点的中心域构建支持窗口,并计算支持窗口内的所有像素点的色彩匹配代价;
第二计算单元32,用于分别以目标像素点与候选的匹配点的中心域构建变换窗口,并计算两个变换窗口的结构差异以得出局部关联匹配代价;
第三计算单元33,用于分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量,并计算出局部梯度匹配代价;
匹配代价计算单元34,用于根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并根据总的代价函数计算出匹配代价。
本实施例中,通过第一计算单元31、第二计算单元32、第三计算单元33可以分别计算出所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价,并通过匹配代价计算单元34能够计算出总的匹配代价。
在一具体的实施例中,所述优化模块40,包括:
筛选单元,用于从匹配代价中筛选出匹配代价最小的匹配对,并根据多组最小匹配对的视差值形成稠密视差图;
优化单元,用于调整局部关联匹配代价以及局部梯度匹配代价的参数,以优化稠密视差图。
本实施例中,在求出匹配代价后,通过筛选单元根据Winners-Take-All算法,找到匹配代价最小的匹配对,匹配对在x坐标的差异即为匹配点对的视差值。然后通过优化单元将对λ,μ进行不断的修正,以期获取质量较高的视差图。具体调整如下:采用人工交互的方式,定性判断视差图在深度不连续,纹理较少或纹理重复区域的视差值,看其是否平滑,采取控制变量法,先控制其中一个参数,改变另一个参数,分析其对视差图的影响,以期得到质量较优的结果。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (6)
1.一种双视点立体视频的图像匹配方法,其特征在于,包括如下步骤:
获取左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧;
预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点;
根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价,具体包括:
分别以目标像素点与候选的匹配点的中心域构建支持窗口,并计算支持窗口内的所有像素点的色彩匹配代价;
分别以目标像素点与候选的匹配点的中心域构建变换窗口,并计算两个变换窗口的结构差异以得出局部关联匹配代价,具体包括:先分别以p,q两点为中心,建立变换尺寸为M*N的变换窗口,分别用两个长度为(N*M-1)位的二进制表示Census变换得到的Hamming距离;将支持窗口中的各个像素化成灰度表示,并计算灰度强度以及M*N窗口经Census变换得到新的矩阵C,以求出左眼图像和右眼图像的Census变换结果,并用Hamming距离表示两个Census变换窗口的结构差异;求出左眼图像和右眼图像的Census变换结果之间的差异,具体为:
对于Census变换的结果用长为(M*N-1)bit的二进制序列表示,采用自上而下自左向右的扫描顺序,当C矩阵中的元素为1时,对应位置的二进制数就为1,如此得到长为M*N-1位的二进制序列表;计算出局部关联匹配代价,具体为:
其中,P,Q分别表示左右图中以p和q为中心的Cencus变换窗口,C(p),C(q)表示变化后的矩阵C,二者按位比较,如果对应位相同,则函数Diff(x)为1,反之为0;
分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量,并计算出局部梯度匹配代价;
根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并根据总的代价函数计算出匹配代价;
找出与多组匹配代价最小的匹配对并得到对应的稠密视差图,以及对稠密视差图进行优化,具体包括,从匹配代价中筛选出匹配代价最小的匹配对,并根据多组最小匹配对的视差值形成稠密视差图;调整局部关联匹配代价以及局部梯度匹配代价的参数,以优化稠密视差图。
2.如权利要求1所述双视点立体视频的图像匹配方法,其特征在于,所述获取左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧的步骤,具体包括:
矫正采集的左眼及右眼两路视频;
获取矫正的左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧。
3.如权利要求1所述双视点立体视频的图像匹配方法,其特征在于,所述预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点的步骤,具体包括:
预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并从左眼图像中选出一像素点作为目标像素点;
计算出根据目标像素点的色彩匹配代价,且当该目标像素点的色彩匹配代价小于视差域值的范围时,并从右眼图像寻找出与目标像素点对应的候选的匹配点。
4.一种双视点立体视频的图像匹配装置,其特征在于,包括:
获取模块,用于获取左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧;
预估模块,用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点;
函数构造模块,用于根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并且根据总的代价函数计算出匹配代价,具体包括:
第一计算单元,用于分别以目标像素点与候选的匹配点的中心域构建支持窗口,并计算支持窗口内的所有像素点的色彩匹配代价;
第二计算单元,用于分别以目标像素点与候选的匹配点的中心域构建变换窗口,并计算两个变换窗口的结构差异以得出局部关联匹配代价,具体包括:先分别以p,q两点为中心,建立变换尺寸为M*N的变换窗口,分别用两个长度为(N*M-1)位的二进制表示Census变换得到的Hamming距离;将支持窗口中的各个像素化成灰度表示,并计算灰度强度以及M*N窗口经Census变换得到新的矩阵C,以求出左眼图像和右眼图像的Census变换结果,并用Hamming距离表示两个Census变换窗口的结构差异;求出左眼图像和右眼图像的Census变换结果之间的差异,具体为:
对于Census变换的结果用长为(M*N-1)bit的二进制序列表示,采用自上而下自左向右的扫描顺序,当C矩阵中的元素为1时,对应位置的二进制数就为1,如此得到长为M*N-1位的二进制序列表;计算出局部关联匹配代价,具体为:
其中,P,Q分别表示左右图中以p和q为中心的Cencus变换窗口,C(p),C(q)表示变化后的矩阵C,二者按位比较,如果对应位相同,则函数Diff(x)为1,反之为0;
第三计算单元,用于分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量,并计算出局部梯度匹配代价;
匹配代价计算单元,用于根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数,并根据总的代价函数计算出匹配代价;
优化模块,用于找出与多组匹配代价最小的匹配对并得到对应的稠密视差图,以及对稠密视差图进行优化,具体包括,筛选单元,用于从匹配代价中筛选出匹配代价最小的匹配对,并根据多组最小匹配对的视差值形成稠密视差图;优化单元,用于调整局部关联匹配代价以及局部梯度匹配代价的参数,以优化稠密视差图。
5.如权利要求4所述双视点立体视频的图像匹配装置,其特征在于,所述获取模块,包括:
矫正单元,用于矫正采集的左眼及右眼两路视频;
获取单元,用于获取矫正的左眼及右眼两路视频,并从左眼及右眼两路视频中提取出感兴趣的图像帧。
6.如权利要求4所述双视点立体视频的图像匹配装置,其特征在于,所述预估模块,包括:
预设单元,用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值,并从左眼图像中选出一像素点作为目标像素点;
匹配单元,用于计算出根据目标像素点的色彩匹配代价,且当该目标像素点的色彩匹配代价小于视差域值的范围时,并从右眼图像寻找出与目标像素点对应的候选的匹配点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610710517.9A CN106254850B (zh) | 2016-08-23 | 2016-08-23 | 双视点立体视频的图像匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610710517.9A CN106254850B (zh) | 2016-08-23 | 2016-08-23 | 双视点立体视频的图像匹配方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106254850A CN106254850A (zh) | 2016-12-21 |
CN106254850B true CN106254850B (zh) | 2019-06-04 |
Family
ID=57595083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610710517.9A Active CN106254850B (zh) | 2016-08-23 | 2016-08-23 | 双视点立体视频的图像匹配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106254850B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110533701A (zh) * | 2018-05-25 | 2019-12-03 | 杭州海康威视数字技术股份有限公司 | 一种图像视差确定方法、装置及设备 |
CN111383254A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 一种深度信息获取方法、系统及终端设备 |
CN113965742B (zh) * | 2021-02-28 | 2022-04-19 | 北京中科慧眼科技有限公司 | 基于多传感融合的稠密视差图提取方法、系统和智能终端 |
CN113807417B (zh) * | 2021-08-31 | 2023-05-30 | 中国人民解放军战略支援部队信息工程大学 | 基于深度学习视野自选择网络的密集匹配方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930530A (zh) * | 2012-09-26 | 2013-02-13 | 苏州工业职业技术学院 | 一种双视点图像的立体匹配方法 |
CN103167306A (zh) * | 2013-03-22 | 2013-06-19 | 上海大学 | 一种基于图像匹配的高分辨率深度图实时提取装置及方法 |
CN103220545A (zh) * | 2013-04-28 | 2013-07-24 | 上海大学 | 一种立体视频实时深度估计系统硬件实现方法 |
CN103310421A (zh) * | 2013-06-27 | 2013-09-18 | 清华大学深圳研究生院 | 针对高清图像对的快速立体匹配方法及视差图获取方法 |
CN105654493A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 一种改进的光学仿射不变双目立体匹配代价与视差优化方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102026013B (zh) * | 2010-12-18 | 2012-05-23 | 浙江大学 | 基于仿射变换的立体视频匹配方法 |
CN102368826A (zh) * | 2011-11-07 | 2012-03-07 | 天津大学 | 双视点视频到多视点视频的实时自适应生成方法 |
CN102665086B (zh) * | 2012-04-26 | 2014-03-05 | 清华大学深圳研究生院 | 利用基于区域的局部立体匹配获取视差的方法 |
CN102999913B (zh) * | 2012-11-29 | 2016-01-20 | 清华大学深圳研究生院 | 一种基于可信点传播的局部立体匹配方法 |
CN103325120A (zh) * | 2013-06-30 | 2013-09-25 | 西南交通大学 | 一种快速自适应支持权值双目视觉立体匹配方法 |
-
2016
- 2016-08-23 CN CN201610710517.9A patent/CN106254850B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930530A (zh) * | 2012-09-26 | 2013-02-13 | 苏州工业职业技术学院 | 一种双视点图像的立体匹配方法 |
CN103167306A (zh) * | 2013-03-22 | 2013-06-19 | 上海大学 | 一种基于图像匹配的高分辨率深度图实时提取装置及方法 |
CN103220545A (zh) * | 2013-04-28 | 2013-07-24 | 上海大学 | 一种立体视频实时深度估计系统硬件实现方法 |
CN103310421A (zh) * | 2013-06-27 | 2013-09-18 | 清华大学深圳研究生院 | 针对高清图像对的快速立体匹配方法及视差图获取方法 |
CN105654493A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 一种改进的光学仿射不变双目立体匹配代价与视差优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106254850A (zh) | 2016-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8063930B2 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
KR100720722B1 (ko) | 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치 | |
CN109308719B (zh) | 一种基于三维卷积的双目视差估计方法 | |
CN106254850B (zh) | 双视点立体视频的图像匹配方法及装置 | |
CN101516040B (zh) | 视频匹配方法、装置及系统 | |
WO2012086120A1 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
US20080199070A1 (en) | Three-dimensional image display apparatus and method for enhancing stereoscopic effect of image | |
Jung et al. | Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort | |
KR20100087685A (ko) | 깊이 영상의 품질 개선 방법 및 장치 | |
CN106981078B (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
US8659644B2 (en) | Stereo video capture system and method | |
US9769460B1 (en) | Conversion of monoscopic visual content to stereoscopic 3D | |
WO2010083713A1 (zh) | 一种视差计算方法及装置 | |
Kim et al. | Depth adjustment for stereoscopic image using visual fatigue prediction and depth-based view synthesis | |
CN102194231A (zh) | 图像处理方法及装置、图像分析装置 | |
JP2012079251A (ja) | 画像処理装置及び画像処理システム | |
US8970670B2 (en) | Method and apparatus for adjusting 3D depth of object and method for detecting 3D depth of object | |
KR101960577B1 (ko) | 뷰 공간에 관한 스테레오 정보를 송수신하는 방법 | |
US9113142B2 (en) | Method and device for providing temporally consistent disparity estimations | |
CN102802020B (zh) | 监测双目立体视频视差信息的方法和装置 | |
US10152803B2 (en) | Multiple view image display apparatus and disparity estimation method thereof | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
CN102547343B (zh) | 立体图像处理方法、立体图像处理装置和显示装置 | |
Orozco et al. | HDR multiview image sequence generation: Toward 3D HDR video | |
CN108712642B (zh) | 一种适用于立体视频的立体字幕添加位置自动选择方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |