CN102510506A - 一种基于双目图像和距离信息的虚实遮挡处理方法 - Google Patents
一种基于双目图像和距离信息的虚实遮挡处理方法 Download PDFInfo
- Publication number
- CN102510506A CN102510506A CN2011102998786A CN201110299878A CN102510506A CN 102510506 A CN102510506 A CN 102510506A CN 2011102998786 A CN2011102998786 A CN 2011102998786A CN 201110299878 A CN201110299878 A CN 201110299878A CN 102510506 A CN102510506 A CN 102510506A
- Authority
- CN
- China
- Prior art keywords
- binocular image
- image
- edge
- real
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提出了一种基于双目图像和距离信息的虚实遮挡处理方法,包括:基于双目图像物体边缘检测半遮挡现象;给出双目图像的光强阶跃与激光测距的距离阶跃、以及两种阶跃之间的映射关系;根据光强阶跃与距离阶跃之间的映射关系,确定双目图像和距离信息之间的空间坐标映射关系;利用激光测距补充双目图像的真实场景深度信息,在半遮挡区域内实现虚拟物体与真实物体之间的虚实遮挡处理。本发明可以广泛地应用于军事、航空、航天、教育、娱乐等领域的虚实融合场景生成。
Description
技术领域
本发明属于虚拟现实领域,具体地说是一种基于双目图像和距离信息的虚实遮挡处理方法。
背景技术
增强现实,是虚拟现实的进一步拓展,它借助必要的设备使计算机生成的虚拟环境与客观存在的真实环境共存于同一系统中,从感官上给用户呈现出虚拟对象与真实环境融为一体的增强现实环境。在利用视频图像描绘真实环境的增强现实系统中,虚实结合技术在获得真实环境信息的基础上,需要计算虚拟物体在视频图像中相应空间位置,确定虚拟物体与真实物体之间的遮挡关系,建立虚拟物体与真实环境融为一体的逼真场景。虚拟对象与真实物体的空间遮挡关系直接影响到用户对于虚实无缝融合的体验效果,所以,虚实遮挡处理是增强现实系统中虚实结合技术的重要组成部分。而实虚遮挡的判断则需要先获得虚拟对象、真实物体分别与观察者视点的距离,然后比较二者之间的大小
增强现实系统中虚实遮挡处理多采用计算机视觉的方法解决,传统视觉计算理论具有不确定性,其原因在于把三维世界投影成二维图像,然后通过建立起该图像数据与成像过程及景物特征的数学关系来恢复三维景物的,因而存在信息丢失问题,其中最重要的是深度信息。针对不确定问题,国外学者提出双目视觉方法加以补充。双目视觉理论建立在对人类视觉系统研究的基础上,通过双目立体图像的处理,获取场景的三维信息,其结果表现为深度图,再经过进一步处理就可得到三维空间中的景物,实现二维图像到三维空间的重构。双目视觉模型中,双摄像机彼此参数一致,光轴平行且垂直于基线,构成一共极性结构,这样做是为了缩小对应的搜索空间,只有水平方向的视差,简化了对应过程。
利用多种传感器的融合,来完善现有增强现实中的三维处理涉及到的各种问题,具有很现实的实用意义。在当前利用视频图像来描绘真实环境的增强现实系统中,需要确定真实环境中的物体在视频图像中的空间位置,再通过计算虚拟物体在视频图像中的相应空间位置,才能正确地表现二者之间的遮挡关系。虽然面向虚实遮挡处理的双目视觉方法可以计算真实场景的深度信息,但是却难以处理真实物体之间存在半遮挡现象的场景。可以利用距离传感器来补充半遮挡区域内的物体的深度信息。
当前对于场景深度处理通常采用双目视觉技术,而双目视觉技术必然会存在半遮挡现象。当重要目标出现在半遮挡区域时,纯粹的双目视觉已经无法满足需求。现有的对半遮挡问题的研究仅限于针对点的匹配,消除半遮挡带来的误差与噪声,没有从根本上去解决半遮挡问题。而基于视频设备的虚实遮挡处理,也并没有解决半遮挡问题,只是依赖利用空间关系,事先在场景上方添加摄像机等方式回避了半遮挡问题。基于多类传感器的虚实遮挡处理,也采用了相对较复杂的设备,并且对场景的事先布置也要求较高。丧失了双目视觉的简单与快速以及不需要事先布置场景的优点。本发明利用距离传感器,在必要的时候直接获取被遮挡区域目标的深度信息为双目视觉提供补充信息。从而既保持双目视觉的被动及快速的优势,又不过分增加设备的复杂性,更好地完成了虚实遮挡处理。
发明内容
本发明的目标是提供一种基于双目图像和距离信息的虚实遮挡处理方法,基于双目图像匹配及多传感器配准的技术,实现在增强现实环境中的进行虚实遮挡处理,解决双目视觉固有的半遮挡问题。本发明的重点是如何根据双目图像物体边缘确定物体间的半遮挡现象,如何利用激光测距补充基于双目图像的真实场景深度信息,为虚实融合场景生成奠定基础。
本发明采用的技术方案是:首先,通过检测双目图像获得真实物体的边缘信息,提取每一个边缘点对应的若干边缘像素(包括位于边缘两侧的像素),并且将两幅图像的边缘像素进行灰度匹配,判断真实物体之间是否存在半遮挡现象;其次,利用双目图像和激光测距分别确定光强阶跃集合与距离阶跃集合,根据阶跃之间的距离,将光强阶跃集合与距离阶跃集合进行匹配,基于能量函数计算每次匹配的能量值,由最小能量值确认两个集合之间的最佳匹配,并且以该最佳匹配表示光强阶跃与距离阶跃之间的映射关系;根据光强阶跃与距离阶跃之间的映射关系,建立双目图像和距离信息之间的空间坐标映射关系,确定补充基于双目图像的真实场景深度信息;基于激光测距补充的真实场景深度信息,在半遮挡区域完成虚拟物体与真实物体之间的虚实遮挡处理。
半遮挡现象是指在双目图像中,某个物体在一个视频设备的视场区域中出现,而该物体在另一个视频设备的视场中却被其它物体遮挡的现象。如图1所示:由于物体A的遮挡,左摄像机和右摄像机彼此各有一个盲区b和c,还有一个公共盲区a,而物体B恰恰处于左摄像机的盲区b内,因此左摄像机是“看”不到物体B。于是,双目视觉算法会将整个b区域均视为背景处于无穷远处。在虚实遮挡处理过程中,即使虚拟物体的深度应该大于物体B的实际深度,但由于B所在的区域深度被视作无穷远,显然虚拟物体就会被直接绘制在B之前。本发明提出的基于双目图像物体边缘的半遮挡现象检测方法,首先通过边缘识别,再将两幅图像中物体边缘区域的局部信息进行灰度匹配。未被匹配成功的边缘信息,则在一定概率下反应了被遮挡目标的存在性。
基于双目图像的光强阶跃是指对于视频采集到的场景图像,由于光线分布的特点,在不同景深的位置,光强是不一样的,并且由于物体本身的遮挡产生的阴影,也会造成局部区域光线较强烈的变化,因此距离近的物体向距离远的物体过渡处(或者是物体边缘处),会在双目图像上产生一个光强阶跃。
基于测距仪测的距离阶跃是指对于测距仪测得的物体与传感器的距离,与传感器不同距离的物体,其边缘信息的变化,就产生了不同的距离阶跃。
本发明与现有的技术相比,其有益的特点是:1、本发明根据基于双目图像物体边缘的半遮挡现象检测结果,决定是否需要激光测距提供真实场景的补充信息,当检测结果显示没有半遮挡现象,则不需要激光测距补充信息,一定程度上减少计算量;2、本发明通过双目图像的光强阶跃与激光测距的距离阶跃之间的映射关系,确定双目图像和距离信息之间的空间坐标映射关系,实现真实场景深度信息补充;3、利用激光测距补充基于双目图像的真实场景深度信息,在半遮挡区域实现虚拟物体与真实物体之间的虚实遮挡处理。
附图说明:
图1是本发明半遮挡场景示意图;
图2是本发明基于双目图像与距离信息的虚实遮挡处理总体流程图;
图3是本发明边缘集合图;
图4是本发明方差和灰度匹配图;
图5是本发明算法流程图;
图6是本发明基于合成深度信息的遮挡处理绘制流程图。
具体实施方式:
参阅图2本发明的主流程图,首先根据采用双目摄像机采集的视频图像数据(即双目图像),进行半遮挡检测;若检测发现有半遮挡现象,则进行双目图像光强阶跃分析、激光测距及基于激光测距的距离阶跃分析,求解使能量最小的光强阶跃和距离阶跃之间的映射关系,再对比视觉差值及补充视觉差值;最后进行虚实遮挡处理。
图像灰度信息是物体及场景所固有的,是可以量化的数据信息;而图像特征信息则是与物体本身所固有的,可以用来进行界定与区分的信息。在理想场景中,物体之间的间隔可以体现在物体的边缘信息上。边缘通常代表了图像信息最丰富的结构,常被用作于图像匹配的特征。基于双目图像物体边缘的半遮挡现象的检测方法,通过图像边缘检测来获取物体的边界信息,并以此为依据,获得用于灰度匹配的边缘信号集合,主要包括四个部分:边缘点生成、边缘集合生成、边缘信号元素匹配、以及匹配结果修正与判断。
边缘点生成,即确定两个需要匹配集合的内容。边缘信息通过边缘检测来完成。在边缘检测之前,先对图像进行滤波,以消除噪声。常用消除噪声方法有邻点平均法、中值滤波法和高斯滤波法。本发明采用高斯函数对双目图像对进行高斯滤波去噪。高斯滤波法,又称σ滤波法,其基本思想是对被处理的像素,用它邻域内一些像素的平均值代替,不过这些像素的灰度必须落在中心像素灰度的一个固定的σ范围内,其优点是对高斯分布的噪声有很强的抑制能力,而大多数图像噪声是高斯分布。
边缘检测算法通过梯度算子来实现,在求边缘的梯度时,需要计算对每个象素位置。在实际中常用小区域模板卷积来近似计算,模板是N×N的权值方阵,经典的梯度算子模板:索贝尔模板、普鲁伊特模板、罗伯茨模板、拉普拉斯模板等。由于索贝尔算子采用图像差分和滤波计算梯度,速度快,具有一定的噪声抑制能力,因此本发明中采用索贝尔算子。
仅仅得到全局各点的梯度值并不足以确定边缘,为确定边缘,必须保留局部梯度最大的点,即非极大值抑制。一个像素点沿其方向角方向上有两个相邻的像素点,如果当前像素点比这两个点的梯度都大,则当前像素点可能为边界点。遍历所有点集,将可能的边界点,保留在结果集中。
所有局部梯度最大的点,只是在某个局部区域内得到了可能的边界点。但是这些点并不代表就是真实物体的边界。因此设定一个梯度阈值T2,将梯度小于此阈值的像素点从集合中删除。T2通常设定为一个比较大的值,因此得到的结果含有较少的假边缘图n2[i,j],但有间断(不闭合)。因此再次设定一个阈值T1(≈T2/2)。重新结合原梯度矢量矩阵对图像进行处理,得到一个低阈值的边缘图n1[i,j]。首先把n2[i,j]中的边缘点连接成轮廓,然后在n1[i,j]中迭代查找可以连接到轮廓上的边缘点并与之连接,直到这些轮廓成为比较完整的物体边缘。
边缘集合的生成,即将已有的边缘点扩充为连续的曲线。以上生成的边缘集合是单像素宽度的,尽管双阈值分割尽可能保持边缘的连续性,仍有可能同一个物体的边缘信息会有不连续的现象。由于本发明的采集环境中,摄像设备是左右并列放置,因此主要考查纵向边缘,故在边缘检出时,从一个起始点出发,只连接其方向角在其上方与下方的边缘点,直到其上下方向没有相邻边缘点,左右方向的边缘点不予考虑。
从某个始点开始,其上下方共有6个点,如图3所示,分别编号为1、2、3、7、8、9。如果是采用从上至下的搜索策略,那么只搜索下方的7、8、9号点,反之就搜索上方的1、2、3号点,并且构建一个数组A[i]来记录变化趋势。本发明采用从上至下策略,优先选择8号点,并记录A[i]=0。如果8号点为非边缘点,则选择7号或者9号点。同时,使用数组A[i]记录当前斜率,也即如果选择7号点,则记录A[i]=-1;如果选择9号点,则记录A[i]=1;再以选择的点为当前点,考查其下方的三个点,重复上述过程。
边缘信号元素的匹配,即匹配两幅图像的边缘信号集合。图像匹配通常分为三种:基于灰度的匹配、基于特征值的匹配、基于纹理信息的匹配,本发明采用基于灰度的匹配。基于灰度的匹配,直接使用像元灰度,逐像素地把一个以一定大小的实时图像窗口的灰度矩阵与参考图像的所有可能的窗口灰度阵列按某种相似性度量方法进行搜索比较的匹配方法。
方差和算法是目前被普遍采用的一种针对灰度图像的匹配算法。该算法的基本原理是通过求取两个像素点窗口中对应像素灰度差平方和的最小值来确定最佳匹配。如图4所示,假设立体像对的左图中一个基准点P(i,j),取其大小为(2k+1)×(2h+1)的像素邻域M,右图中一待定匹配点为P′(i,j+d),d为视差值,取其大小同为(2k+1)×(2h+1)的像素邻域N。如果P(i,j)和P′(i,j+d)互为匹配点,那么根据方差和算法,则P(i,j)和P′(i,j+d)的像素邻域M和N对应像素灰度差平方和Δk必须满足:
Δ1,Δ2,...Δk,...Δz分别指右图中预定视差搜索范围Z内的第1,2,…k,…,z个像素点的像素邻域与P(i,j)的像素邻域M对应像素灰度差平方和。该式说明,在预定的视差搜索范围内所有待定匹配点中,最佳匹配点与基准点的像素邻域M对应像素灰度的差平方和是最小的。
通常使用方差和的前提是有一个作为匹配模板的基准像元,用这个模板去逐块搜索被匹配图像。从中找到差平方和最小的区域作为匹配区域。由于半遮挡区域在匹配前是未知的,因此无法得到含有半遮挡区域中完整物体的匹配模板。本发明采用如下的边缘信号匹配指导思想:边缘特征确定匹配区域,灰度匹配采用灰度差平方和进行量化匹配。以任一图中每个边缘信号元素作为模板,从另一图中查找对应匹配,所述边缘信号元素是像素间断曲线段,每一曲线段为一个边缘信号元素。对于每个边缘信号元素,从原图中对应位置取各点的灰度值,采用灰度差平方和进行量化,将两幅图像的各个区域进行分别计算。由于各边缘信号大小不一致,因此其边缘区域也会大小不一致,因此参照两者中比较大的区域,将小区域的边缘信号元素进行扩展,直至两者大小一致。
假设图像A的边缘信号集合为sA={ESEA1,ESEA2,...,ESEAi,...,ESEAm},图像B的边缘集合为sB={ESEB1,ESEB2...,ESEBj,...,ESEBn}。不妨假设,半遮挡区域出现在图像A中,也即可以理解为存在ESEocc∈sA,在sB中找不到对应匹配区域。于是我们需要将任意ESEAi∈sA与ESEBj∈sB比较,将能够匹配出来的ESEAi去除,重复迭代后,剩下在集合sA中的边缘信息即为ESEocc。
针对sA中的每个元素ESEAi,分别与sB中的ESEBj进行绝对差值法匹配:
Pu(x,y)代表ESEAi中第u个像素点的灰度值,Qv(x,y)代表ESEj中第v个像素点的灰度值。取ΔESEAi=min(ΔAi-B1,ΔAi-B2,...ΔAi-Bj,...ΔAi-Bn)。在实际匹配过程中,可能会发生多个边缘匹配到同一目标上。对于这种冲突情况,采用次小值匹配避免重复计算。
为了防止由于纹理图案造成的伪边缘信号,本发明定义如下修正准则:
(其中m为sA中元素的个数)的边缘信号,则保留在sA中,否则去除;对于满足条件
(其中n为sB中元素的个数)的边缘信号,则保留在sB中,否则去除;ω为一个阈值,由于各场景纹理信号是不同的,因此这个阈值应该根据不同的场景进行调整,本发明取经验值ω=50%,即边缘信号强度低于信号平均值的50%时,视为伪边缘信号元素。
以边缘集合sA中的每一个信号元素ESEAi作为方差和中的匹配模板去集合sB中找寻一个最小相异的匹配元素ESEBj,匹配结果记为有序偶对集合为LR={...,<ESEAi,ESEBj>,...}。因为半遮挡区域是未知的,所以上述匹配极有可能发生错误,即sA中半遮挡区域内的物体边缘信号元素也被匹配到sB的边缘信号元素。再以边缘集合sB中的每一个元素所作为方差和中的匹配模板去sA中找寻一个最小相异的匹配元素,所得到的结果为RL={...,<ESEBj,ESEAi>,...}。
假设,左右图像没有发生半遮挡现象,并且所有匹配都是正确的,从双目视觉算法中LRC原则的思想可以知道,“如果以左图某个区域a为模板,对应于右图的区域b,则当以右图的b为模板时,从左图搜索到的匹配结果也应为a”。显然,若<ESEAi,ESEBj>∈LR,则一定会有<ESEBj,ESEAi>∈RL。于是,若<ESEAi,ESEBj>∈LR,但是,或者<ESEBj,ESEAi>∈RL而,则ESEAi与ESEBi的配对关系是不被认可的。
由于半遮挡现象必然是发生在某个物体左侧或者右侧,构造两个边缘集合:
L′={ESEAi|<ESEAi,ESEBj>∈LR,且
双目图像与距离信息的匹配:对于视频采集到的场景图像,由于光线分布的特点,在不同景深的位置,光强是不一样的,并且由于物体本身的遮挡产生的阴影,也会造成局部区域光线较强烈的变化,因此近距离物体向远距离物体过渡,会在视频图像上产生一个光强阶跃,其与视频图像有对应的关系,即物体边缘处容易出现光强阶跃信号。对于测距仪测得的物体与传感器的距离,相当于从上向下俯视整个场景,也即物体向水平平面投影的结果。与传感器不同距离的物体,其边缘信息的变化,就产生了不同的距离阶跃。离测距仪测较近的平面向物体边缘过渡,对应的投影图像就会产生距离阶跃信号。
距离信息阶跃:由于传感器设备没有纵向运动的传动机构,本发明所使用的距离传感器只做横向运动。分析距离图像的阶跃信号,主要是分析图像的边缘的变化。首先利用角点检测算法,探测斜率有所变化的像素点所在位置。以某像素点为中心,若图像灰度沿任何方向都变化强烈,则该像素点被检测为角点。考虑图像中任意像素点和以它为中心的圆形区域,当任意一条直线通过中心像素点N交圆形区域边界于点P和点P′时,定义角点反应函数:
RN=min((fp-fN)2-(fp′-fN)2)
其中fN表示中心像素点的灰度值,fp和fp′分别表示点P和P′的图像灰度值,点P和P′关于点N对称。反应函数有三种取值:(a)至少有一条通过中心像素点的直线使得角点反映函数值为零;(b)只有一条通过中心像素点的直线使得角点反映函数值为零;(c)通过中心像素点的任何直线都使得角点反映函数值为2。在实际图像中,由于灰度值是0到255变化而不是简单的0和1,所以(a)和(b)两种情况得到的角点反应函数值较小,而(c)的角点反应函数值很大。选择适当的阈值可区分角点和非角点。计算分两步,首先计算水平和竖直方向的灰度变化:
ra=((fa-fN)2+(fa′-fN)2)
rb=((fb-fN)2+(fb′-fN)2)
fa和fa′表示水平方向上点a和a′的图像灰度值,fb和fb′表示竖直方向上点b和b′的图像灰度值。取RN=min(ra,rb),若此时RN小于阈值R,则中心像素不是角点。否则,利用进行线性插值的方法得到近似足够多的方向上的灰度变化。
由于探测出来的角点是杂乱无序的,因此首先要对结果进行排序,排序依据是角点x的坐标值,然后再按顺序判断前后两个角点的斜率关系,当前后角点之间连线的斜率保持半径方向时,则可以理解为没有发生阶跃,一旦斜率显著改变,则应该认为发生了阶跃。当再次回到半径方向时,再一次发生阶跃。如此反复,即可以得到物体的距离阶跃信息。
双目图像光强阶跃:对于双目图像,取像素点沿纵向几个像素点,将其光强相加,得到光强统计图,统计图的陡峭部分,也即是场景光强阶跃的部分。
视频图像与距离图像映射视频信息图像与距离信息图像存在的某种内在映射关系,可以利用两种阶跃的相关性来进行分析。根据以上求解,记双目图像的光强阶跃集合为α=(α1,α2,α3,...,αn),距离图像的距离阶跃集合为β=(β1,β2,β3,...,βm)。由于纹理及边缘检测的缘故,光强阶跃集合中存在伪阶跃,而且距离阶跃集合很少存在伪阶跃。因此,它们的匹配原则基于假设:距离图像的距离阶跃是准确的。以β1、β2为基准,通过α1到αn中,任取两个边缘αi,αj进行匹配,并以匹配结果作为比例因子,分别去计算β3,β4,...,βm对应的光强阶跃。定义能量函数:
Ki=ΔX*δ1+ΔT*δ2=δ1*|Xβ-Xα|+δ2*|Tβ-Tα|
其中,δ1与δ2为影响因子,分别代表了边缘所在位置的坐标与其斜率对匹配的影响程度,随不同场景有所不同,Xα、Xβ为边缘在平面图像中的坐标,Tα、Tβ为边缘的斜率。
首先假设β1与α1匹配:以scale=(α2-α1)/(β2-β1)为比例尺,分别求β3,β4,…,βm对应的αj,并且分别计算(K1,K1,……,Km-2),记录累加值为K11。再分别以scale=(α3-α1)/(β2-β1),得到累加值K12;scale=(α4-α1)/(β2-β1),得到累加值K13,……,得到累加值K1(n-m+1)。再假设β1与α2匹配(即α1为伪边缘),以scale=(α3-α1)/(β2-β1)为比例尺,分别求β3,β4,…,βm对应的αj,并且分别计算(K1,K1,……,Km-2),记录累加值K21。再分别以scale=(α4-α1)/(β2-β1),得到累加值K22,……,得到累加值K2(n-m)。依此类推,最后假设β1与αn-m+1匹配(即α1至αn-m均为伪边缘),得到累加值K(n-m+1)1。经过上述匹配后,可以得到一个能量值矩阵:
其中,Kij代表β1与αi匹配,β2与αj匹配时,计算出的所有其它β相应的能量值的总和。取Kxy=min(Kenergy)时的scale组合,即αi匹配β1,αj匹配β2作为最终认可的匹配。重新计算其它视频图像上的边缘与距离图像上的边缘的对应关系,最终根据各边缘距离值,得到视频图像与距离图像的坐标变换关系。
距离图像中由边缘划分的区域P1,P2,……,Pi……,分别对应于双目图像中的区域Q1,Q2,……,Qi……。于是变换公式为:
其中,Ai代表距离图像第i个区域内的点向视频图像进行映射的x轴变换参数,Bi为y轴变换参数,Ci为z轴变换参数,也即深度变换。Mi代表距离图像不同区域所对应的变换矩阵,且
于是P1在视频图像上对应的点为Q1(x,y,z)=(A1x,B1y,C1dp);同理,区域P2在视频图像上对应的点为Q2(x,y,z)=(A2x,B2y,C2dp);依次类推,可以得到所有距离图像区域到视频图像上的映射位置。这样我们就可以得到视频图像上对应区域之间的深度关系。依据预先测定的深度缓存值与真实值的比例关系,我们可以同双目视觉得到的场景其它区域的深度信息相比较,从而得到全局的完整深度信息,从而为后续的虚实遮挡处理打下基础。
虚实遮挡处理包括双目视频图像的视差值获取、视差与深度映射、虚拟对象与视频图像场景融合。本发明采用斯坦福大学Birchfield在1998年提出来的算法计算双目视觉的视差值。该算法的步骤简明直观,运算速度较快,精度高,是双目视觉比对中较为优秀的算法之一。该算法计算双目视觉的视差值分两步:第一步,从左、右图像的第一行象素开始逐行往下扫描,利用动态规划算法逐个比对象素视差;第二步,将第一步比对得到的可信度较高的视差值“传播”修正邻近扫描线上的视差值,提高第一步比对得到的视差图的精度,该过程如图5所示。
假设左、右图像对应扫描线上的匹配序列为:SM={(1,0),(2,1),(6,2),...,(x,y),...},其中(x,y)表示左扫描线上的象素x和右扫描线上y的象素对应于真实场景中同一点,没有匹配的象素点为半遮挡区域。为了衡量匹配序列接近真实匹配序列的程度,定义如下代价函数:
Nocc和Nm分别是匹配序列中遮挡和匹配的象素个数,kocc表示遮挡的“惩罚”,可以理解为象素之间至少相差kocc大小的亮度,即视差;kr表示匹配的“回报”,可以理解为匹配的两个象素之间亮度的最大差异。d(xi,yi)衡量匹配象素xi和yi对应于空间中同一点的可信程度。定义为右扫描线上象素的线性插值函数,则xi落入yi周围的线性插值区域的适合程度由以下函数衡量:
令 则 也可以由以下式子计算得到:
根据视频图像的视差深度图,距离图像的深度图,我们可以得到视差深度图与距离深度的映射关系。设视频图像上某像素P的坐标为:
P(x,y,dp)=[xp yp dp]T (dp为视差深度图值),其在距离图像上对应点P′的坐标为:
P′(x,y,d′p)=[xp yp d′p]T (d′p为距离深度值),而半遮挡区域的像素Q的坐标为:
Q(x,y,dq)=[xq yq ∞]T (半遮挡区域内的距离值为无穷∞),其在距离图像上对应点Q′的坐标为:
Q′(x,y,d′q)=[xq yq d′q]T
需要由P,Q的关系及Q′,求解出Q的深度dq。根据前面提到的视频图像与距离图像映射矩阵:
因为:
Q(x,y,dq)=Q′(x,y,dq)Mi=(Aix,Biy,Cid′q)
通过双目视觉获得视差图后,可以认为对应于双目立体图像上所有象素的视差值即是真实场景在双目视觉设置下深度值的倒数。再根据半遮挡判断,获得被遮挡目标的视差值,从而获得完整的场景视差值。因此,可以进入下一步工作,基于深度值判断实虚空间遮挡关系。其实现过程是:将带有视差的象素值写入OpenGL的深度缓存,并令OpenGL绘制循环在绘制虚拟物体的三维图形时进行深度测试,如图6所示。OpenGL深度测试会比较三维几何模型的Z值和深度缓存中的深度值,Z值小于深度缓存的深度值(即离视点更近)点会被绘制出来,Z值大于深度缓存的深度值的点不被绘制(被真实物体遮挡)。
以上所述仅为本发明的一些基本说明,依据本发明的技术方案所做的任何等效变换,均应属于本发明的保护范围。
Claims (7)
1.一种基于双目图像和距离信息的虚实遮挡处理方法,其特征在于包括以下步骤:
(1)基于双目图像的物体边缘检测半遮挡现象;
(2)采用激光测距获取基于双目图像的真实场景深度信息,得出双目图像的光强阶跃与激光测距的距离阶跃之间的映射关系,进而确定双目图像与距离信息之间的空间坐标映射关系;
(3)利用激光测距补充基于双目图像的真实场景深度信息,在双目图像的半遮挡区域实现虚拟物体与真实物体之间的虚实遮挡处理。
2.根据权利要求1所述的基于双目图像和距离信息的虚实遮挡处理方法,其特征在于:步骤(1)所述的基于双目图像物体边缘检测半遮挡现象包括以下步骤:
(1.1)检测双目图像获得真实物体的边缘信息,提取每一个边缘点对应的若干边缘像素,包括位于边缘两侧的像素;
(1.2)将双目图像的两幅图像的边缘像素进行灰度匹配,判断是否存在真实物体之间的半遮挡现象。
3.根据权利要求2所述的基于双目图像和距离信息的虚实遮挡处理方法,其特征在于:步骤(1.1)所述的检测双目图像获得真实物体的边缘信息,包括边缘点生成和边缘集合生成,通过边缘点生成获得尽可能连续的零散边缘像素点,通过边缘集合生成将已获得的零散边缘像素点扩展成连续边缘点;边缘点生成步骤包括背景噪声消除、计算图像上每个像素点的水平和垂直梯度值、计算像素点的方向角、像素点非最大化抑制、边缘图像像素双阈值分割;在边缘集合生成时横向纵向扩展,即连接已知像素点上方和下方的边缘点。
4.根据权利要求2所述的基于双目图像和距离信息的虚实遮挡处理方法,其特征在于:步骤(1.2)中边缘像素进行灰度匹配,采用最小平方差灰度图像的匹配算法,通过求取两个像素点对应像素灰度差平方和的最小值来确定最佳匹配。
5.根据权利要求1所述的基于双目图像和距离信息的虚实遮挡处理方法,其特征在于:步骤(2)所述的双目图像的光强阶跃与激光测距的距离阶跃,分别利用双目图像和激光测距来确定;光强阶跃描述双目图像场景中距离近的物体向距离远的物体过渡,出现的光线强度变化;距离阶跃描述通过测距仪测获得的物体深度的变化信息。
6.根据权利要求1所述的基于双目图像和距离信息的虚实遮挡处理方法,其特征在于:步骤(2)所述的双目图像光强阶跃与激光测距距离阶跃之间的映射关系,是通过基于最小能量函数结算得到的;能量函数是描述边缘点所在位置的坐标与其斜率对匹配的影响程度,其值是通过光强阶跃集合与距离阶跃集合中两配对元素之间的来估算得到的。
7.根据权利要求1所述的基于双目图像和距离信息的虚实遮挡处理方法,其特征在于:步骤(3)中利用激光测距补充基于双目图像的真实场景深度信息,该真实场景深度信息由步骤(2)求解,其求解的前提条件是步骤(1)的检测结果显示真实物体之间存在半遮挡现象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110299878.6A CN102510506B (zh) | 2011-09-30 | 2011-09-30 | 一种基于双目图像和距离信息的虚实遮挡处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110299878.6A CN102510506B (zh) | 2011-09-30 | 2011-09-30 | 一种基于双目图像和距离信息的虚实遮挡处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102510506A true CN102510506A (zh) | 2012-06-20 |
CN102510506B CN102510506B (zh) | 2014-04-16 |
Family
ID=46222555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110299878.6A Active CN102510506B (zh) | 2011-09-30 | 2011-09-30 | 一种基于双目图像和距离信息的虚实遮挡处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102510506B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
CN103679739A (zh) * | 2013-12-26 | 2014-03-26 | 清华大学 | 基于遮挡区域检测的虚拟视图生成方法 |
CN104748680A (zh) * | 2015-03-19 | 2015-07-01 | 酷派软件技术(深圳)有限公司 | 一种基于摄像头的尺寸测量方法及装置 |
CN105654454A (zh) * | 2014-11-10 | 2016-06-08 | 中国船舶重工集团公司第七二三研究所 | 一种快速稳定的对比度跟踪方法 |
CN106960454A (zh) * | 2017-03-02 | 2017-07-18 | 武汉星巡智能科技有限公司 | 景深避障方法、设备及无人飞行器 |
CN105654526B (zh) * | 2015-12-31 | 2018-07-20 | 南京华捷艾米软件科技有限公司 | 一种基于双向扫描的视差图生成方法及电路设计 |
CN110068307A (zh) * | 2015-04-21 | 2019-07-30 | 原相科技股份有限公司 | 测距系统及测量距离的方法 |
CN111415380A (zh) * | 2020-03-03 | 2020-07-14 | 智方达(天津)科技有限公司 | 一种基于景深信息的视频运动放大方法 |
CN111590573A (zh) * | 2020-05-15 | 2020-08-28 | 深圳国信泰富科技有限公司 | 一种机器人三维环境的构建方法及系统 |
CN113099204A (zh) * | 2021-04-13 | 2021-07-09 | 北京航空航天大学青岛研究院 | 一种基于vr头戴显示设备的远程实景增强现实方法 |
US11074679B2 (en) | 2017-02-06 | 2021-07-27 | Huawei Technologies Co., Ltd. | Image correction and display method and device |
CN116543188A (zh) * | 2023-07-06 | 2023-08-04 | 深圳市睿达科技有限公司 | 一种基于灰度匹配的机器视觉匹配方法及系统 |
CN117442359A (zh) * | 2023-12-22 | 2024-01-26 | 无锡蔚动智能科技有限公司 | 一种基于双臂协同控制的医用无影灯控制系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6891966B2 (en) * | 1999-08-25 | 2005-05-10 | Eastman Kodak Company | Method for forming a depth image from digital image data |
CN101808251A (zh) * | 2010-04-06 | 2010-08-18 | 浙江大学 | 立体图像对中遮挡信息的提取方法 |
CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
CN102194231A (zh) * | 2010-03-18 | 2011-09-21 | 斯耐尔有限公司 | 图像处理方法及装置、图像分析装置 |
-
2011
- 2011-09-30 CN CN201110299878.6A patent/CN102510506B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6891966B2 (en) * | 1999-08-25 | 2005-05-10 | Eastman Kodak Company | Method for forming a depth image from digital image data |
CN102194231A (zh) * | 2010-03-18 | 2011-09-21 | 斯耐尔有限公司 | 图像处理方法及装置、图像分析装置 |
CN101808251A (zh) * | 2010-04-06 | 2010-08-18 | 浙江大学 | 立体图像对中遮挡信息的提取方法 |
CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
Non-Patent Citations (1)
Title |
---|
刘莉: "增强现实中基于轮廓深度恢复的虚实遮挡方法研究", 《计算机应用与软件》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
CN103679739A (zh) * | 2013-12-26 | 2014-03-26 | 清华大学 | 基于遮挡区域检测的虚拟视图生成方法 |
CN105654454A (zh) * | 2014-11-10 | 2016-06-08 | 中国船舶重工集团公司第七二三研究所 | 一种快速稳定的对比度跟踪方法 |
CN105654454B (zh) * | 2014-11-10 | 2018-08-10 | 中国船舶重工集团公司第七二三研究所 | 一种快速稳定的对比度跟踪方法 |
CN104748680A (zh) * | 2015-03-19 | 2015-07-01 | 酷派软件技术(深圳)有限公司 | 一种基于摄像头的尺寸测量方法及装置 |
CN104748680B (zh) * | 2015-03-19 | 2018-09-14 | 酷派软件技术(深圳)有限公司 | 一种基于摄像头的尺寸测量方法及装置 |
CN110068307A (zh) * | 2015-04-21 | 2019-07-30 | 原相科技股份有限公司 | 测距系统及测量距离的方法 |
CN110068307B (zh) * | 2015-04-21 | 2021-09-17 | 原相科技股份有限公司 | 测距系统及测量距离的方法 |
CN105654526B (zh) * | 2015-12-31 | 2018-07-20 | 南京华捷艾米软件科技有限公司 | 一种基于双向扫描的视差图生成方法及电路设计 |
US11074679B2 (en) | 2017-02-06 | 2021-07-27 | Huawei Technologies Co., Ltd. | Image correction and display method and device |
CN106960454A (zh) * | 2017-03-02 | 2017-07-18 | 武汉星巡智能科技有限公司 | 景深避障方法、设备及无人飞行器 |
CN106960454B (zh) * | 2017-03-02 | 2021-02-12 | 武汉星巡智能科技有限公司 | 景深避障方法、设备及无人飞行器 |
CN111415380A (zh) * | 2020-03-03 | 2020-07-14 | 智方达(天津)科技有限公司 | 一种基于景深信息的视频运动放大方法 |
CN111590573A (zh) * | 2020-05-15 | 2020-08-28 | 深圳国信泰富科技有限公司 | 一种机器人三维环境的构建方法及系统 |
CN113099204A (zh) * | 2021-04-13 | 2021-07-09 | 北京航空航天大学青岛研究院 | 一种基于vr头戴显示设备的远程实景增强现实方法 |
CN116543188A (zh) * | 2023-07-06 | 2023-08-04 | 深圳市睿达科技有限公司 | 一种基于灰度匹配的机器视觉匹配方法及系统 |
CN116543188B (zh) * | 2023-07-06 | 2023-10-13 | 深圳市睿达科技有限公司 | 一种基于灰度匹配的机器视觉匹配方法及系统 |
CN117442359A (zh) * | 2023-12-22 | 2024-01-26 | 无锡蔚动智能科技有限公司 | 一种基于双臂协同控制的医用无影灯控制系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102510506B (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102510506B (zh) | 一种基于双目图像和距离信息的虚实遮挡处理方法 | |
Zhou et al. | Semi-dense 3D reconstruction with a stereo event camera | |
US8340400B2 (en) | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features | |
JP5682065B2 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
Li et al. | Multi-scale 3D scene flow from binocular stereo sequences | |
EP3695381B1 (en) | Floor detection in virtual and augmented reality devices using stereo images | |
CN109416843A (zh) | 实时高度映射 | |
CN104677330A (zh) | 一种小型双目立体视觉测距系统 | |
CN104574393A (zh) | 一种三维路面裂缝图像生成系统和方法 | |
Donate et al. | Efficient path-based stereo matching with subpixel accuracy | |
Afzal et al. | Rgb-d multi-view system calibration for full 3d scene reconstruction | |
Ikeda et al. | 3D indoor environment modeling by a mobile robot with omnidirectional stereo and laser range finder | |
Miled et al. | Disparity map estimation using a total variation bound | |
Kaczmarek | Improving depth maps of plants by using a set of five cameras | |
Clark et al. | The Cramer-Rao Lower Bound for 3-D state estimation from rectified stereo cameras | |
Harms et al. | Accuracy analysis of surface normal reconstruction in stereo vision | |
Shen | Depth-map merging for multi-view stereo with high resolution images | |
CN104156973A (zh) | 基于立体匹配的实时三维视频监控方法 | |
Sato et al. | Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system | |
CN106303501A (zh) | 基于图像稀疏特征匹配的立体图像重构方法及装置 | |
Miled et al. | Robust obstacle detection based on dense disparity maps | |
Yun et al. | 3D scene reconstruction system with hand-held stereo cameras | |
Shin et al. | Evaluation of close-range stereo matching algorithms using stereoscopic measurements | |
JP2015170116A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
Engler et al. | Recursive 3D scene estimation with multiple camera pairs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |