发明内容
本发明正是基于上述技术问题,提出了一种计算场景主体的深度分布方法与装置。
有鉴于此,本发明提出了计算场景主体的深度分布方法,包括:
通过第一摄像相机与第二摄像相机同时拍摄场景主体,所述第一摄像相机拍摄而获取第一图像,所述第二摄像相机拍摄而获取第二图像;
对所述第一图像以及第二图像分别提取第一特征点以及第二特征点,并对所述第一特征点以及第二特征点进行匹配;
通过匹配后的第一特征点以及第二特征点恢复与所述第一特征点以及所述第二特征点对应的三维特征点的深度信息以及三维运动信息;以及
建立深度显著度模型,对每个三维特征点建立一个高斯分布模型,再将所有三维特征点的高斯分布模型合并,从而得到场景主体的深度分布。
在上述实施方式中,所述计算场景主体的深度分布方法通过对三维特征点的深度与三维运动信息进行分析,从而得出整个场景主体的深度分布,即相比处理图像的全象素,对图像特征点的处理速度要更快。并且,通过对每个三维特征点建立一个高斯分布模型,从而可以准确快速地计算出场景主体的深度分布。所述场景主体的深度分布信息可用于监控、避障和路径规划、全自动的三维摄影等技术领域。
在上述任一技术方案中,优选的,通过对匹配后的第一特征点以及第二特征点做反向投影,从而恢复与所述第一特征点以及所述第二特征点对应的三维特征点的深度信息。
在上述任一技术方案中,对所述第一图像的前后两帧图像做匹配,对所述第二图像的前后两帧图像做匹配,从而获取第一图像以及第二图像对应的二维特征点的运动信息,并将所述二维特征点的运动信息恢复成与其对应的所述三维特征点的运动信息。
在上述任一技术方案中,每个三维特征点的高斯分布模型的标准差正比于该三维特征点在前后两帧中深度之差的绝对值。
在上述任一技术方案中,每个三维特征点的高斯分布模型的期望值介于该三维特征点在前后两帧中的深度之间。
在上述任一技术方案中,在建立深度显著度模型之前,进一步包括获取所述三维特征点的对比度信息。
在上述任一技术方案中,对每个匹配后的第一特征点以及第二特征点定义一个图像的邻域,通过方差或者梯度获取所述三维特征点的对比度信息。
在上述任一技术方案中,每个三维特征点的高斯分布模型的幅度正比于该三维特征点的运动剧烈程度和对比度强度。
一种计算场景主体的深度分布装置,包括:图像获取单元,其包括第一摄像相机以及第二摄像相机,所述第一摄像机与所述第二摄像相机同时拍摄场景主体,所述第一摄像相机拍摄而获取第一图像,所述第二摄像相机拍摄而获取第二图像;提取与匹配单元,其对所述第一图像以及第二图像分别提取第一特征点以及第二特征点,并对所述第一特征点以及第二特征点进行匹配;恢复单元,其通过匹配后的第一特征点以及第二特征点恢复与所述第一特征点以及所述第二特征点对应的三维特征点的深度信息以及三维运动信息;以及处理单元,其建立深度显著度模型,对每个三维特征点建立一个高斯分布模型,再将所有三维特征点的高斯分布模型合并,从而得到场景主体的深度分布。
在上述任一技术方案中,所述恢复单元通过对匹配后的第一特征点以及第二特征点做反向投影,从而恢复与所述第一特征点以及所述第二特征点对应的三维特征点的深度信息。
在上述任一技术方案中,所述恢复单元对所述第一图像的前后两帧图像做匹配,对所述第二图像的前后两帧图像做匹配,从而获取第一图像以及第二图像对应的二维特征点的运动信息,并将所述二维特征点的运动信息恢复成与其对应的所述三维特征点的三维运动信息。
在上述任一技术方案中,所述恢复单元进一步获取所述三维特征点的对比度信息。
在上述任一技术方案中,所述恢复单元对每个匹配后的第一特征点以及第二特征点定义一个图像的邻域,通过方差或者梯度获取所述三维特征点的对比度信息。
在上述任一技术方案中,所述计算场景主体的深度分布装置建立深度显著度模型,对每个三维特征点建立一个高斯分布模型,并对所述三维特征点的三维运动信息与对比度信息分别做规整化后再合并,然后再将所有三维特征点的高斯分布模型合并,从而得到场景主体的深度分布。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例的限制。
本发明提供的计算场景主体的深度分布方法包括如下步骤:
通过第一摄像相机与第二摄像相机同时拍摄场景主体,所述第一摄像相机拍摄而获取第一图像,所述第二摄像相机拍摄而获取第二图像;
对所述第一图像以及第二图像分别提取第一特征点以及第二特征点,并对所述第一特征点以及第二特征点进行匹配;
通过匹配后的第一特征点以及第二特征点恢复与所述第一特征点以及所述第二特征点对应的三维特征点的深度信息以及三维运动信息;以及
建立深度显著度模型,对每个三维特征点建立一个高斯分布模型,再将所有三维特征点的高斯分布模型合并,从而得到场景主体的深度分布。
参见图1,本发明第一实施例提供的计算场景主体的深度分布方法的流程示意图。
具体地,所述计算场景主体的深度分布方法包括如下步骤:
步骤110:获取第一摄像相机与第二摄像相机同时拍摄场景主体的第一图像以及第二图像。
在本实施例中,第一摄像相机与第二摄像相机为一双目相机,即使用双目相机基于不同视角同时拍摄同一场景主体的第一图像以及第二图像,以作为后续深度分析的源数据。
步骤120:对所述第一图像以及第二图像分别提取第一特征点以及第二特征点,并对所述第一特征点以及第二特征点进行匹配。
在本实施例中,所述特征点匹配为:三维空间中的物点投射到第一摄像机与第二摄像相机中的象素点的对应关系。具体地,通过对图像提取特征点以及相应的描述符,可以完成特征匹配。一般地,图像特征点可以为FAST特征点,描述符可以为BRIEF描述符。由于图像特征点具有显著度高、稳定性强的特性,因此,其非常适合对图像做主体分析。并且,图像特征点在图像中分布相对稀疏,相比处理图像的全象素,对图像特征点的处理速度要更快。
步骤130:通过匹配后的第一特征点以及第二特征点恢复与所述第一特征点与所述第二特征点对应的三维特征点的深度信息与三维运动信息。
在本实施例中,在双目相机校正和标定后,可以基于多视角几何关系,将匹配的第一图像和第二图像的第一特征点(ul,vl)以及第二特征点(ur,vr)做反向投影,从而恢复出一个与第一特征点(ul,vl)以及第二特征点(ur,vr)相对应的三维特征点(x,y,z),即计算出三维特征点的深度信息,所述三维特征点的深度信息就是三维特征点与所述双目相机的间距。
在本实施例中,对所述第一图像的前后两帧图像做匹配,对所述第二图像的前后两帧图像做匹配,从而获取第一图像以及第二图像对应的二维特征点的运动信息(du,dv),并将所述二维特征点的运动信息通过反向投影恢复成与其对应的所述三维特征点的三维运动信息(dx,dy,dz)。令前一帧的三维特征点为(x1,y1,z1),后一帧的三维特征点为(x2,y2,z2),那么有
(x2,y2,z2)=(x1,y1,z1)+(dx,dy,dz)
步骤140:获取所述三维特征点的对比度信息。
在本实施例中,进一步包括获取所述三维特征点的对比度信息的步骤。具体地,对每个匹配后的第一特征点以及第二特征点定义一个图像的邻域,通过方差或者梯度获取所述三维特征点的对比度信息。
步骤150:建立深度显著度模型,对每个三维特征点建立一个高斯分布模型,再将所有三维特征点的高斯分布模型合并,从而得到场景主体的深度分布。
在本实施例中,通过对上述三维特征点的深度信息、三维运动信息、以及对比度信息建立深度显著度模型,从而得到场景主体的深度分布。当然,可以理解的是,在其他实施例中,仅通过三维特征点的深度信息与三维运动信息的结合也可以建立深度显著度模型,从而得到场景主体的深度分布。
由于所述匹配后的第一特征点以及第二特征点会覆盖场景中的主要物体,因此,对所述第一特征点与所述第二特征点的显著度分析就基本上反映了场景主体的显著度情况。
具体地,如图2所示,本发明提出的关于深度的显著度模型,即对每一个三维特征点定义一个高斯分布模型,其中横轴是深度Z,纵轴是显著度Sa。每个三维特征点的显著度Sa与深度Z之间的关系表示如下:
该高斯分布模型的标准差σ∝|dz|=|z2-z1|,即正比于该三维特征点在前后两帧中深度之差的绝对值。在本实施例中,σ=|dz|/2=|z2-z1|/2,即等于三维特征点在前后两帧中深度差的绝对值的一半。
该高斯分布模型的期望值μ,z1<μ<z2,其中,z1<z2,即介于该三维特征点在前后两帧中的深度之间。在本实施例中,μ=(z1+z2)/2,即等于三维特征点在前后两帧中深度的均值。
该高斯分布模型的幅度S正比于该三维特征点的对比度和运动强度。在本实施例中,将该三维特征点的对比度和三维运动幅度分别做规整化之后再相加合并。
如图3所示,多个三维特征点的高斯分布模型组成了一个多高斯模型。
如图4所示,将所有三维特征点的高斯分布模型合并,就得到了整个场景的显著度关于深度的分布,也就是场景主体在深度上的分布。
对比图3和图4可以发现本方法对个别的异常三维特征点非常鲁棒。这些异常的三维特征点往往是因为错误的特征匹配所造成。此外,基于图4给出的显著度-深度模型,通过设定一个显著度阈值就可以很方便地估算出拍摄场景中主体的深度范围[Dmin,Dmax]。
所述计算场景主体的深度分布方法通过对三维特征点的深度与三维运动信息进行分析,从而得出整个场景主体的深度分布,即相比处理图像的全象素,对图像特征点的处理速度要更快。并且,通过对每个三维特征点建立一个高斯分布模型,从而可以准确快速地计算出场景主体的深度分布。所述场景主体的深度分布信息可用于监控、避障和路径规划、全自动的三维摄影等技术领域。
参见图5,本发明第二实施例提供的计算场景主体的深度分布装置的结构框图。
一种计算场景主体的深度分布装置,包括:图像获取单元21,提取与匹配单元22,恢复单元23,以及处理单元24。
其中,所述图像获取单元21包括第一摄像相机以及第二摄像相机。所述第一摄像机与所述第二摄像相机同时拍摄场景主体,所述第一摄像相机拍摄而获取第一图像,所述第二摄像相机拍摄而获取第二图像。
所述提取与匹配单元22对所述第一图像以及第二图像分别提取第一特征点以及第二特征点,并对所述第一特征点以及第二特征点进行匹配。
所述恢复单元23通过匹配后的第一特征点以及第二特征点恢复与所述第一特征点以及所述第二特征点对应的三维特征点的深度信息以及三维运动信息。
具体地,所述恢复单元23通过对匹配后的第一特征点以及第二特征点做反向投影,从而恢复与所述第一特征点以及所述第二特征点对应的三维特征点的深度信息。
所述恢复单元23对所述第一图像的前后两帧图像做匹配,对所述第二图像的前后两帧图像做匹配,从而获取第一图像以及第二图像对应的二维特征点的运动信息,并将所述二维特征点的运动信息恢复成与其对应的所述三维特征点的三维运动信息。
进一步地,所述恢复单元23可以进一步获取所述三维特征点的对比度信息。具体地,所述恢复单元对每个匹配后的第一特征点以及第二特征点定义一个图像的邻域,通过方差或者梯度获取所述三维特征点的对比度信息。
所述处理单元24,其建立深度显著度模型,对每个三维特征点建立一个高斯分布模型,再将所有三维特征点的高斯分布模型合并,从而得到场景主体的深度分布。
所述计算场景主体的深度分布装置通过对三维特征点的深度与三维运动信息进行分析,从而得出整个场景主体的深度分布,即相比处理图像的全象素,对图像特征点的处理速度要更快。并且,通过对每个三维特征点建立一个高斯分布模型,从而可以准确快速地计算出场景主体的深度分布。所述场景主体的深度分布信息可用于监控、避障和路径规划、全自动的三维摄影等技术领域。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。