CN104537668B - 一种快速视差图像计算方法及装置 - Google Patents

Abstract

本申请提供一种快速视差图像计算方法及装置，应用于图像处理设备上，该方法包括：将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；按照预设的第一视差算法基于一对背景图像生成背景视差图像；按照预设的第二视差算法基于一对前景图像生成前景视差图像；将前景视差图像与当前背景视差图像整合为完整的视差图像。相较于现有技术，本申请可以大幅度提升完整视差图像计算的实时性，对监控等专业应用市场来说技术意义尤为突出。

Description

一种快速视差图像计算方法及装置

技术领域

本申请涉及图像处理技术，尤其涉及一种快速视差图像计算方法及装置。

背景技术

随着多媒体、Internet等技术的深入发展，普通二维模式图像/视频越来越无法满足人们的需求。近年来，三维(3D)图像的使用更加频繁。人们在观看3D电影时可以获得2D电影难以企及的立体视觉体验。除了在影视方面的应用，接近真实场景的三维信息已慢慢开始在其他各个领域被使用到，尤其是在视频监控领域，立体视觉系统能够更加有效的定位、分辨或者跟踪被监测的目标。常见的监控业务中，如车辆、行人的检测或跟踪，三维的视频信息能够表现出明显优越于二维信息的效果。

视差信息是立体视觉系统的基础，故获取视差信息的视差算法作为立体视觉的关键成为计算机视觉领域研究的热点。视差估计的基本原理是利用从两个视点观察同一场景获取的立体像图对，以其中一个视点的图像作为基准，匹配出两幅图像中的对应像点，从而估计参考视图中每一像素点的视差。根据使用的约束信息的不同，可以将视差估计算法分为两类：

1)局部匹配算法，这类方法利用的是对应点本身以及邻近的局部区域的约束信息，局部算法的优点是效率高，但在遮挡区域、边界区域以及缺失纹理的区域会产生较大的误差。根据匹配特征和匹配方式的不同，局部匹配算法主要分为基于特征的方法和基于区域的方法。基于特征的方法具有较好的抗干扰性能，但它只能获得稀疏的视差场，要得到稠密的视差场必须辅之以复杂的插值过程。区域法能产生稠密的视差场，算法简单、有效、易于实现，缺点是精度不高，易受噪声的影响。然而该方案计算速度较快，但需要依赖于一个初始的视差估计，如果初始估计错误比较明显，则动态规划之后效果也不够理想

2)全局匹配算法，这类方法利用了图像的全局约束信息，在整个图像上定义一个包含数据误差、光滑程度以及遮挡在内的能量函数，把问题转化成优化问题来解决，全局算法对局部图像的模糊不敏感，但是它的计算代价很高。全局匹配算法包括基于置信等级传播的算法、基于动态规划的算法和基于遗传算法的方法等，目前都难以做到实时生成视差图像。该方案计算精度较高，但算法对性能要求很高，在视频监控的领域当中，很难做到实时产生全图视差。与普通影视应用不同的是，在监控领域，观察者经常需要看到实时的三维视频。处理速度慢在监控等专业领域可能是无法被用户接受的。

发明内容

有鉴于此，本申请提供一种快速视差图像计算装置，应用于图像处理设备上，所述装置包括：

背景差分单元，用于将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；

背景视差单元，用于按照预设的第一视差算法基于一对背景图像生成背景视差图像；

前景视差单元，用于按照预设的第二视差算法基于一对前景图像生成前景视差图像；

图像整合单元，用于将前景视差图像与当前背景视差图像整合为完整的视差图像。

本申请还提供一种快速视差图像计算方法，应用于图像处理设备上，该方法包括：

将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；

按照预设的第一视差算法基于一对背景图像生成背景视差图像；

按照预设的第二视差算法基于一对前景图像生成前景视差图像；

将前景视差图像与当前背景视差图像整合为完整的视差图像。

相较于现有技术，本申请可以大幅度提升完整视差图像计算的实时性，对监控等专业应用市场来说技术意义尤为突出。

附图说明

图1A是一个例子中图像处理设备的结构图。

图1B是一个例子中快速视差图像计算装置结构图。

图2是本申请一个例子中快速视差图像计算方法流程图。

图3是本申请一个例子中背景视差图像计算过程示意图。

图4是本申请一个例子中针对前景图像的扫描示意图。

图5是本申请另一个例子中针对前景图像扫描的示意图。

图6是本申请一个例子中针对差生相反突变情况下的视差计算示意图。

具体实施方式

在描述本申请提供的技术方案之前，先对后续需要使用到的相关概念进行简要说明。

双目摄像机：通常包括两个光轴平行，标称的焦距及其它参数相同的摄像机。一般来说这两台摄像机的相对位置固定，标定完成之后可以用来获取有效视野内所有物体的三维信息。一般来说，可以把双目摄像机的中一个摄像机称为“左目摄像机”，而另一个称为“右目摄像机”。这里所说的左目和右目是相对的概念，从摄像机正面观察到左目摄像机在背面观察则是右目摄像机。因此左目摄像机可以是双目摄像机中的任意一个摄像机，为了描述方便起见，后续实施方式中将以面向镜头取景方向时位于左侧的摄像机为左目摄像机，另一个摄像机为右目摄像机。

视差：从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。

双目修正：把消除畸变后的来自两个摄像机的两幅图像严格地进行行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一像素点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应的像素点。

极线约束：这一概念源自极几何(epipolar geometry)中的定义，双目摄像机两幅图像之间存在的极线对应关系，在双目修正完成之后，两幅图像的极线完全水平对应，其中一幅图像上的任意像素点都可以在另一幅图像上对应的极线上搜索对应的像素点。

本发明提供一种快速视差图像计算方法及装置，该技术方案可以基于计算机软件实现，当然也可以采用硬件或逻辑器件等其他方式实现。该方案可以应用在包括双目摄像机以及图像处理设备的监控场景中。实施时，所述双目摄像机的光轴可以倾斜于检测场地的地平面，在少数情况下可能是垂直或接近垂直。从安装上来说，为了更好地发挥本发明的优势，安装好的双目摄像机光心的连线和地平面平行或接近平行，该安装约束条件主要是为了相关算法可以使用先验的人或其他目标的高度信息。而双目摄像机的光轴在地平面上的投影和行人或车辆的正常运行路线保持平行或接近平行，该安装约束条件为了后续算法使用先验的目标信息或知识，比如从二维图像中来观察，被遮挡的物体一般处于遮挡物体的上方。

请参考图1A所示的图像处理设备，其可以是一个位于监控系统后端可以获得双目摄像机输出的图片序列的服务器(或其他主机)，也可以是双目摄像机中某个摄像机内置的计算系统。该图像处理设备包括了一般的计算机系统的硬件框架，具体来说，该设备可以包括处理器、内存、非易失性存储器(比如硬盘)以及内部总线。在软件实现方案中，所述处理器可以将快速视差图像计算装置所对应的计算机程序指令从非易失性存储器读入内存中然后运行，在逻辑意义上形成所述快速视差图像计算装置。请查考图1B和图2，在逻辑层面，该快速视差图像计算装置包括：背景差分单元、背景视差单元、前景视差单元以及图像整合单元。该装置在图像处理设备上运行的过程中，执行如下处理方法。

步骤201，背景差分单元，将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；

步骤202，背景视差单元，按照预设的第一视差算法基于一对背景图像生成背景视差图像；

步骤203，前景视差单元，按照预设的第二视差算法基于一对前景图像生成前景视差图像；

步骤204，图像整合单元，前景视差图像与背景视差图像整合为完整的视差图像。

一般来说，针对双目摄像机需要进行双目修正处理，其可以确保视差计算的准确性。而双目修正的实现可以参考前述方式以及现有技术加以实现，本发明并不对此进行具体限制。在完成双目修正处理之后，双目摄像机可以持续对外输出图像序列，一般来说，本申请所处理的对象是一对原始图像(左目图像以及右目图像)，通常都是同一时间两个摄像机输出的图像，即在时间上是对应的，或者图像序列中的序号是对应的，因为这个序号客观上也是有时间先后顺序的。

针对双目摄像机输出的一对图像(即左目图像以及右目图像)，本申请并非以这两个图像作为直接处理对象，而是先将两个图像进行背景差分处理。两个图像进行背景差分处理之后会生成左目图像的背景图像、左目图像的前景图像、右目图像的背景图像以及右目图像的前景图像。其中左目图像的前景图像以及右目图像的前景图像称为一对前景图像，而左目图像的背景图像以及右目图像的背景图像称为一对背景图像。以上过程称为背景差分过程。

在背景差分处理之后，可以进行噪点问题处理，空洞问题处理以及遮挡问题处理。噪点一般是由视场范围内光影的变化，或者非目标物体的轻微移动(如树叶)导致的，会在图像上产生多个斑点或小片区域，这些区域通常不是用户关注的目标，可以过滤掉。在本申请一个优选的例子中，使用先验参数来处理，对于监控目标而言，如人或者车辆，其在图像当中长度和宽度的最小值，假设为h0和w0，单位为像素，此时可以得到如下推理：目标区域中的任何一点，都能在该区域边缘上找到一个点，使其相对距离大于等于dmin＝max(h0/2,w0/2)；当然其前提条件通常是该区域边缘是连续的。

此时可以对图像内部的所有区域进行扫描，对任何一个区域边缘的点，获取其外边缘轮廓上的所有点，然后计算这些点和区域内部点的相对距离d，如果有d>＝dmin，则保留该区域，如果边缘上所有的点都无法满足d>＝dmin，则过滤该区域，这说明该区域的尺寸不符合先验参数。对于区域内部的点，可以采取上下左右4个方向寻找最近的边缘点，找到之后，以此点为起始，将该区域连续的边缘轮廓点获取并记录在一个集合当中，当该区域被确认保留或者过滤之后，可以对此集合置标识位，后续只要检测到其边缘点和该集合重复，则认为属于同一个区域，不需要进一步计算，可有效提升计算速度。

针对左目图像和右目图像的背景差分处理可以有效地提升视差图像生成的速度，也就是提高整体输出的实时性。在监控领域的大部分应用场景中，其背景通常对比前景图像而言是相对静态的，所谓相对静态是相对于前景来说变化速度很慢。比如说位于银行营业大厅的摄像机采集到的画面中，背景图像就是银行营业大厅的图像，其变化通常是因为光线等因素引起的，很少产生瞬时的巨大变化。而摄像机采集到的前景通常大部分来银行办理业务的客户以及银行的工作人员。前景的变化速度以及幅度都远远超过背景。

如果未将前景和背景区分开来分别进行处理，而是按照整幅图像的方式进行处理，一般都会采用单一的算法来处理整幅图像，为了适应快速移动目标的处理，会选择效率上相对妥协的算法，整体计算速度较慢，难以在合理计算资源下获得较好的实时性体验。在本申请中，将图像差分为前景和背景之后，针对一对背景图像可以采用第一视差算法进行视差图像计算，第一视差算法通常是一些更为适宜处理变化缓慢图像的视差算法，比如说BM3D(Block Method of 3-Dimension)算法、SGBM(semi-global block matching)算法、GC(图割)算法等，这些算法在处理变化缓慢的图像的视差计算上具有较大的优势。在一个例子中，本申请中相邻两个背景视差图像的生成时间相差若干图像帧的时间，也就是说背景视差图像并不是每一帧图像都进行计算的，背景视差图像的计算结果可以在数分钟甚至更长时间内都是可以使用的。这里的所谓可以使用是指即便背景视差图像的变化没有被非常准确地实时地反映出来，但最终结果也能被使用者所接受，比如说某个银行大堂内背景图像的变化(比如某个宣传牌被移开)没有被及时反映出来，其影响对于监控业务本身而言并没有太大影响。

请参考图3的示意，这个例子只是原理性的示例，具体参数由开发人员根据实际需要调整。假设当前正在使用背景视差图像3，其使用的时间范围是从3001帧到4000帧，这段时间内背景视差图像将一直是背景视差图像3，其可以存放在内存指定位置供后续步骤使用。当3901帧到来的时候，开始计算背景视差图像4，此时有100帧的时间来计算新的背景视差图像4，因此背景视差图像对计算资源的要求将非常低，可以节约出大量的计算资源，新的背景视差图像4计算出来之后可以在4001帧的时候覆盖掉原来的背景视差图像3，如此循环下去。

从另一个角度来说，由于前景图像是变化较大的，但是经过差分之后，前景图像的尺寸肯定小于整个原始的左目或右目图像，而且值得注意的是，有时候监控图像的前景部分很小，甚至可能没有前景。由于处理对象变小了，那么处理速度自然可以有较大的提升，实时性体验可以得到更好地保障。针对前景图像的视差图像计算可以采用不同于第一视差算法的第二视差算法，比如各种动态类型的视差算法。在优选的例子中，第一视差算法在处理背景图像上的效率一般不低于第二视差算法；而第二视差算法在处理前景图像上的效率一般不低于第一视差算法。

从前面的描述中可以看出，本申请采用了先图像差分处理，分别计算两个视差图像再整合的方式。这个过程中，背景视差图像部分并不是真正的实时处理，但可以满足用户对实时性的实际感知要求，如此可以节约大量计算资源，这些计算资源可以提升前景视差图像的生成速度，在一个例子中，本申请提供更加优化的方案来在保障一定图像质量的基础上提升前景视差图像生成的速度。本申请的第二视差算法包括第一维度(比如水平维度)和/或第二维度(比如垂直维度)的扫描过程。在一个优选的例子中，可以包括在第一维度上可以包括两个相对方向的扫描过程，比如自上而下的水平扫描以及自下而上的水平扫描，在第二维度上有一个从左到右的扫描过程。一个或多个扫描过程可以有效地解决空洞问题以及遮挡问题，上述扫描过程具体包括：

S1，针对前景图像进行扫描，计算扫描线上每个像素点的视差；

S2，判断当前扫描线是否具有预设的传播例外规则，如果是转S3，否则转S4；

S3，按照初始置信规则设置当前扫描线的置信等级，转S5；

S4，判断前一扫描线的置信等级是否为第一等级，如果是则将当前扫描线设置为第一等级，否则转S3；

S5，判断当前扫描线是否为本次扫描过程的最后一条扫描线，如果是则结束，否则转S1。

以下将以图4为例介绍第二视差算法的具体实现。在介绍之前先对一些参数以及概念加以说明。假设前景图像(也称为“目标”)是行人，其他类型的目标处理方式类似。在图4中，有行人甲以及行人乙，根据成像结果，从镜头取景方向观察，显然行人乙位于行人甲的后方，此时行人甲的下半身至少有一部分与行人乙不重合，或者说没有被行人乙所遮挡。图4中，左目图像中初始扫描线0两个边缘点分别标记为f0以及g0，而在右目图像中扫初始扫描线0两个边缘点分别为f1以及g1。左目图像中扫描线A两个边缘点分别标记为a1以及b1，而在右目图像中扫描线A两个边缘点分别为a2以及b2。左目图像中扫描线B两个边缘点分别标记为c1以及d1，而在右目图像中扫描线B两个边缘点分别为c2以及d2。在计算视差的过程中，可以采用水平维度扫描和/或者垂直维度扫描的方式来计算每个像素点的视差并确定视差的置信等级。

在本申请中，置信等级可以分为多个等级，在一个简单的实现方式中，置信等级分为一个较高的第一等级以及一个较低的第二等级。当然在复杂的例子中，第一等级可以细分为第一等级A、第一等级B……，第二等级也可以细分为第二等级A、第一等级B……。先介绍置信等级的传播规则：在本申请一个例子中，假设扫描采用从下到上的水平扫描方式，若前一扫描线(也就是下方的扫描线)的置信等级为第一等级，且当前扫描线不存在传播例外规则，则当前扫描线的置信等级也可以被置为第一等级。所谓传播例外规则可以包括以下几种规则中的一种或多种，当然开发者还可以根据业务需要定义更多的传播例外规则。

第一规则：当前扫描线相对于前一扫描线的长度变化大于指定阈值；比如前后两条扫描线的长度变化大于指定阈值(比如20％)；

第二规则：当前扫描线连续性区域的变化方向与前一扫描线不一致；比如说，左目前景图像的连续性区域向左侧延伸，而右目图像的连续性区域向右延伸；

第三规则：当前扫描线的连续性区域的长度大于预设的先验参数；比如说图3中，假设行人这样的目标的先验宽度是w，而两个人在宽度上的总和却大于2w；

第四规则：当前扫描线与前一扫描线相比连续性区域的数量不一致；比如图5中两个虚线之间的区域中，左目图像中连续性区域为3个，而右目图像中连续性区域为2个。

对于初始扫描线而言，其没有前一扫描线上视差的置信等级可以参考；或者说如果前一扫描线上视差置信等级是第二等级，不符合前述传播条件，也可以视为初始扫描线。遇到初始扫描线时，需要进行初始置信等级计算。请参考图3，在一个例子中，若所述一对前景图像在扫描线上的长度差值小于预设差值，则将当前扫描线的置信等级设置为第一等级，否则设置为第二等级。比如说1.2*|g1-f1|>＝|g0-f0|>＝0.8*|g1-f1|)则将该扫描线上所有视差的置信等级设置为第一等级，反之则可以置为第二等级。在图4的例子中，显然这个条件是满足的，初始扫描线上所有点的视差的置信等级是第一等级。根据上一段描述的传播原则，扫描到扫描线B之前，所有的扫描线(包括扫描线A)的置信等级都是第一等级。当扫描到扫描线B时，由于扫描线B相对于前一扫描线发生了突变，传播例外规则被满足，置信等级传播过程终止。此时要进行初始置信等级计算来确定扫描线B以及后续扫描线的置信等级，在传播终止时，相应将扫描线B及后续扫描线的置信等级降为第二等级。值得注意的是，这里说的扫描线的置信等级事实上是简化的说法，因为在没有进行单个点的视差调整之前，每个扫描线上所有点的视差置信等级都是相同的，因此简称为扫描线的置信等级。

请继续参考图4，在从下到上的水平扫描过程中，在扫描线B处置信等级传播的条件不再满足，传播终止。导致传播终止的主要原因是行人甲与行人乙之间形成了遮挡，遮挡会导致传播例外规则得到满足，不利于置信等级传播。然而行人乙的上部并没有被遮挡，但从下向上的水平扫描的过程中，行人乙的上部的置信等级将被置为第二等级。在另一个例子中，除了进行从下而上的扫描过程，还进行一个相对的从上而下的水平扫描，这个过程是处理与从下而上的扫描过程的处理一致；但是在处理结果上将导致行人乙上部(图3中扫描线C以上的部分)的置信等级将被提升为第一等级，在从上到下的扫描过程中，行人甲下部，也就是扫描线B以下的区域的置信等级是第二等级，但是由于之前从下到上的扫描过程中，其已经被置为更高的第一等级，此时可以保持置信等级不变，刷新的原则是高等级替代低等级，反之则保持不变。

请参考图5所示，实际图像中的行人并非矩形，其更加接近图5中所示的形状，因此实际的处理过程中，针对一部分前景图像，两个相对方向的水平扫描依然可能无法获得比较精确的视差估计，此时可以引入一个方向或两个方向的垂直扫描。处理过程类似，不再一一赘述。

视差的初始计算：

本申请对视差的具体运算要求较低，假设计算左目前景图像各个像素点的视差。请参考图4，a1和a2在两张图像上的位置差(假设为da)可以被视为左边缘点a1的视差，此时da的计算比较简单，可参考各种成熟技术实现，此处不再赘述。同理，b1和b2的位置差db可以被视为右边缘点b1的视差。假设|b1-a1|＝|b2-a2|，则必然可以推导出|a2-a1|＝|b2-b1|，即da＝db，这说明a1和b1两点在摄像机取景上的深度有非常大的可能性是相同的，如果a1和b1确实处于同一个目标物体的左右两侧，则这种可能性非常高，此时a1和b1之间的像素点可以全部置为da，如果da不完全等于db，但差异较小，比如小于20％的差异，则可以按照简单的线性差分计算的方式将a1和b1之间的其他像素点视差估计出来，比如说，对于扫描线A中的任意一个点m，其视差dm＝da*|b1-a1|/|m-a1|。

如前所述，由于很多突变是由遮挡问题引起的，请参考图6，此时左目图像中c1这个点事实上是在行人乙上的，而右目图像中c1对应的匹配像素点不是c2，因为c2是在行人甲上的。请参考图6，针对线性差分计算过程中出现左右两个前景图像上的两个像素点不匹配的这种情况，本申请提供一种简洁但有效的视差估算方法。在当前扫描线在左目前景图像以及右目前景图像上存在相反方向突变时，，计算该扫描线上每个像素点的视差过程包括：

取右目图像中两个边缘像素点c2和d2位置的中心像素点m2，然后获取像素点c3＝m2-w/2以及像素点d3＝m2+w/2，其中w为前景图像的预设先验宽度，使用c3作为左目图像上一个边缘点c1在右目图像上的匹配点，使用d3作为左目图像上另一个边缘像素点d1的匹配点，然后使用线性差分方法计算c1到d1之间像素点的视差。此时由于c1和d1之间的视差计算方法多少会引入一定的误差，所以该线性区域的视差置信等级直接置为低。

在完成扫描之后，以左目图像为基准来看，其上的每个像素点的视差以及视差的置信等级都已经获得，其中可能存在一部分像素点的视差置信等级为第二等级，也就是说这些点的视差是置信等级比较低，换个角度说就是视差的计算结果不可靠有待修正。在本申请一个例子中，选择第二等级的像素点作为待调像素点，针对该待调整像素点进行视差修正，其中该修正过程包括：

在第一维度的两个相对的方向以及第二维度的两个相对方向上进行遍历以获取四个方向上置信等级为第一等级的参考像素点；其中

修正后的视差

其中Ci为预设的参考像素点的权值；ΔDi为第i个参考像素点与待调整像素点的位置差，σs为ΔDi的权重。Δmi为第i个参考像素点与待调整像素点灰度差，σr为Δmi，di为第i个参考像素点的视差。

这里采用了比较简洁效率较校稿的上下左右四个方向最邻近高置信等级(比如第一等级)像素点的加权求和方法，在一个例子中，针对置信等级为第二等级的待修正像素点，则以该像素点为中心，在上下方向各取不超过h/2的长度的连续区域进行扫描，其中h为目标的先验高度、在左右方向各取w/2的长度连续性区域内进行扫描，找到最邻近的置信等级为第一等级的参考像素点。在任意一个方向上找到参考像素点之后，在该方向上可以停止继续扫描，此时在其反方向上可以增加扫描的长度，确保总的扫描长度在水平维度不能超过w，或者在垂直维度的扫描长度大超过h即可。如果某个方向上没有找到符合要求的像素点，则权值为0，如果4个方向都没有找到，则该待修正像素点不进行视差修正，或者说修正幅度为0，视差保持不变。

举例来说，假定4个方向的参考像素点都找到了，对于置信等级为第一等级的参考像素点，赋予对应的权值。当然第一等级事实上又可以细分为第一等级A以及第一等级B，甚至更多的小等级。假设第一等级A赋予权值1，第一等级B赋予权值0.8。4个被找到的像素点的权值可以记为C1、C2、C3、C4。4个像素点和待调整像素点的位置差记为ΔD1、ΔD2、ΔD3、ΔD4。4个参考像素点和待调整像素点的灰度差分别记为Δm1、Δm2、Δm3、Δm4。4个参考像素点的视差分别记为D1、D2、D3、D4。

公式一考虑到像素点的位置差异、灰度差异以及置信等级差异，具有较好的修正效果，一般情况下，像素点的视差修正之后，置信等级可以继续保持在第二等级，假设第二等级又细分为第二等级A和第二等级B，那么可以将置信等级从第二等级B提升为第二等级A，表示已经可以接受无需进一步修正。换个角度来说，修正是针对置信等级等级更低的第二等级B的像素点进行的。但针对一些比较特殊的情况，如果出现待调整像素点只在一个维度上的两侧(比如上下或者左右两侧)存在置信等级为第一等级的两个像素点，并且这两个像素点的视差满足接近原则(比如差异在5％以内)，则可以将该待调整像素点的置信等级提升到更高的第一等级。这种特殊情况往往对应到一个维度有遮挡，另一个维度上没有遮挡。

经过前述扫描以及视差修正等处理之后，就可以获得前景视差图像。此时可以根据前景视差图像以及当前正在使用背景视差图像合成一个完整视差图像。而图像的合成属于现有技术，其所需要的处理时间通常较短，本质上只是像素点覆盖的问题，不再一一赘述。在一个较佳的例子中，在进行合成处理之前，还可以对前景视差图像使用动态规划算法进行求精处理。

在一个例子中，针对前景图像在扫描和视差计算完成之后，可以水平和垂直两个维度上进行求精处理，具体来说可以使用两次迭代的动态规划算法进行视差求精(也可以视计算资源进行更多次的迭代，视差会进一步精确)。假设目标是行人，考虑到行人的姿态在大多数情况，水平方向和垂直方向都会有明显的连续性视差区域，所以使用两个方向分别进行动态规划，可以有效提升精度。无论是水平还是垂直维度，不同连续区域内的视差可能完全不同，此时可以认为这些区域是相互独立的，所以动态规划算法不同于传统的行扫描线，一行对应一次规划结果，而是一行对应多次规划结果(如果有多个连续区域)，这些结果相互独立，并只作用于后续动态规划时的相邻区域。在本申请一个例子中，动态规划算法采取的匹配成本聚集函数如公式二所示：

公式二

其中k和i为大于1的自然数，且k>i，r代表方向，可以采取8方向的聚集函数，即上述函数需要计算8次。P1和P2分别代表对应方向的像素点在和相邻像素点灰度差超过1或者2时所需要给出的惩罚因子，且满足P2>P1。Lr(p-r,d)代表p像素点的r方向上的匹配成本，如果取视差为d，得到的匹配成本。C(p,d)则代表像素点p的原始匹配成本，一般通过局部窗口匹配开销的汇总计算得出。

考虑到在前景图像上，局部窗口深度接近或相同的可能性较大，本申请提出一种新的匹配开销计算方法，结合了权值、梯度以及传统的像素点位置差和灰度差等因素。在实现时，可以先二值化前景图像，然后将待检测窗口和二值化图像相与，非0区域给予更高的权值Ch，其它区域给予较低的权值Cl，一般情况下Ch>＝10Cl，下述公式三中q像素点的权值使用Cq标识。计算左右图像对应局部窗口每个像素点周边八个方向的梯度，两个对应像素点八个梯度相等的数量记为lnum，其它参数的意义和传统算法相同，则匹配开销算法如下：

公式三

其中C(p,d)则代表像素点p的原始匹配成本，Cq表示与像素点p(假设在左目图像上)对应的像素点q(假设在右目图像上)的权值，所述|p-q|表示两个像素点的位置差；|I(p)-I(q)|表示两个像素点的灰度差；lnum表示两个像素点八个梯度相等的数量；σs为位置差的权重，σr为灰度差的权重；σ_l为lnum的权重。从公式三中可以看出，Cq和lnum的值越大，则q像素点的权值越高(即参考意义更大)，如果两个区域的像素点都在一个平面上(或接近于一个平面)，则lnum的值通常会比较高。由于这里使用的是梯度统计，即使两张图像的亮度稍有区别，同一个平面对应位置的像素点梯度相同的可能性依然很大，所以上述匹配开销的计算方法相对于传统算法更加精确。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (16)

1.一种快速视差图像计算装置，应用于图像处理设备上，其特征在于：所述装置包括：

背景差分单元，用于将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；

背景视差单元，用于按照预设的第一视差算法基于一对背景图像生成背景视差图像；

前景视差单元，用于按照预设的第二视差算法基于一对前景图像生成前景视差图像；

图像整合单元，用于将前景视差图像与当前背景视差图像整合为完整的视差图像；

所述第二视差算法针对前景图像的扫描过程包括：

S1，针对前景图像进行扫描，计算扫描线上每个像素点的视差；

S2，判断当前扫描线是否具有预设的传播例外规则，如果是转S3，否则转S4；

S3，按照初始置信规则设置当前扫描线的置信等级，转S5；

S4，判断前一扫描线的置信等级是否为第一等级，如果是则将当前扫描线设置为第一等级，否则转S3；

S5，判断当前扫描线是否为本次扫描最后一条扫描线，如果是则结束，否则转S1；

所述按照初始置信规则设置当前扫描线的置信等级具体包括：

若所述一对前景图像在扫描线上的长度差值小于预设差值，则将当前扫描线的置信等级设置为第一等级，否则设置为第二等级；

所述预设的传播例外规则包括以下规则中的一种或多种：

第一规则：当前扫描线相对于前一扫描线的长度变化大于指定阈值；

第二规则：当前扫描线连续性区域的变化方向与前一扫描线不一致；

第三规则：当前扫描线的连续性区域的长度大于预设的先验参数；

第四规则：当前扫描线与前一扫描线相比连续性区域的数量不一致。

2.如权利要求1所述的装置，其特征在于，所述第一视差算法与第二视差算法不同，且所述第一视差算法具体包括：间隔多个原始图像帧更新计算一次当前背景视差图像。

3.如权利要求1所述的装置，其特征在于，所述第二视差算法包括：

一个第一维度上两个相对方向的扫描过程；或者

一个第一维度上两个相对方向的扫描过程以及第二维度上的扫描过程。

4.如权利要求1所述的装置，其特征在于，所述一对前景图像包括左目前景图像以及右目前景图像，在当前扫描线在左目前景图像以及右目前景图像上不存在相反方向突变时，计算扫描线上每个像素点的视差过程包括：

先计算出扫描线上两个边缘像素点的视差，然后使用线性差分方法计算出其他像素点的视差；

在当前扫描线在左目前景图像以及右目前景图像上存在相反方向突变时，计算该扫描线上每个像素点的视差过程包括：

取右目图像中两个边缘像素点c2和d2位置的中心像素点m2，然后获取像素点c3＝m2-w/2以及像素点d3＝m2+w/2，其中w为前景图像的预设先验宽度，使用c3作为左目图像上一个边缘点c1在右目图像上的匹配点，使用d3作为左目图像上另一个边缘像素点d1的匹配点，然后使用线性差分方法计算c1到d1之间像素点的视差。

5.如权利要求1所述的装置，其特征在于，所述置信等级包括第一等级以及第二等级，前景视差单元进一步用于选择第二等级的像素点作为待调像素点，针对该待调整像素点进行视差修正，其中该修正过程包括：

在第一维度的两个相对的方向以及第二维度的两个相对方向上进行遍历以获取四个方向上置信等级为第一等级的参考像素点；其中

修正后的视差

其中Ci为预设的参考像素点的权值；ΔDi为第i个参考像素点与待调整像素点的位置差，σs为ΔDi的权重，Δmi为第i个参考像素点与待调整像素点灰度差，σr为Δmi的权重，di为第i个参考像素点的视差。

6.如权利要求1所述的装置，其特征在于，还包括：

动态规划单元，用按照预设的动态规划算法对前景视差图像进行求精规划后提供给图像整合单元；其中所述动态规划算法中使用的匹配开销算法具体为：

其中C(p,d)则代表像素点p的原始匹配成本，Cq表示像素点q的权值，所述|p-q|表示两个像素点的位置差；|I(p)-I(q)|表示两个像素点的灰度差；lnum表示两个像素点八个梯度相等的数量；σs为位置差的权重，σr为灰度差的权重；σ_l为lnum的权重。

7.如权利要求6所述的装置，其特征在于，所述预设的动态规划算法为：在水平和垂直两个维度进行两次迭代的动态规划算法。

8.如权利要求6所述的装置，其特征在于，在所述动态规划算法中，一个扫描线对应于的规划结果数量与该扫描线上存在的连续区域数量对应，且每个规划结果是相互独立的；所述动态规划算法中使用的匹配成本聚焦函数具体为：

其中k和i为大于1的自然数，且k>i；r代表预设方向的数量，P1和P2分别代表对应方向的像素点如果和相邻像素点灰度差超过1或者2时所对 应的惩罚因子，且P2>P1；所述d为p像素点的视差，所述Lr(p-r,d)代表p像素点的r方向上的匹配成本，所述C(p,d)表示像素点p的原始匹配成本。

9.一种快速视差图像计算方法，应用于图像处理设备上，其特征在于：所述方法包括：

将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；

按照预设的第一视差算法基于一对背景图像生成背景视差图像；

按照预设的第二视差算法基于一对前景图像生成前景视差图像；

将前景视差图像与当前背景视差图像整合为完整的视差图像；

所述第二视差算法针对前景图像的扫描过程过程包括：

S1，针对前景图像进行扫描，计算扫描线上每个像素点的视差；

S2，判断当前扫描线是否具有预设的传播例外规则，如果是转S3，否则转S4；

S3，按照初始置信规则设置当前扫描线的置信等级，转S5；

S4，判断前一扫描线的置信等级是否为第一等级，如果是则将当前扫描线设置为第一等级，否则转S3；

S5，判断当前扫描线是否为本次扫描最后一条扫描线，如果是则结束，否则转S1；

所述按照初始置信规则设置当前扫描线的置信等级具体包括：

若所述一对前景图像在扫描线上的长度差值小于预设差值，则将当前扫描线的置信等级设置为第一等级，否则设置为第二等级；

所述预设传播例外规则包括以下规则中的一种或多种：

第一规则：当前扫描线相对于前一扫描线的长度变化大于指定阈值；

第二规则：当前扫描线连续性区域的变化方向与前一扫描线不一致；

第三规则：当前扫描线的连续性区域的长度大于预设的先验参数；

第四规则：当前扫描线与前一扫描线相比连续性区域的数量不一致。

10.如权利要求9所述的方法，其特征在于，所述第一视差算法与第二视差算法不同，且所述第一视差算法具体包括：间隔多个原始图像帧更新计算一次当前背景视差图像。

11.如权利要求9所述的方法，其特征在于，所述第二视差算法包括：

一个第一维度上两个相对方向的扫描过程；或者

一个第一维度上两个相对方向的扫描过程以及第二维度上的扫描过程。

12.如权利要求11所述的方法，其特征在于，所述一对前景图像包括左目前景图像以及右目前景图像，在当前扫描线在左目前景图像以及右目前景图像上不存在相反方向突变时，计算扫描线上每个像素点的视差过程包括：

先计算出扫描线上两个边缘像素点的视差，然后使用线性差分方法计算出其他像素点的视差；

在当前扫描线在左目前景图像以及右目前景图像上存在相反方向突变时，计算该扫描线上每个像素点的视差过程包括：

取右目图像中两个边缘像素点c2和d2位置的中心像素点m2，然后获取像素点c3＝m2-w/2以及像素点d3＝m2+w/2，其中w为前景图像的预设先验宽度，使用c3作为左目图像上一个边缘点c1在右目图像上的匹配点，使用d3作为左目图像上另一个边缘像素点d1的匹配点，然后使用线性差分方法计算c1到d1之间像素点的视差。

13.如权利要求11所述的方法，其特征在于，所述置信等级包括第一等级以及第二等级，前景视差单元进一步用于选择第二等级的像素点作为待调像素点，针对该待调整像素点进行视差修正，其中该修正过程包括：

在第一维度的两个相对的方向以及第二维度的两个相对方向上进行遍历以获取四个方向上置信等级为第一等级的参考像素点；其中

修正后的视差

其中Ci为预设的参考像素点的权值；ΔDi为第i个参考像素点与待调整 像素点的位置差，σs为ΔDi的权重，Δmi为第i个参考像素点与待调整像素点灰度差，σr为Δmi的权重，di为第i个参考像素点的视差。

14.如权利要求11所述的方法，其特征在于，还包括：

在进行整合处理之前，按照预设的动态规划算法对前景视差图像进行求精规划；其中所述动态规划算法中使用的匹配开销算法具体为：

其中C(p,d)则代表像素点p的原始匹配成本，Cq表示像素点q的权值，所述|p-q|表示两个像素点的位置差；|I(p)-I(q)|表示两个像素点的灰度差；lnum表示两个像素点八个梯度相等的数量；σs为位置差的权重，σr为灰度差的权重；σ_l为lnum的权重。

15.如权利要求14所述的方法，其特征在于，所述预设的动态规划算法为：在水平和垂直两个维度进行两次迭代的动态规划算法。

16.如权利要求14所述的方法，其特征在于，在所述动态规划算法中，一个扫描线对应于的规划结果数量与该扫描线上存在的连续区域数量对应，且每个规划结果是相互独立的；所述动态规划算法中使用的匹配成本聚焦函数具体为：

其中k和i为大于1的自然数，且k>i；r代表预设方向的数量，P1和P2分别代表对应方向的像素点如果和相邻像素点灰度差超过1或者2时所对应的惩罚因子，且P2>P1；所述d为p像素点的视差，所述Lr(p-r,d)代表p像素点的r方向上的匹配成本，所述C(p,d)表示像素点p的原始匹配成本。