CN105427336A - 一种基于双目视频的测距方法和装置 - Google Patents

Abstract

本发明公开了一种基于双目视频的测距方法和装置。该方法包括，获取双目图像；对双目图像进行预处理；通过立体匹配算法从双目图像中找到各像素点匹配的对应点，计算双目图像各像素点的视差值，获得视差图；设置样本集，采用被处理的第一帧视差图对样本集进行初始化；利用样本集对当前帧视差图进行视差优化和提取目标，并更新样本集，将其用于下一帧视差图的视差优化和提取目标；对从当前帧视差图提取出的目标的所有像素点的视差值求取平均值，根据双目测距原理，计算获得目标的距离。本发明提供的技术方案采用立体匹配算法得到视差图后，通过多帧的处理提高算法精度，并且有效地提取出目标，能够解决现有技术效率和精度不能兼顾的问题。

Description

一种基于双目视频的测距方法和装置

技术领域

本发明涉及双目立体视觉技术领域，尤其涉及一种基于双目视频的测距方法和装置。

背景技术

目前由于摄像机的广泛应用，因此视频分析在各行各业也得到广泛的应用。距离测量有很多种方式，比如激光等，每种方式都有其优缺点，因此根据应用的领域不同，因此也会采用不同的方式。由于图像的信息量较大，可以自动进行目标检测，并对目标进行距离测量，因此双目立体视觉也被越来越多的人关注及使用，立体匹配是立体测距的关键一步，但是由于目前立体匹配算法有很多不足，比如简单的算法，计算的深度图不精确噪点多，复杂的算法，计算出的深度图精确，但是耗时较多，达不到实时，不能广泛地在工程中应用。

发明内容

鉴于上述现有技术中根据双目立体视觉计算深度图的精确度和计算速度无法同时满足要求的问题，本发明提供了一种基于双目视频的测距方法和装置，以解决上述问题或者至少部分地解决上述问题。

依据本发明的一个方面，提供了一种基于双目视频的测距方法，该方法包括，

获取双目图像；

对所述双目图像进行预处理，包括极线矫正和灰度化处理；

通过立体匹配算法从双目图像中找到各像素点匹配的对应点，计算双目图像各像素点的视差值，获得视差图；

设置样本集，采用被处理的第一帧视差图对样本集进行初始化；

利用所述样本集对当前帧视差图进行视差优化和提取目标，并更新所述样本集，将其用于下一帧视差图的视差优化和提取目标；

对从当前帧视差图提取出的目标的所有像素点的视差值求取平均值，根据双目测距原理，计算获得目标的距离。

可选地，所述设置样本集，采用被处理的第一帧视差图对样本集进行初始化包括：

设置样本集，该样本集有N个样本，对于每个样本，采用第一帧视差图的(i，j)点，随机选择它的领域点的灰度值做为样本中与该(i，j)点对应的点的样本值。

可选地，所述利用所述样本集对当前帧视差图进行优化和提取目标，并更新所述样本集包括：

a、对每个像素点，计算该像素点灰度值与样本集中各样本对应点的灰度值的差值绝对值，并与第一预设值比较，统计所述差值绝对值小于第一预设值的样本对应点的个数；

b、当所述差值绝对值小于第一预设值的样本对应点的个数大于第二预设值时，判断该点不是目标点，将该像素点和与该像素点的差值绝对值小于第一预设值的样本对应点的灰度值求平均值，得到第一平均值，将该像素点的灰度值修正为该第一平均值，并同时将样本集中随机一个样本的对应点灰度值修正为该第一平均值，随机一个样本的对应点领域点的灰度值修正为该第一平均值；

c、当所述差值绝对值小于第一预设值的样本对应点的个数小于等于第二预设值时，判断该点为目标点，将该像素点和与该像素点的差值绝对值大于等于第一预设值的样本对应点的灰度值求平均值，得到第二平均值，将该像素点的灰度值修正为该第二平均值；

d、对获得的目标点进行聚类，获取目标的位置及大小。

可选地，所述样本集有20个样本，所述像素点的邻域大小为3×3。

可选地，所述立体匹配算法采用SAD算法、NCC算法或SSD算法；

当采用SAD算法或NCC算法进行立体匹配时，对立体匹配算法的窗口大小进行优化，包括：

设置初始窗口值W0，最大窗口WL，设置阈值T；

以要处理的像素点为中心，以初始窗口大小计算灰度平均值M1，同时扩大窗口到W后再次计算平均值M2，如果|M2-M1|≥T，则选择窗口为W，如果|M2-M1|<T，则再次扩大窗口；直至|M2-M1|≥T，或者W≥WL时，停止搜索，获得窗口大小为W。

依据本发明的另一个方面，提供了一种基于双目视频的测距装置，该装置包括，

图像获取单元，用于获取双目图像；

图像预处理单元，用于通过极线矫正和灰度化处理对所述双目图像进行预处理；

立体匹配单元，用于通过立体匹配算法从双目图像中找到匹配的对应点，计算双目图像各像素点的视差值，获得视差图；

样本初始化单元，用于设置样本集，采用被处理的第一帧视差图对样本集进行初始化；

优化提取单元，用于利用所述样本集对当前帧视差图进行视差优化和提取目标，并更新所述样本集，供下一帧视差图的视差优化和提取目标使用；

距离计算单元，用于对从当前帧视差图提取出的目标的所有像素点的视差值求取平均值，根据双目测距原理，计算获得目标的距离。

可选地，所述样本初始化单元，设置有N个样本的样本集，随机选择视差图的(i，j)点的领域点的灰度值做为样本中与该(i，j)点对应的点的样本值。

可选地，所述优化提取单元，适于对当前帧每个像素点，计算该像素点灰度值与样本集中各样本对应点的灰度值的差值绝对值，并与第一预设值比较，统计所述差值绝对值小于第一预设值的样本对应点的个数；当所述差值绝对值小于第一预设值的样本对应点的个数大于第二预设值时，判断该点不是目标点，将该像素点和与该像素点的差值绝对值小于第一预设值的样本对应点的灰度值求平均值，得到第一平均值，将该像素点的灰度值修正为该第一平均值，并同时将样本集中随机一个样本的对应点灰度值修正为该第一平均值，随机一个样本的对应点领域点的灰度值修正为该第一平均值；当所述差值绝对值小于第一预设值的样本对应点的个数小于等于第二预设值时，判断该点为目标点，将该像素点和与该像素点的差值绝对值大于等于第一预设值的样本对应点的灰度值求平均值，得到第二平均值，将该像素点的灰度值修正为该第二平均值；对获得的目标点进行聚类，提取目标。

可选地，所述样本集有20个样本，所述像素点的邻域大小为3×3。

可选地，所述立体匹配单元，适于采用SAD算法、NCC算法或SSD算法进行立体匹配；当采用SAD算法或NCC算法进行立体匹配时，所述立体匹配单元还适于对立体匹配算法的窗口大小进行优化，包括：

设置初始窗口值W0，最大窗口WL，设置阈值T；

以要处理的像素点为中心，以初始窗口大小计算灰度平均值M1，同时扩大窗口到W后再次计算平均值M2，如果|M2-M1|≥T，则选择窗口为W，如果|M2-M1|<T，则再次扩大窗口；直至|M2-M1|≥T，或者W≥WL时，停止搜索，获得窗口大小为W。

由上述可知，本发明提供的技术方案采用立体匹配算法得到视差图后，通过多帧的处理提高算法精度，并且在多帧处理过程中有效地提取出目标，对目标进行距离测量，能够有效地、实时地提取目标，满足测距精度的同时提高测距速度，解决现有技术效率和精度不能兼顾的问题。

附图说明

图1示出了根据本发明一个实施例的一种基于双目视频的测距方法的流程图；

图2示出了根据本发明一个实施例的一种基于双目视频的测距装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1示出了根据本发明一个实施例的一种基于双目视频的测距方法的流程图，如图1所示，该方法包括，

步骤S110，获取双目图像。

步骤S120，对双目图像进行预处理，包括极线矫正和灰度化处理。

步骤S130，通过立体匹配算法从双目图像中找到各像素点匹配的对应点，计算双目图像各像素点的视差值，获得视差图。

步骤S140，设置样本集，采用被处理的第一帧视差图对样本集进行初始化。

步骤S150，利用样本集对当前帧视差图进行视差优化和提取目标，并更新样本集，将其用于下一帧视差图的视差优化和提取目标。

步骤S160，对从当前帧视差图提取出的目标的所有像素点的视差值求取平均值，根据双目测距原理，计算获得目标的距离。

其中，双目测距原理不在详述，仅以如下公式来表述，

$Z=\frac{Bf}{d}$

其中Z表示目标距离，B为左右两个相机的实际距离，f为左右相机标定后的焦距。本发明技术方案对检测出的目标的所有像素点的视差值求取平均值代入上述公式来获得目标的距离。

本发明提供的技术方案采用立体匹配算法得到视差图后，通过多帧的处理提高算法精度，并且在多帧处理过程中有效地提取出目标，对目标进行距离测量，能够有效地、实时地提取目标，满足测距精度的同时提高测距速度，解决现有技术效率和精度不能兼顾的问题。

在本发明的一个实施例中，步骤S140设置样本集，采用被处理的第一帧视差图对样本集进行初始化包括：

设置样本集，该样本集有N个样本，对于每个样本，采用第一帧视差图的(i，j)点，随机选择它的领域点的灰度值做为样本中与该(i，j)点对应的点的样本值，例如，设置的样本集有20个样本，所选取的像素点的邻域大小为3×3。这种初始化方法能够充分利用像素点周围邻域点的特征，表征该像素点的性质，优点是对于噪声的反应比较灵敏，计算量小速度快。

在本发明的一个实施例中，步骤150利用样本集对当前帧视差图进行优化和提取目标，并更新所述样本集包括：

a、对每个像素点，计算该像素点灰度值与样本集中各样本对应点的灰度值的差值绝对值，并与第一预设值比较，统计差值绝对值小于第一预设值的样本对应点的个数；

b、当差值绝对值小于第一预设值的样本对应点的个数大于第二预设值时，判断该点不是目标点，将该像素点和与该像素点的差值绝对值小于第一预设值的样本对应点的灰度值求平均值，得到第一平均值，将该像素点的灰度值修正为该第一平均值，并同时将样本集中随机一个样本的对应点灰度值修正为该第一平均值，随机一个样本的对应点领域点的灰度值修正为该第一平均值；

c、当差值绝对值小于第一预设值的样本对应点的个数小于等于第二预设值时，判断该点为目标点，将该像素点和与该像素点的差值绝对值大于等于第一预设值的样本对应点的灰度值求平均值，得到第二平均值，将该像素点的灰度值修正为该第二平均值；

d、对获得的目标点进行聚类，获取目标的位置及大小。

例如，设置第一预设值为Thr，第二预设值为MIN_MATCH，和值sum1＝sum2＝Gray(i，j)，Gray(i，j)为像素点(i，j)的灰度值，样本对应点计数器MatchCount＝0。

当样本集样本数量为20时，对每个像素点(i，j)，比较该灰度值Gray(i，j)与样本集中该点的灰度值reference[k](i,j)差值绝对值dist，共循环20次，k＝0～19。

其中，当差值绝对值dist<Thr，MatchCount++，并sum1＝sum1+reference[k](i,j)；当差值绝对值dist≥Thr，sum2＝sum2+reference[k](i,j)。

当MatchCount>MIN_MATCH,认为该点没有变化，则修正该点的灰度值为sum1/(MatchCount+1)；同时随机选取20个样本集的其中一个样本集的该点进行更新，将样本该点的灰度值更新为sum1/(MatchCount+1)，并再次随机选取一个样本集更新它的领域点的样本值，将该领域点的灰度值更新为sum1/(MatchCount+1)；当MatchCount≤MIN_MATCH,则该点为目标点，修正该点的灰度值为sum2/(20-MatchCount+1)。

依次对整幅图像进行以上步骤处理，之后对目标点进行聚类，获取目标的位置及大小。

由于所述样本集中保留有之前处理的各帧图像的信息，因此，通过利用上述样本集对视差图的视差优化和目标提取，可以将多帧视差图像的有效信息进行整合，剔除噪点，提高计算结果的精度，并更准确地提取出所要研究的目标。本发明的技术方案，不仅可以适用于对距离的测量，还可用于专门的对图像目标的识别等应用中，可应用范围广。

在本发明的一个实施例中，步骤S130中的立体匹配算法采用SAD算法、NCC算法或SSD算法。

立体视觉匹配(StereoMatching)是计算机视觉中的一个重要而又非常困难的问题，它的目标是从不同视点图像中找到匹配的对应点，常用的方法包括像素点灰度差的平方和算法(SSD)、像素点灰度差的绝对值和算法(SAD)和归一化交叉相关算法(NCC)等。

以SAD算法为例，SAD算法表达式为：

$SAD(i,j,disp)=\underset{h=-\frac{W-1}{2}}{\overset{h=\frac{W-1}{2}}{\&Sigma;}}\underset{k=-\frac{W-1}{2}}{\overset{k=\frac{W-1}{2}}{\&Sigma;}}|P_L(i+h,j+k)-P_R(i+h,j+k+disp)|$

上式中，P_L(i,j),P_R(i,j)分别表示左右图像的灰度值，W为窗口大小，disp为视差。

其中，SAD算法和NCC算法都需要采用一定大小的窗口进行立体匹配，在本发明的实施例中，当采用SAD算法或NCC算法进行立体匹配时，对立体匹配算法的窗口大小进行优化，包括：

设置初始窗口值W0，最大窗口WL，设置阈值T；以要处理的像素点为中心，以初始窗口大小计算灰度平均值M1，同时扩大窗口到W后再次计算平均值M2，如果|M2-M1|≥T，则选择窗口为W，如果|M2-M1|<T，则再次扩大窗口；直至|M2-M1|≥T，或者W≥WL时，停止搜索，获得窗口大小为W。

采用上述方法搜索最佳匹配窗口，能够对不同的图像进行自适应适配，提高立体匹配的效果。

图2示出了根据本发明一个实施例的一种基于双目视频的测距装置的示意图。如图2所示，该基于双目视频的测距装置200包括，

图像获取单元210，用于获取双目图像。

图像预处理单元220，用于通过极线矫正和灰度化处理对双目图像进行预处理。

立体匹配单元230，用于通过立体匹配算法从双目图像中找到匹配的对应点，计算双目图像各像素点的视差值，获得视差图。

样本初始化单元240，用于设置样本集，采用被处理的第一帧视差图对样本集进行初始化。

优化提取单元250，用于利用样本集对当前帧视差图进行视差优化和提取目标，并更新样本集，供下一帧视差图的视差优化和提取目标使用。

距离计算单元260，用于对从当前帧视差图提取出的目标的所有像素点的视差值求取平均值，根据双目测距原理，计算获得目标的距离。

在本发明的一个实施例中，样本初始化单元240，设置有N个样本的样本集，随机选择视差图的(i，j)点的领域点的灰度值做为样本中与该(i，j)点对应的点的样本值。

在本发明的一个实施例中，优化提取单元250，适于对当前帧每个像素点，计算该像素点灰度值与样本集中各样本对应点的灰度值的差值绝对值，并与第一预设值比较，统计差值绝对值小于第一预设值的样本对应点的个数；当差值绝对值小于第一预设值的样本对应点的个数大于第二预设值时，判断该点不是目标点，将该像素点和与该像素点的差值绝对值小于第一预设值的样本对应点的灰度值求平均值，得到第一平均值，将该像素点的灰度值修正为该第一平均值，并同时将样本集中随机一个样本的对应点灰度值修正为该第一平均值，随机一个样本的对应点领域点的灰度值修正为该第一平均值；当差值绝对值小于第一预设值的样本对应点的个数小于等于第二预设值时，判断该点为目标点，将该像素点和与该像素点的差值绝对值大于等于第一预设值的样本对应点的灰度值求平均值，得到第二平均值，将该像素点的灰度值修正为该第二平均值；对获得的目标点进行聚类，提取目标。

在本发明的一个实施例中，样本初始化单元240设置的样本集有20个样本，提取的像素点的邻域大小为3×3。

在本发明的一个实施例中，立体匹配单元230，适于采用SAD算法、NCC算法或SSD算法进行立体匹配；当采用SAD算法或NCC算法进行立体匹配时，立体匹配单元230还适于对立体匹配算法的窗口大小进行优化，包括：

设置初始窗口值W0，最大窗口WL，设置阈值T；以要处理的像素点为中心，以初始窗口大小计算灰度平均值M1，同时扩大窗口到W后再次计算平均值M2，如果|M2-M1|≥T，则选择窗口为W，如果|M2-M1|<T，则再次扩大窗口；直至|M2-M1|≥T，或者W≥WL时，停止搜索，获得窗口大小为W。

需要说明的是，图2所示装置的各实施例与上文图1所示方法的各实施例对应相同，上文已详细说明，在此不再赘述。

综上所述，本发明提供的技术方案采用立体匹配算法得到视差图后，通过多帧的处理提高算法精度，并且在多帧处理过程中有效地提取出目标，对目标进行距离测量，能够有效地、实时地提取目标，满足测距精度的同时提高测距速度，解决现有技术效率和精度不能兼顾的问题。本发明的技术方案，不仅可以适用于对距离的测量，还可用于专门的对图像目标的识别等应用中，可应用范围广。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于双目视频的测距方法，其特征在于，该方法包括，

获取双目图像；

对所述双目图像进行预处理，包括极线矫正和灰度化处理；

通过立体匹配算法从双目图像中找到各像素点匹配的对应点，计算双目图像各像素点的视差值，获得视差图；

设置样本集，采用被处理的第一帧视差图对样本集进行初始化；

利用所述样本集对当前帧视差图进行视差优化和提取目标，并更新所述样本集，将其用于下一帧视差图的视差优化和提取目标；

对从当前帧视差图提取出的目标的所有像素点的视差值求取平均值，根据双目测距原理，计算获得目标的距离。

2.如权利要求1所述的基于双目视频的测距方法，其特征在于，

所述设置样本集，采用被处理的第一帧视差图对样本集进行初始化包括：

设置样本集，该样本集有N个样本，对于每个样本，采用第一帧视差图的(i，j)点，随机选择它的领域点的灰度值做为样本中与该(i，j)点对应的点的样本值。

3.如权利要求2所述的基于双目视频的测距方法，其特征在于，所述利用所述样本集对当前帧视差图进行优化和提取目标，并更新所述样本集包括：

a、对每个像素点，计算该像素点灰度值与样本集中各样本对应点的灰度值的差值绝对值，并与第一预设值比较，统计所述差值绝对值小于第一预设值的样本对应点的个数；

b、当所述差值绝对值小于第一预设值的样本对应点的个数大于第二预设值时，判断该点不是目标点，将该像素点和与该像素点的差值绝对值小于第一预设值的样本对应点的灰度值求平均值，得到第一平均值，将该像素点的灰度值修正为该第一平均值，并同时将样本集中随机一个样本的对应点灰度值修正为该第一平均值，随机一个样本的对应点领域点的灰度值修正为该第一平均值；

c、当所述差值绝对值小于第一预设值的样本对应点的个数小于等于第二预设值时，判断该点为目标点，将该像素点和与该像素点的差值绝对值大于等于第一预设值的样本对应点的灰度值求平均值，得到第二平均值，将该像素点的灰度值修正为该第二平均值；

d、对获得的目标点进行聚类，获取目标的位置及大小。

4.如权利要求2所述的基于双目视频的测距方法，其特征在于，所述样本集有20个样本，所述像素点的邻域大小为3×3。

5.如权利要求1所述的基于双目视频的测距方法，其特征在于，所述立体匹配算法采用SAD算法、NCC算法或SSD算法；

当采用SAD算法或NCC算法进行立体匹配时，对立体匹配算法的窗口大小进行优化，包括：

设置初始窗口值W0，最大窗口WL，设置阈值T；

以要处理的像素点为中心，以初始窗口大小计算灰度平均值M1，同时扩大窗口到W后再次计算平均值M2，如果|M2-M1|≥T，则选择窗口为W，如果|M2-M1|<T，则再次扩大窗口；直至|M2-M1|≥T，或者W≥WL时，停止搜索，获得窗口大小为W。

6.一种基于双目视频的测距装置，其特征在于，该装置包括，

图像获取单元，用于获取双目图像；

图像预处理单元，用于通过极线矫正和灰度化处理对所述双目图像进行预处理；

立体匹配单元，用于通过立体匹配算法从双目图像中找到匹配的对应点，计算双目图像各像素点的视差值，获得视差图；

样本初始化单元，用于设置样本集，采用被处理的第一帧视差图对样本集进行初始化；

优化提取单元，用于利用所述样本集对当前帧视差图进行视差优化和提取目标，并更新所述样本集，供下一帧视差图的视差优化和提取目标使用；

距离计算单元，用于对从当前帧视差图提取出的目标的所有像素点的视差值求取平均值，根据双目测距原理，计算获得目标的距离。

7.如权利要求6所述的基于双目视频的测距装置，其特征在于，

所述样本初始化单元，设置有N个样本的样本集，随机选择视差图的(i，j)点的领域点的灰度值做为样本中与该(i，j)点对应的点的样本值。

8.如权利要求6所述的基于双目视频的测距装置，其特征在于，所述优化提取单元，适于对当前帧每个像素点，计算该像素点灰度值与样本集中各样本对应点的灰度值的差值绝对值，并与第一预设值比较，统计所述差值绝对值小于第一预设值的样本对应点的个数；当所述差值绝对值小于第一预设值的样本对应点的个数大于第二预设值时，判断该点不是目标点，将该像素点和与该像素点的差值绝对值小于第一预设值的样本对应点的灰度值求平均值，得到第一平均值，将该像素点的灰度值修正为该第一平均值，并同时将样本集中随机一个样本的对应点灰度值修正为该第一平均值，随机一个样本的对应点领域点的灰度值修正为该第一平均值；当所述差值绝对值小于第一预设值的样本对应点的个数小于等于第二预设值时，判断该点为目标点，将该像素点和与该像素点的差值绝对值大于等于第一预设值的样本对应点的灰度值求平均值，得到第二平均值，将该像素点的灰度值修正为该第二平均值；对获得的目标点进行聚类，提取目标。

9.如权利要求7所述的基于双目视频的测距装置，其特征在于，所述样本集有20个样本，所述像素点的邻域大小为3×3。

10.如权利要求6所述的基于双目视频的测距装置，其特征在于，所述立体匹配单元，适于采用SAD算法、NCC算法或SSD算法进行立体匹配；当采用SAD算法或NCC算法进行立体匹配时，所述立体匹配单元还适于对立体匹配算法的窗口大小进行优化，包括：

设置初始窗口值W0，最大窗口WL，设置阈值T；

以要处理的像素点为中心，以初始窗口大小计算灰度平均值M1，同时扩大窗口到W后再次计算平均值M2，如果|M2-M1|≥T，则选择窗口为W，如果|M2-M1|<T，则再次扩大窗口；直至|M2-M1|≥T，或者W≥WL时，停止搜索，获得窗口大小为W。