CN110766740B - 一种基于行人跟踪的实时高精度双目测距系统及方法 - Google Patents

Abstract

本发明属于测距装置技术领域，公开了一种基于行人跟踪的实时高精度双目测距系统及方法，预测单元，保存行人上一帧的目标区域，作为下一帧SGBM算法的预计算区域；SGBM计算单元，用SGBM算法计算上一帧预测的区域的视差矩阵；BM计算单元，用BM算法计算全图的视差矩阵；逻辑判断单元，对于采用SGBM还是BM的结果进行判断。并且对兴趣点列表中的所有距离值做平均。本发明通过对跟踪区域的预测，加上对BM和SGBM进行结构性的融合，只对行人部分进行深度值的计算，使得可以满足嵌入式的实时性要求，同时保留高精度的特性。对于少数未命中的情况，直接采用已经并行计算完成的BM算法的结果，完全避免了重复性计算。

Description

一种基于行人跟踪的实时高精度双目测距系统及方法

技术领域

本发明属于测距装置技术领域，尤其涉及一种基于行人跟踪的实时高精度双目测距系统及方法。

背景技术

目前，业内常用的视觉测距技术主要有单目测距和双目测距。

(1)单目测距需要事先进行标定建立图像坐标和世界坐标的关系，然后利用图像中物体的点坐标位置根据计算得到的映射关系计算物体到相机之间的距离。标定完成后，相机要保持固定，不能移动，限制比较大，远离标定布的地方误差会比较大。

(2)双目测距利用双摄像头，在使用前也是需要经过标定和校正。在使用时首先计算视差，然后计算出深度图，最后利用图像上的点从深度图得出物体离相机的距离。使用时相机可以自由移动，消除了单目相机的使用限制，并且误差也比单目相机有较大改进。

因为双目测距的精度远高于单目测距，所以在对测距精度要求较高场景下，一般多采用双目测距来实现。

对于双目测距，传统的算法要对图像区域内的每一个像素点进行匹配，然后找到匹配点后用计算得到的视差值与标定过程中计算得到的Q矩阵信息，遍历每一个点计算得到深度值。在这个过程中就必须对每一个点进行计算，导致计算量比较大。

另外对于消费级嵌入式开发板的应用，首先需要考虑算法移植至开发板上如何满足实时性和精度的要求。对于传统的算法，主要有BM和SGBM。BM算法速度高但精度低，SGBM算法精度高，但是速度慢。两种算法都无法同时满足实时性和精度的要求。

综上所述，现有技术存在的问题是：目前基于嵌入式开发板的行人跟踪和测距的软硬件解决方案，对于消费级嵌入式开发板，因为其无法同时满足实时性和精度的要求而无法量产。

解决上述技术问题的难度在于：

(1)实现自定义区域的SGBM算法。

(2)如何预测合理的区域范围，使得已计算过SGBM的区域尽量能够包含当前要计算的点。

(3)如何在预测没有命中的情况下，回退至BM的计算结果。

解决上述技术问题的意义在于：基于消费级的嵌入式开发板的行人跟踪有关的应用在测距算法方面的精度和实时性可以同时满足实际量产的要求。

发明内容

针对现有技术存在的问题，本发明提供了一种基于行人跟踪的实时高精度双目测距系统及方法。

本发明是这样实现的，一种基于行人跟踪的实时高精度双目测距方法，所述基于行人跟踪的实时高精度双目测距方法根据行人上一帧目标点或目标区域，预估出实时帧需要计算视差的图像区域；如果当前帧要计算距离的点在预估的区域内，则采用SGBM算法计算出的该区域的视差矩阵；否则采用BM算法计算出的视差矩阵；得到视差矩阵后，只计算目标点的深度值，不需要对原图像上的每一个点进行计算得到深度图。通过已计算的图像区域可以得到在此区域对应原图像区域的位置，算出区域内的任何一点的深度值。

所述基于行人跟踪的实时高精度双目测距方法包括以下步骤：

第一步，保存行人上一帧的目标区域，作为下一帧SGBM算法的预计算区域；

第二步，SGBM算法计算上一帧预测的区域的视差矩阵。双目相机通过前期的标定，得到相机的内参(焦距f和成像原点cx，cy、畸变参数等)，以及两个摄像头之间的相对位置(即右摄像头相对于左摄像头的旋转矩阵R、平移向量t)。然后进行双目校正过程，根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致。这样一幅图像上任意一点与其在另一幅图像上的对应点在相同的行内，只需在该行进行一维搜索即可匹配到对应点。完成上面步骤后，就可以进行双目匹配，把同一场景在左右视图上对应的像点匹配起来，然后计算得到视差图。SGBM算法通过预处理，代价计算，动态规划，后处理四个步骤。计算上一帧预测的区域。我们通过调用相应的函数完成这些计算。对各个参数进行设置，测试，调整。得到合适的参数。采用SGBM算法可以直接利用彩色图进行计算，无需进行对灰度图的转换处理。得到的视差矩阵因为是区域内的，而两图的相应位置关系却是全图的，所以在后面进行距离计算的时候，需要对视差矩阵进行相应的位置还原，得到原视图的位置后方可进行计算。

第三步，BM算法计算全图的视差矩阵。同样也需要提前对相机进行标定，校正的工作，这部分BM与SGBM完全一样。区别在于后面的匹配过程，BM算法采取SAD算法进行匹配。立体匹配过程中，运用对极几何极大的减小匹配点的搜索范围，进而达到降低运算量的目的。以图像灰度信息作为匹配基元的区域匹配方法，需要获取合适的窗口尺寸和相关灰度的测度函数，然后对匹配区域的灰度分布进行描述，此时再移动匹配窗口寻找匹配区域，当两窗口所在区域灰度差异最小时，则认为匹配窗口的中心为找到的匹配点。在实际操作中，利用获得的一组图像，选取该图像某一点为中心，建立确定大小的邻域窗口，描述其内部灰度后，在另外一个图像上的对应点建立同样的邻域窗口，并在一定范围内进行平移运动，同时利用测度函数来比较两个窗口内灰度的相似度，找到最佳匹配的像素块时，记录另外一幅图像匹配窗口中心的x值来计算视差。

第四步，通过行人的跟踪算法获取当前帧的行人位置，算出相应的兴趣区域列表；然后遍历兴趣区域列表，如果兴趣点在上一帧的预测区域内，则直接采用SGBM算法的视差值计算距离，否则采用BM算法的视差值计算距离；最后将兴趣区域列表中的所有距离取平均作为最终的距离。

本发明的另一目的在于提供一种实施所述基于行人跟踪的实时高精度双目测距方法的基于行人跟踪的实时高精度双目测距系统，所述基于行人跟踪的实时高精度双目测距系统包括：

预测单元，用于保存行人上一帧的目标区域，作为下一帧SGBM算法的预计算区域；

SGBM计算单元，用SGBM算法计算上一帧预测的区域的视差矩阵；

BM计算单元，用BM算法计算全图的视差矩阵；

逻辑判断单元，对于采用SGBM还是BM的结果进行判断；并且对兴趣点列表中的所有距离值做平均。

本发明的另一目的在于提供一种实现所述基于行人跟踪的实时高精度双目测距方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于行人跟踪的实时高精度双目测距方法。

综上所述，本发明的优点及积极效果为：本发明基于双目测距方案。在计算视差的过程中，BM算法速度高但精度低，SGBM算法精度高，但是速度慢。另外还有其他几种算法，它们的精度虽然可以进一步得到提高，但是速度都比较慢，不能达到实时的要求。在基于嵌入式开发板的行人跟踪有关的应用上，BM算法可以满足实时性的要求，但是无法满足精度的要求。SGBM算法可以满足精度要求，但是无法满足实时性的要求。在要求测量更远的距离(10米以上)，相机的像素更高(如大于720p)的应用场景下，传统的双目视差算法无法同时满足实时性和精度的要求。

本发明通过对跟踪区域的预测，加上对BM和SGBM进行结构性的融合，只对行人部分进行深度值的计算，使得改进后的程序可以满足嵌入式的实时性要求，同时保留高精度的特性。对于少数未命中的情况，直接采用已经并行计算完成的BM算法的结果，完全避免了重复性计算。

附图说明

图1是本发明实施例提供的基于行人跟踪的实时高精度双目测距系统的结构示意图；

图中：1、预测单元；2、SGBM计算单元；3、BM计算单元；4、逻辑判断单元。

图2是本发明实施例提供的基于行人跟踪的实时高精度双目测距系统的原理示意图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

针对现有技术存在的问题，本发明提供了一种基于行人跟踪的实时高精度双目测距系统，下面结合附图1对本发明作详细的描述。

如图1所示，本发明实施例提供的基于行人跟踪的实时高精度双目测距系统包括：

预测单元1，用于保存行人上一帧的目标区域，作为下一帧SGBM算法的预计算区域；

SGBM计算单元2，用SGBM算法计算上一帧预测的区域的视差矩阵；

BM计算单元3，用BM算法计算全图的视差矩阵；

逻辑判断单元4，对于采用SGBM还是BM的结果进行判断；并且对兴趣点列表中的所有距离值做平均。

本发明的基于行人跟踪的实时高精度双目测距系统结合行人识别和跟踪技术，进行优化改进。

本发明采取的优化为，BM算法速度快，可以满足实时的要求，本发明根据行人上一帧目标点或目标区域，预估出实时帧需要计算视差的图像区域。如果当前帧要计算距离的点在预估的区域内，则采用SGBM算法计算出的该区域的视差矩阵。否则采用BM算法计算出的视差矩阵。得到视差矩阵后，只计算目标点的深度值，不需要对原图像上的每一个点进行计算得到深度图。通过已计算的图像区域可以得到在此区域对应原图像区域的位置，从而算出区域内的任何一点的深度值。选取预估区域的大小设置合理的话，速度可以提高五倍以上，可以达到实时的要求。

BM算法是全图计算视差矩阵，所以在获取图像之后，可以立即单独开辟新的线程进行计算。SGBM算法只计算上一帧预测的区域内的视差矩阵，在获取图像之后，也是立即单独开辟新的线程进行计算。另外主线程首先通过行人的跟踪算法获取当前帧的行人位置，算出相应的兴趣区域列表。然后遍历兴趣区域列表，如果兴趣点在上一帧的预测区域内，则直接采用SGBM算法的视差值计算距离，否则采用BM算法的视差值计算距离。最后将兴趣区域列表中的所有距离取平均作为最终的距离。

下面结合实验对本发明的技术效果作详细的描述。

1、测试环境：NVIDIA TX2平台上，每帧图像分辨率1280x720，行人距离相机在2m至15m之间。

2、测试结果：

(1)速度方面，传统的SGBM每帧耗时1500ms，BM算法每帧耗时150ms，改进后的算法每帧耗时300ms。

(2)精度方面，传统的SGBM计算出的距离误差在30cm内，BM算法误差在200cm内，改进后的算法误差在30cm内。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (6)

1.一种基于行人跟踪的实时高精度双目测距方法，其特征在于，所述基于行人跟踪的实时高精度双目测距方法根据行人上一帧目标点或目标区域，预估出实时帧需要计算视差的图像区域；如果当前帧要计算距离的点在预估的区域内，则采用SGBM算法计算出的该区域的视差矩阵；否则采用BM算法计算出的视差矩阵；得到视差矩阵后，只计算目标点的深度值，不需要对原图像上的每一个点进行计算得到深度图；通过已计算的图像区域可以得到在此区域对应原图像区域的位置，算出区域内的任何一点的深度值；

所述基于行人跟踪的实时高精度双目测距方法包括以下步骤:

第一步，保存行人上一帧的目标区域，作为下一帧SGBM算法的预计算区域；

第二步，SGBM算法计算上一帧预测的区域的视差矩阵；

第三步，BM算法计算全图的视差矩阵；

第四步，通过行人的跟踪算法获取当前帧的行人位置，算出相应的兴趣区域列表；然后遍历兴趣区域列表，如果兴趣点在上一帧的预测区域内，则直接采用SGBM算法的视差值计算距离，否则采用BM算法的视差值计算距离；最后将兴趣区域列表中的所有距离取平均作为最终的距离；

所述第二步SGBM算法计算上一帧预测的区域的视差矩阵，双目相机通过前期的标定，得到相机的内参，焦距f和成像原点cx,cy、畸变参数，以及两个摄像头之间的相对位置，右摄像头相对于左摄像头的旋转矩阵R、平移向量t；然后进行双目校正过程，根据摄像头定标后获得的焦距、成像原点、畸变系数和双目相对位置关系，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致；进行双目匹配，把同一场景在左右视图上对应的像点匹配起来，然后计算得到视差图；通过调用相应的函数完成这些计算，对各个参数进行设置，测试，调整，得到参数；采用SGBM算法可以直接利用彩色图进行计算，无需进行对灰度图的转换处理;得到的视差矩阵因为是区域内的，而两图的相应位置关系却是全图的，对视差矩阵进行相应的位置还原，得到原视图的位置后方进行计算；

所述第三步立体匹配过程中，运用对极几何极大的减小匹配点的搜索范围，以图像灰度信息作为匹配基元的区域匹配方法，获取窗口尺寸和相关灰度的测度函数，对匹配区域的灰度分布进行描述，此时再移动匹配窗口寻找匹配区域，当两窗口所在区域灰度差异最小时，则认为匹配窗口的中心为找到的匹配点；在实际操作中，利用获得的一组图像，选取该图像某一点为中心，建立确定大小的邻域窗口，描述其内部灰度后，在另外一个图像上的对应点建立同样的邻域窗口，并在一定范围内进行平移运动，同时利用测度函数来比较两个窗口内灰度的相似度，找到最佳匹配的像素块时，记录另外一幅图像匹配窗口中心的x值来计算视差。

2.如权利要求1所述的基于行人跟踪的实时高精度双目测距方法，其特征在于，所述BM算法是全图计算视差矩阵，在获取图像之后，单独开辟新的线程进行计算。

3.如权利要求1所述的基于行人跟踪的实时高精度双目测距方法，其特征在于，所述SGBM算法只计算上一帧预测的区域内的视差矩阵，在获取图像之后，也是立即单独开辟新的线程进行计算；另外主线程首先通过行人的跟踪算法获取当前帧的行人位置，算出相应的兴趣区域列表；然后遍历兴趣区域列表，如果兴趣点在上一帧的预测区域内，则直接采用SGBM算法的视差值计算距离，否则采用BM算法的视差值计算距离；最后将兴趣区域列表中的所有距离取平均作为最终的距离。

4.一种实施权利要求1～3任意一项所述基于行人跟踪的实时高精度双目测距方法的基于行人跟踪的实时高精度双目测距系统，其特征在于，所述基于行人跟踪的实时高精度双目测距系统包括：

预测单元，用于保存行人上一帧的目标区域，作为下一帧SGBM算法的预计算区域；

SGBM计算单元，用SGBM算法计算上一帧预测的区域的视差矩阵；

BM计算单元，用BM算法计算全图的视差矩阵；

逻辑判断单元，对于采用SGBM还是BM的结果进行判断；并且对兴趣点列表中的所有距离值做平均。

5.一种实现权利要求1～3任意一项所述基于行人跟踪的实时高精度双目测距方法的信息数据处理终端。

6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3任意一项所述的基于行人跟踪的实时高精度双目测距方法。