CN113989347B - 一种双目视差计算方法及装置 - Google Patents

Abstract

本发明提供了一种双目视差计算方法，该方法包括：通过双目相机，获取左视图目标图像和右视图；做下采样处理，获取左视图目标中层图像、左视图目标上层图像、右视图中层图像、右视图上层图像；依次以左视图目标上层图像、左视图目标中层图像、左视图目标图像作为模板，采用滑动窗口匹配法，以获取第三旋转度和第三匹配区域的基准点；进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；根据精确旋转度，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差。与现有技术相比，本发明能快速地计算双目视差，且准确率高。

Description

一种双目视差计算方法及装置

技术领域

本发明涉及图像处理、深度信息技术，特别涉及一种双目视差计算方法及装置。

背景技术

视差信息数据是双目相机使用中十分重要的数据信息，主要作用在于，可以通过视差信息获取相机视场范围内的路径路面信息、障碍物信息、以及距离信息。这些信息的应用，都完全依赖于视差信息的准确性。

由于双目视差图包括以下几个步骤：计算代价、代价聚合、计算视差图、提精视差图这几个步骤。其中，难点主要集中在代价匹配与聚合上，常用的计算方法主要是灰度差的平方和灰度差的绝对值等。此类方法的缺点是，对于白噪声等干扰较为敏感，且对于物体部分遮挡、旋转变形会失效。

综上所述，目前迫切需要提出一种能解决上述问题的双目视差计算方法。

发明内容

有鉴于此，本发明的主要目的在于快速实现双目视差计算。

为达到上述目的，按照本发明的第一个方面，提供了一种双目视差计算方法，该方法包括：

第一步骤，针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；

第二步骤，分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；

第三步骤，以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；

第四步骤，以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整角度作为最小角度，将第一旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第二旋转度，获取最优匹配窗口记为第二匹配区域；

第五步骤，以右视图为候选图像，以第二匹配区域为基础区域，将基础区域的坐标扩大 2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标图像作为模板，将第二旋转度减去调整角度作为最小角度，将第二旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第三旋转度，获取最优匹配窗口记为第三匹配区域，获取第三匹配区域的基准点；

第六步骤，对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；

第七步骤，按照精确旋转度，对左视图目标图像进行旋转，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差。

进一步地，所述目标包括以下的一种：车牌、车辆、人脸、行人。

其中，所述滑动窗口匹配法包括：按照模板的宽度和高度，在匹配图像内建立滑动窗口；从最小角度到最大角度，分别对模板做旋转处理，得到不同角度的旋转模板；滑动窗口按照从上到下、从左到右在匹配图像中进行滑动，依次得到不同基准点的滑动窗口图像；分别计算不同角度的旋转模板与不同基准点的滑动窗口图像的NCC相似度，将最大NCC相似度对应的旋转模板的角度标作为最优旋转角度，将最大NCC相似度的滑动窗口作为最优匹配窗口。

进一步地，所述NCC相似度的计算公式为其中，S^i,j(s,t)表示以坐标点(i,j)为起点的滑动窗口中坐标点为(s,t)的灰度值，E(S^i,j)表示以坐标点(i,j)为起点的滑动窗口的平均灰度值，T(s,t)表示模板中坐标点为(s,t)的灰度值，E(T)表示模板的平均灰度值， M和N分别表示滑动窗口的宽度和高度。

进一步地，所述第四步骤和第五步骤中获取匹配图像的步骤包括：获取基础区域的左上端点坐标(x_lt,y_lt)、右下端点坐标(x_rd,y_rd)，将候选区域内以左上端点坐标为(2x_lt-Δx,2y_lt-Δy)、右下端点坐标为(2x_rd+Δx,y_rd+Δy)围成的矩形区域作为匹配图像。其中，Δx、Δy分别表示x坐标、y坐标的外扩值。

其中，所述第三匹配区域的基准点包括以下的一种：第三匹配区域的左上端点、第三匹配区域的右上端点、第三匹配区域的左下端点、第三匹配区域的右下端点、第三匹配区域的中心点。

进一步地，所述第六步骤包括：

多元函数拟合步骤，根据泰勒展开公式

对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，得到精确匹配的x坐标、y 坐标和精确旋转度，其中，x¹、x²分别表示右视图中第三匹配区域的基准点的邻近点的x坐标、y坐标，x³表示左视图目标图像的旋转度，分别表示第三匹配区域的基准点的x 坐标、y坐标，/>表示第三旋转度，/>表示第三匹配区域与左视图目标图像的NCC 相似度，/>表示对x^p的一阶偏导数；/>表示对x^p的二阶偏导数，oⁿ表示高阶项；

右视图匹配图像获取步骤，以精确匹配的x坐标、y坐标为基准点，以左视图目标图像的宽度和高度作为右视图匹配图像的宽度和高度，从右视图获取对应的矩形区域作为右视图匹配图像。

其中，所述右视图中第三匹配区域的基准点的邻近点是指以第三匹配区域的基准点为中心，以2×ΔT为边长的正方形区域内的点，其中ΔT表示邻近阈值。

按照本发明的另一个方面，提供了一种双目视差计算装置，该装置包括：

视图获取和左视图目标检测模块，用于针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；

图像下采样处理模块，用于分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；

左视图目标上层图像匹配模块，用于以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配模块，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；

左视图目标中层图像匹配模块，用于以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整角度作为最小角度，将第一旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第二旋转度，获取最优匹配窗口记为第二匹配区域；

左视图目标图像匹配模块，用于以右视图为候选图像，以第二匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标图像作为模板，将第二旋转度减去调整角度作为最小角度，将第二旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第三旋转度，获取最优匹配窗口记为第三匹配区域，获取第三匹配区域的基准点；

右视图精确匹配图像和精确旋转度获取模块，用于对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；

双目视差计算模块，用于按照精确旋转度，对左视图目标图像进行旋转，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差。

其中，所述滑动窗口匹配模块包括：用于按照模板的宽度和高度，在匹配图像内建立滑动窗口；从最小角度到最大角度，分别对模板做旋转处理，得到不同角度的旋转模板；滑动窗口按照从上到下、从左到右在匹配图像中进行滑动，依次得到不同基准点的滑动窗口图像；分别计算不同角度的旋转模板与不同基准点的滑动窗口图像的NCC相似度，将最大NCC相似度对应的旋转模板的角度标作为最优旋转角度，将最大NCC相似度的滑动窗口作为最优匹配窗口。

进一步地，所述左视图目标中层图像匹配模块和左视图目标图像匹配模块中获取匹配图像通过以下模块实现：用于获取基础区域的左上端点坐标(x_lt,y_lt)、右下端点坐标(x_rd,y_rd)，将候选区域内以左上端点坐标为(2x_lt-Δx,2y_lt-Δy)、右下端点坐标为(2x_rd+Δx,y_rd+Δy)围成的矩形区域作为匹配图像。其中，Δx、Δy分别表示x坐标、y坐标的外扩值。

其中，所述第三匹配区域的基准点包括以下的一种：第三匹配区域的左上端点、第三匹配区域的右上端点、第三匹配区域的左下端点、第三匹配区域的右下端点、第三匹配区域的中心点。

进一步地，所述右视图精确匹配图像和精确旋转度获取模块包括：

多元函数拟合模块，用于根据泰勒展开公式对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，得到精确匹配的x坐标、y 坐标和精确旋转度，其中，x¹、x²分别表示右视图中第三匹配区域的基准点的邻近点的x坐标、y坐标，x³表示左视图目标图像的旋转度，/>分别表示第三匹配区域的基准点的x 坐标、y坐标，/>表示第三旋转度，/>表示第三匹配区域与左视图目标图像的NCC 相似度，/>表示对x^p的一阶偏导数；/>表示对x^p的二阶偏导数，oⁿ表示高阶项；

右视图匹配图像获取模块，用于以精确匹配的x坐标、y坐标为基准点，以左视图目标图像的宽度和高度作为右视图匹配图像的宽度和高度，从右视图获取对应的矩形区域作为右视图匹配图像。

其中，所述右视图中第三匹配区域的基准点的邻近点是指以第三匹配区域的基准点为中心，以2×ΔT为边长的正方形区域内的点，其中ΔT表示邻近阈值。

与现有的车牌识别技术相比，本发明的一种双目视差计算方法及装置。

附图说明

图1示出了按照本发明的一种双目视差计算方法的流程图。

图2示出了按照本发明的一种双目视差计算装置的框架图。

具体实施方式

为使本领域的技术人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1给出了按照本发明的一种双目视差计算方法的流程图。如图1所示，按照本发明的一种双目视差计算方法包括：

第一步骤S1，针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；

第二步骤S2，分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；

第三步骤S3，以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；

第四步骤S4，以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整角度作为最小角度，将第一旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第二旋转度，获取最优匹配窗口记为第二匹配区域；

第五步骤S5，以右视图为候选图像，以第二匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标图像作为模板，将第二旋转度减去调整角度作为最小角度，将第二旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第三旋转度，获取最优匹配窗口记为第三匹配区域，获取第三匹配区域的基准点；

第六步骤S6，对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；

第七步骤S7，按照精确旋转度，对左视图目标图像进行旋转，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差。

进一步地，所述目标包括以下的一种：车牌、车辆、人脸、行人。示例性地，当目标为车牌时，采用车牌检测方法，分别获取左视图的车牌矩形框和右视图的车牌矩形框；当目标为人脸时，采用人脸检测方法，分别获取左视图的人脸矩形框和右视图的人脸矩形框。

其中，所述滑动窗口匹配法包括：按照模板的宽度和高度，在匹配图像内建立滑动窗口；从最小角度到最大角度，分别对模板做旋转处理，得到不同角度的旋转模板；滑动窗口按照从上到下、从左到右在匹配图像中进行滑动，依次得到不同基准点的滑动窗口图像；分别计算不同角度的旋转模板与不同基准点的滑动窗口图像的NCC相似度，将最大NCC相似度对应的旋转模板的角度标作为最优旋转角度，将最大NCC相似度的滑动窗口作为最优匹配窗口。

其中，所述NCC(Normalized cross-correlation)相似度是基于Normalizedcross correlation (简称NCC)的灰度相似性检测算法，该算法通过计算关键点的互相关系数作为匹配度量，较好的解决了白噪声的干扰。

进一步地，所述NCC相似度的计算公式为其中，S^i,j(s,t)表示以坐标点(i,j)为起点的滑动窗口中坐标点为(s,t)的灰度值，E(S^i,j)表示以坐标点(i,j)为起点的滑动窗口的平均灰度值，T(s,t)表示模板中坐标点为(s,t)的灰度值，E(T)表示模板的平均灰度值， M和N分别表示滑动窗口的宽度和高度。

其中，所述第一角度的取值范围为-180°～-1°，所述第二角度的取值范围为1°～180°。

进一步地，所述第一角度的取值范围为-45°～-1°，所述第二角度的取值范围为1°～45°。示例性地，所述第一角度、第二角度分别选为-10°、10°，从-10°到10°，按照图像旋转公式分别对模板做旋转处理，得到不同角度的旋转模板，其中θ表示旋转角度，-10°≤θ≤10°，I表示模板图像，I_θ表示旋转角度为θ的旋转模板。

进一步地，所述第四步骤S4和第五步骤S5中获取匹配图像的步骤包括：获取基础区域的左上端点坐标(x_lt,y_lt)、右下端点坐标(x_rd,y_rd)，将候选区域内以左上端点坐标为(2x_lt-Δx,2y_lt-Δy、右下端点坐标为(2x_rd+Δx,y_rd+Δy)围成的矩形区域作为匹配图像。其中，Δx、Δy分别表示x坐标、y坐标的外扩值。

进一步地，所述Δx的取值范围为4～20，所述Δy的取值范围为4～20。

进一步地，所述调整角度的取值范围为1°～30°。

其中，所述第三匹配区域的基准点包括以下的一种：第三匹配区域的左上端点、第三匹配区域的右上端点、第三匹配区域的左下端点、第三匹配区域的右下端点、第三匹配区域的中心点。

进一步地，所述第六步骤S6包括：

多元函数拟合步骤S61，根据泰勒展开公式对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，得到精确匹配的x坐标、y 坐标和精确旋转度，其中，x¹、x²分别表示右视图中第三匹配区域的基准点的邻近点的x坐标、y坐标，x³表示左视图目标图像的旋转度，/>分别表示第三匹配区域的基准点的x 坐标、y坐标，/>表示第三旋转度，/>表示第三匹配区域与左视图目标图像的NCC 相似度，/>表示对x^p的一阶偏导数；/>表示对x^p的二阶偏导数，oⁿ表示高阶项；

右视图匹配图像获取步骤S62，以精确匹配的x坐标、y坐标为基准点，以左视图目标图像的宽度和高度作为右视图匹配图像的宽度和高度，从右视图获取对应的矩形区域作为右视图匹配图像。

其中，所述右视图中第三匹配区域的基准点的邻近点是指以第三匹配区域的基准点为中心，以2×ΔT为边长的正方形区域内的点，其中ΔT表示邻近阈值。示例性地，如果右视图中第三匹配区域的基准点的坐标为(x_D,y_D)，则以(x_D-ΔT,y_D-ΔT)为左上端点、 (x_D+ΔT,y_D+ΔT)为右下端点围成的正方形区域内的点，即为右视图中第三匹配区域的基准点的邻近点。

进一步地，所述邻近阈值ΔT的取值范围为0.5～10。示例性地，所述邻近阈值ΔT选为1 或者2。

示例性地，所述右视图匹配图像获取步骤S62的精准匹配点的x坐标、y坐标分别为x_a、y_a，所述左视图目标图像的宽度和高度分别为W_L和H_L；如果第五步骤S5中所述第三匹配区域的基准点选择的是第三匹配区域的左上端点，则在右视图中获取以(x_a,y_a)为左上端点、 (x_a+W_L,y_a+H_L)为右下端点的矩形区域，该矩形区域即为右视图匹配图像；如果第五步骤 S5中所述第三匹配区域的基准点选择的是第三匹配区域的中心点，则在右视图中获取以为左上端点、/>为右下端点的矩形区域，该矩形区域即为右视图匹配图像。

所述双目视差可以用于后续的目标深度估计或者车牌尺寸测量，视差计算的越精确，深度估计和尺寸测量越准确。

示例性地，选择车牌作为目标，根据所述第七步骤S7输出的双目视差D，根据深度公式计算可以得到车牌的深度，其中，λ表示距离换算成像素的比例系数，d表示两个相机中轴间距，f表示相机焦距，L表示车牌的深度。根据车牌深度和深度对应尺寸参数，计算可以得到车牌尺寸。车牌尺寸可以用于虚假车牌过滤，通过车牌尺寸，可以判断车牌是否为手机车牌图片或者打印在纸上的车牌。

图2给出了按照本发明的一种双目视差计算装置的框架图。如图2所示，按照本发明的一种双目视差计算装置包括：

视图获取和左视图目标检测模块1，用于针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；

图像下采样处理模块2，用于分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；

左视图目标上层图像匹配模块3，用于以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配模块，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；

左视图目标中层图像匹配模块4，用于以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整角度作为最小角度，将第一旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第二旋转度，获取最优匹配窗口记为第二匹配区域；

左视图目标图像匹配模块5，用于以右视图为候选图像，以第二匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标图像作为模板，将第二旋转度减去调整角度作为最小角度，将第二旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第三旋转度，获取最优匹配窗口记为第三匹配区域，获取第三匹配区域的基准点；

右视图精确匹配图像和精确旋转度获取模块6，用于对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；

双目视差计算模块7，用于按照精确旋转度，对左视图目标图像进行旋转，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差。

进一步地，所述目标包括以下的一种：车牌、车辆、人脸、行人。

其中，所述滑动窗口匹配模块包括：用于按照模板的宽度和高度，在匹配图像内建立滑动窗口；从最小角度到最大角度，分别对模板做旋转处理，得到不同角度的旋转模板；滑动窗口按照从上到下、从左到右在匹配图像中进行滑动，依次得到不同基准点的滑动窗口图像；分别计算不同角度的旋转模板与不同基准点的滑动窗口图像的NCC相似度，将最大NCC相似度对应的旋转模板的角度标作为最优旋转角度，将最大NCC相似度的滑动窗口作为最优匹配窗口。

其中，所述第一角度的取值范围为-180°～-1°，所述第二角度的取值范围为1°～180°。

进一步地，所述第一角度的取值范围为-45°～-1°，所述第二角度的取值范围为1°～45°。

进一步地，所述左视图目标中层图像匹配模块4和左视图目标图像匹配模块5中获取匹配图像通过以下模块实现：用于获取基础区域的左上端点坐标(x_lt,y_lt)、右下端点坐标(x_rd,y_rd)，将候选区域内以左上端点坐标为(2x_lt-Δx,2y_lt-Δy)、右下端点坐标为(2x_rd+Δx,y_rd+Δy)围成的矩形区域作为匹配图像。其中，Δx、Δy分别表示x坐标、y坐标的外扩值。

进一步地，所述Δx的取值范围为4～20，所述Δy的取值范围为4～20。

进一步地，所述调整角度的取值范围为1°～30°。

其中，所述第三匹配区域的基准点包括以下的一种：第三匹配区域的左上端点、第三匹配区域的右上端点、第三匹配区域的左下端点、第三匹配区域的右下端点、第三匹配区域的中心点。

进一步地，所述右视图精确匹配图像和精确旋转度获取模块6包括：

多元函数拟合模块61，用于根据泰勒展开公式

对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，得到精确匹配的x坐标、y 坐标和精确旋转度，其中，x¹、x²分别表示右视图中第三匹配区域的基准点的邻近点的x坐标、y坐标，x³表示左视图目标图像的旋转度，分别表示第三匹配区域的基准点的x 坐标、y坐标，/>表示第三旋转度，/>表示第三匹配区域与左视图目标图像的NCC 相似度，/>表示对x^p的一阶偏导数；/>表示对x^p的二阶偏导数，oⁿ表示高阶项；

右视图匹配图像获取模块62，用于以精确匹配的x坐标、y坐标为基准点，以左视图目标图像的宽度和高度作为右视图匹配图像的宽度和高度，从右视图获取对应的矩形区域作为右视图匹配图像。

其中，所述右视图中第三匹配区域的基准点的邻近点是指以第三匹配区域的基准点为中心，以2×ΔT为边长的正方形区域内的点，其中ΔT表示邻近阈值。

进一步地，所述邻近阈值ΔT的取值范围为0.5～10。

与现有的双目视差计算技术相比，本发明的一种双目视差计算方法及装置可以解决白噪声的干扰，得到高精度的视差结果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (8)

1.一种双目视差计算方法，其特征在于，该方法包括：

第一步骤，针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；

第二步骤，分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；

第三步骤，以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；

第四步骤，以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整角度作为最小角度，将第一旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第二旋转度，获取最优匹配窗口记为第二匹配区域；

第五步骤，以右视图为候选图像，以第二匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标图像作为模板，将第二旋转度减去调整角度作为最小角度，将第二旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第三旋转度，获取最优匹配窗口记为第三匹配区域，获取第三匹配区域的基准点；

第六步骤，对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；

第七步骤，按照精确旋转度，对左视图目标图像进行旋转，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差；

其中，所述第四步骤和第五步骤中获取匹配图像的步骤包括：获取基础区域的左上端点坐标(x_lt,y_lt)、右下端点坐标(x_rd,y_rd)，将候选区域内以左上端点坐标为(2x_lt-Δx,2y_lt-Δy)、右下端点坐标为(2x_rd+Δx,y_rd+Δy)围成的矩形区域作为匹配图像；其中，Δx、Δy分别表示x坐标、y坐标的外扩值；

进一步地，所述滑动窗口匹配法包括：按照模板的宽度和高度，在匹配图像内建立滑动窗口；从最小角度到最大角度，分别对模板做旋转处理，得到不同角度的旋转模板；滑动窗口按照从上到下、从左到右在匹配图像中进行滑动，依次得到不同基准点的滑动窗口图像；分别计算不同角度的旋转模板与不同基准点的滑动窗口图像的NCC相似度，将最大NCC相似度对应的旋转模板的角度标作为最优旋转角度，将最大NCC相似度的滑动窗口作为最优匹配窗口；所述NCC相似度的计算公式为其中，S^i,j(s,t)表示以坐标点(i,j)为起点的滑动窗口中坐标点为(s,t)的灰度值，E(S^i,j)表示以坐标点(i,j)为起点的滑动窗口的平均灰度值，T(s,t)表示模板中坐标点为(s,t)的灰度值，E(T)表示模板的平均灰度值，M和N分别表示滑动窗口的宽度和高度；

所述第六步骤包括：

多元函数拟合步骤，根据泰勒展开公式

对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，得到精确匹配的x坐标、y坐标和精确旋转度，其中，x¹、x²分别表示右视图中第三匹配区域的基准点的邻近点的x坐标、y坐标，x³表示左视图目标图像的旋转度，分别表示第三匹配区域的基准点的x坐标、y坐标，/>表示第三旋转度，/>表示第三匹配区域与左视图目标图像的NCC相似度，/>表示对x^p的一阶偏导数；/>表示对x^p的二阶偏导数，oⁿ表示高阶项；

右视图匹配图像获取步骤，以精确匹配的x坐标、y坐标为基准点，以左视图目标图像的宽度和高度作为右视图匹配图像的宽度和高度，从右视图获取对应的矩形区域作为右视图匹配图像；

其中，所述右视图中第三匹配区域的基准点的邻近点是指以第三匹配区域的基准点为中心，以2×ΔT为边长的正方形区域内的点，其中ΔT表示邻近阈值。

2.如权利要求1所述的方法，其特征在于，所述第一角度的取值范围为-180°～-1°，所述第二角度的取值范围为1°～180°；所述调整角度的取值范围为1°～30°；所述Δx的取值范围为4～20，所述Δy的取值范围为4～20。

3.如权利要求1所述的方法，其特征在于，所述第三匹配区域的基准点包括以下的一种：第三匹配区域的左上端点、第三匹配区域的右上端点、第三匹配区域的左下端点、第三匹配区域的右下端点、第三匹配区域的中心点。

4.如权利要求1所述的方法，其特征在于，所述邻近阈值ΔT的取值范围为0.5～10。

5.一种双目视差计算装置，其特征在于，该装置包括：

视图获取和左视图目标检测模块，用于针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；

图像下采样处理模块，用于分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；

左视图目标上层图像匹配模块，用于以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配模块，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；

左视图目标中层图像匹配模块，用于以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整角度作为最小角度，将第一旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第二旋转度，获取最优匹配窗口记为第二匹配区域；

左视图目标图像匹配模块，用于以右视图为候选图像，以第二匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标图像作为模板，将第二旋转度减去调整角度作为最小角度，将第二旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第三旋转度，获取最优匹配窗口记为第三匹配区域，获取第三匹配区域的基准点；

右视图精确匹配图像和精确旋转度获取模块，用于对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；

双目视差计算模块，用于按照精确旋转度，对左视图目标图像进行旋转，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差；

其中，所述左视图目标中层图像匹配模块和左视图目标图像匹配模块中获取匹配图像通过以下模块实现：用于获取基础区域的左上端点坐标(x_lt,y_lt)、右下端点坐标(x_rd,y_rd)，将候选区域内以左上端点坐标为(2x_lt-Δx,2y_lt-Δy)、右下端点坐标为(2x_rd+Δx,y_rd+Δy)围成的矩形区域作为匹配图像，其中，Δx、Δy分别表示x坐标、y坐标的外扩值；

进一步地，所述滑动窗口匹配模块包括：用于按照模板的宽度和高度，在匹配图像内建立滑动窗口；从最小角度到最大角度，分别对模板做旋转处理，得到不同角度的旋转模板；滑动窗口按照从上到下、从左到右在匹配图像中进行滑动，依次得到不同基准点的滑动窗口图像；分别计算不同角度的旋转模板与不同基准点的滑动窗口图像的NCC相似度，将最大NCC相似度对应的旋转模板的角度标作为最优旋转角度，将最大NCC相似度的滑动窗口作为最优匹配窗口；

所述NCC相似度的计算公式为其中，S^i,j(s,t)表示以坐标点(i,j)为起点的滑动窗口中坐标点为(s,t)的灰度值，E(S^i,j)表示以坐标点(i,j)为起点的滑动窗口的平均灰度值，T(s,t)表示模板中坐标点为(s,t)的灰度值，E(T)表示模板的平均灰度值，M和N分别表示滑动窗口的宽度和高度；

所述右视图精确匹配图像和精确旋转度获取模块包括：

多元函数拟合模块，用于根据泰勒展开公式

对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，得到精确匹配的x坐标、y坐标和精确旋转度，其中，x¹、x²分别表示右视图中第三匹配区域的基准点的邻近点的x坐标、y坐标，x³表示左视图目标图像的旋转度，分别表示第三匹配区域的基准点的x坐标、y坐标，/>表示第三旋转度，/>表示第三匹配区域与左视图目标图像的NCC相似度，/>表示对x^p的一阶偏导数；/>表示对x^p的二阶偏导数，oⁿ表示高阶项；

右视图匹配图像获取模块，用于以精确匹配的x坐标、y坐标为基准点，以左视图目标图像的宽度和高度作为右视图匹配图像的宽度和高度，从右视图获取对应的矩形区域作为右视图匹配图像；

其中，所述右视图中第三匹配区域的基准点的邻近点是指以第三匹配区域的基准点为中心，以2×ΔT为边长的正方形区域内的点，其中ΔT表示邻近阈值。

6.如权利要求5所述的装置，其特征在于，所述第一角度的取值范围为-180°～-1°，所述第二角度的取值范围为1°～180°；所述调整角度的取值范围为1°～30°；所述Δx的取值范围为4～20，所述Δy的取值范围为4～20。

7.如权利要求5所述的装置，其特征在于，所述第三匹配区域的基准点包括以下的一种：第三匹配区域的左上端点、第三匹配区域的右上端点、第三匹配区域的左下端点、第三匹配区域的右下端点、第三匹配区域的中心点。

8.如权利要求5所述的装置，其特征在于，所述邻近阈值ΔT的取值范围为0.5～10。