CN112116644B - 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置 - Google Patents

Abstract

本发明涉及一种基于视觉的障碍物检测方法和装置，其中障碍物检测方法包括：获取相机拍摄的图像、图像校正、获取深度图、道路区域检测、障碍物检测、最终将所述障碍物区域检测结果标记在原始获取的相机拍摄的图像中，输出障碍物区域。本发明另外提供了一种障碍物距离计算方法，是在障碍物检测方法的基础上，将所述障碍物区域检测结果标记在原始获取的相机拍摄的图像中，输出障碍物区域、障碍物距离计算、输出计算得到的每个障碍物的真实距离值

同时本发明还提供了障碍物距离计算装置。本发明通过利用深度学习模型预测的深度图，仅用单目相机，可以实现障碍物区域检测及障碍物距离计算，既可以较好的解决任意类型的运动及静止障碍物的检测及定位问题，在具有坡度的路面上依然适用。

Description

一种基于视觉的障碍物检测方法和装置、障碍物距离计算方 法和装置

技术领域

本发明涉及障碍物检测技术领域，特别涉及一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置。

背景技术

障碍物检测及障碍物距离计算对汽车安全驾驶具有重要意义。根据障碍物检测及障碍物距离计算结果，可以实现碰撞避免、路径规划等功能。

现有的基于视觉的障碍物检测技术主要有：基于深度学习的特定类型障碍物检测方法，如车辆检测、行人检测等；基于几何约束的任意类型障碍物检测方法；以及基于IPM变换的障碍物检测方法。而这些检测技术在应用过程中具有以下缺陷：(1)基于深度学习的方法只能检测特定种类的障碍物；(2)基于几何约束的方法可以检测任意种类的障碍物，但是当使用单目相机时，该类方法只能检测静止障碍物，对于运动障碍物较难检测，并且无法直接完成运动障碍物的距离计算；(3)基于IPM变换的方法可以利用单目相机同时检测运动及静止障碍物，但是需要道路平坦，道路不存在坡度等前提限制，缩减了算法适用范围。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置。本发明通过利用深度学习模型预测的深度图，仅用单目相机，可以实现障碍物区域检测及障碍物距离计算，既可以较好的解决任意类型的运动及静止障碍物的检测及定位问题，在具有坡度的路面上依然适用。

本发明的上述目的通过以下技术方案实现：

一种基于视觉的障碍物检测方法，具体包括以下步骤：

S1、获取相机拍摄的图像；

S2、图像校正：对获取的图像通过校正得到校正后图像；

S3、获取深度图：利用离线训练好的深度学习模型对校正后图像进行深度预测，获得深度图，并转化为视差图；

S4、道路区域检测：对视差图按列处理，确定所有的地面像素点，所有的地面像素点的图像坐标位置，构成道路区域检测结果；

S5、障碍物检测：对视差图按列处理，确定所有的障碍物像素点，所有的障碍物像素点的图像坐标位置，构成障碍物区域检测结果；

S6、将所述障碍物区域检测结果标记在原始获取的相机拍摄的图像中，输出障碍物区域。

进一步地，所述步骤S2的校正方法具体包括：

将原始输入图像利用相机的内参数校正得到无畸变图像，利用离线外参标定方法，事先标定出相机安装角度，包括相机的安装俯角、滚动角和偏航角，利用所述安装角度，将经内参校正后的无畸变图像，进一步校正为无安装角度的校正后图像。

进一步地，所述步骤S4的道路区域检测具体包括以下步骤：

S401、读取视差图中任意一个未被处理过的列，对该读取列视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列，并计算存储列中从最大行rm行到rm-r1行的所有导数值的均值t1，确定t1为基准值，其中r1为第一阈值，即预先设定的用于计算t1的行数阈值；由于导数值的存储列和当前读取列对应，所以导数值存储列的行数，和视差图的行数相等，所述最大行rm行为当前导数值的存储列中位于最下方的行；

然后，初始化不满足条件行的计数为0，并在上述存储列中，从最大行rm行开始，向上一行rm-1行进行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行，读取当前遍历行r的导数值val，将val与基准值t1根据第一种情况及第二种情况进行比较：

第一种情况：当abs(t1-val)<t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数设置为0，然后继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第二种情况：当abs(t1-val)≥t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数在原有计数数值基础上增加1，并读取不满足条件行的计数数值N，判断N是否满足N≥t3，其中t3为第三阈值，当N≥t3时，将(r+t3-1)行确定为当前读取列中地面与障碍物交界位置出现的行，结束对当前存储列的行遍历；当不满足N≥t3时，则继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

S402、重复步骤S401，直到完成视差图中所有列的处理，得到各个列的地面与障碍物交界位置出现的行；

S403、对于视差图的每一列，上述遍历过程中得到的地面与障碍物交界位置出现的行至最大行rm行中的像素点确定为地面像素点，这些地面像素点的图像坐标位置，构成道路区域检测结果。

进一步地，所述步骤S5的障碍物检测具体包括以下步骤：

S501、读取视差图中任意一个已经被步骤S4确定地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列，对该读取列的视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列；

然后，初始化不满足条件行的计数为0，在当前存储列中，从被步骤S4确定的地面与障碍物交界位置出现的行r′开始，向上一行r′-1行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行；

判断当前遍历行r"的导数值val′是否满足abs(val′)<t4，t4为第四阈值，且对应的当前遍历行r"的视差值d是否满足d>t5，t5为第五阈值；然后根据第三种情况及第四种情况进行判断：

第三种情况：若同时满足这两个条件，则不满足条件行的计数设置为0，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第四种情况：若不能同时满足这两个条件，则不满足条件行的计数在原有计数数值基础上增加1；读取不满足条件的行的数目N′，判断不满足条件的行的数目N′是否满足N′>＝t6，t6为第六阈值，当N′>＝t6时，记录当前读取列障碍物上底边所在的行为(r"+t6-1)行，结束当前读取列的行遍历；当不满足N′>＝t6时，继续遍历，更新当前遍历行r"为r"的上一行重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

S502：重复步骤S501，直到完成视差图中，所有已经被步骤S4确定的地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列的处理，得到障碍物上底边出现的行；

S503：对于视差图的每一列，上述遍历过程中得到的障碍物上底边所在的行至地面与障碍物交界位置出现的行之间的像素点确定为障碍物像素点，这些像素点的图像坐标位置，构成障碍物区域检测结果。

本发明另一目的是提供一种基于视觉的障碍物检测装置，该检测装置包括：

图像获取单元，用于获取相机拍摄的图像；

图像校正单元，用于对获取的图像通过校正得到校正后图像；

视差图获取单元，用于利用离线训练好的深度学习模型对校正后图像进行深度预测，获得深度图，并转化为视差图；

道路区域检测单元，用于对视差图按列处理，确定所有的地面像素点，所有的地面像素点的图像坐标位置，构成道路区域检测结果；

障碍物检测单元，用于对视差图按列处理，确定所有的障碍物像素点，所有的障碍物像素点的图像坐标位置，构成障碍物区域检测结果；

第一输出单元，用于将所述障碍物区域检测结果标记在原始获取的相机拍摄的图像中，输出障碍物区域。

进一步地，所述道路区域检测单元具体包括：

第一处理子单元，用于读取视差图中任意一个未被处理过的列，对该读取列视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列，并计算存储列中从最大行rm行到rm-r1行的所有导数值的均值t1，确定t1为基准值，其中r1为第一阈值，即预先设定的用于计算t1的行数阈值；

第一遍历子单元，用于初始化不满足条件行的计数为0，并在上述存储列中，从最大行rm行开始，向上一行rm-1行进行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行，读取当前遍历行r的导数值val；

第一判断子单元，用于将val与t1根据第一种情况及第二种情况进行比较：

第一种情况：当abs(t1-val)<t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数设置为0，然后继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第二种情况：当abs(t1-val)≥t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数在原有计数数值基础上增加1，并读取不满足条件行的计数数值N，判断N是否满足N≥t3，其中t3为第三阈值，当N≥t3时，将(r+t3-1)行确定为当前读取列中地面与障碍物交界位置出现的行，结束对当前存储列的行遍历；当不满足N≥t3时，则继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第一重复指示子单元，用于指示所述第一处理子单元、第一遍历子单元和第一判断子单元重复进行动作，直到完成视差图中所有列的处理，得到各个列的地面与障碍物交界位置出现的行；

第一确定子单元，用于将视差图的每一列，将得到的地面与障碍物交界位置出现的行至最大行rm行中的像素点确定为地面像素点，这些地面像素点的图像坐标位置，构成道路区域检测结果。

进一步地，所述障碍物检测单元具体包括：

第二处理子单元，用于读取视差图中任意一个已经被确定地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列，对该读取列的视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列；

第二遍历子单元，用于初始化不满足条件行的计数为0，在当前存储列中，从确定的地面与障碍物交界位置出现的行r′开始，向上一行r′-1行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行；

第二判断子单元，用于判断当前遍历行r"的导数值val′是否满足abs(val′)<t4，t4为第四阈值，且对应的当前遍历行r"的视差值d是否满足d>t5，t5为第五阈值；然后根据第三种情况及第四种情况进行判断：

第三种情况：若同时满足这两个条件，则不满足条件行的计数设置为0，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第四种情况：若不能同时满足这两个条件，则不满足条件行的计数在原有计数数值基础上增加1；读取不满足条件的行的数目N′，判断不满足条件的行的数目N′是否满足N′>＝t6，t6为第六阈值，当N′>＝t6时，记录当前读取列障碍物上底边所在的行为(r"+t6-1)行，结束当前读取列的行遍历；当不满足N′>＝t6时，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第二重复指示子单元，用于指示所述第二处理子单元、第二遍历子单元和第二判断子单元重复动作，直到完成视差图中，所有列的扫描，得到各个列的障碍物上底边出现的行；

第二确定子单元，用于将视差图的每一列，得到的障碍物上底边所在的行至地面与障碍物交界位置出现的行之间的像素点确定为障碍物像素点，这些像素点的图像坐标位置，构成障碍物区域检测结果。

一种基于视觉的障碍物距离计算方法，包括所述基于视觉的障碍物检测方法，还包括以下步骤：

S7、障碍物距离计算步骤，具体为：

S710：对确定为地面像素点的像素点，进行等间隔采样，选取n个像素点用于拟合地面方程；

S720：对于采样的像素点(u^k,v^k)，k∈[1,n]，n为采样的像素点总个数，计算其对应的三维坐标点(X^k,Y^k,Z^k)，计算公式为：

其中，d(u^k,v^k)表示视差图中像素点(u^k,v^k)的视差值，K为相机参数矩阵；

S730：根据计算得到的n个像素点三维坐标点(X^k,Y^k,Z^k)拟合地平面方程，具体为：

令地平面方程为：

AX+BY+CZ+D＝0(4)

其中，A，B，C，D为待求解的系数，代入(X^k,Y^k,Z^k)，k∈[1,n]，构建n个方程组成的方程组，通过方程组求解，求出A，B，C，D；

S740：根据相机安装高度H，求出尺度因子λ：

根据式(4)求出相机距离地面的距离D′，

其中，由于离线标定获得的相机安装的实际高度为H，因此计算尺度因子λ为，

S750：对图像中检测到的每个障碍物区域，在相应的视差图中的出现位置的所有视差值，通过取平均值，计算出该障碍物区域的平均视差值

然后利用尺度因子λ计算得到该障碍物的真实距离值

S8、输出计算得到的每个障碍物的真实距离值

一种基于视觉的障碍物距离计算装置，包括所述基于视觉的障碍物检测装置，所述距离计算装置还包括：

像素点采样单元，用于对确定为地面像素点的像素点，进行等间隔采样，选取n个像素点用于拟合地面方程；

第二计算单元，用于计算采样的n个像素点的三维坐标点，其中：

对于采样的像素点(u^k,v^k)，k∈[1,n]，n为采样的像素点总个数，计算其对应的三维坐标点(X^k,Y^k,Z^k)，计算公式为：

其中，d(u^k,v^k)表示视差图中像素点(u^k,v^k)的视差值，K为相机参数矩阵；

第三计算单元，用于根据计算得到的n个像素点三维坐标点(X^k,Y^k,Z^k)拟合地平面方程，具体包括：

地平面方程构建子单元，用于构建地平面方程：

AX+BY+CZ+D＝0(4)

其中，A，B，C，D为待求解的系数，代入(X^k,Y^k,Z^k)，k∈[1,n]，

地平面方程计算子单元，用于构建n个方程组成的方程组，通过方程组求解，求出A，B，C，D；

第四计算单元，用于根据相机安装高度H，求出尺度因子λ：

根据(4)求出相机距离地面的距离D′，

其中，由于离线标定获得的相机安装的实际高度为H，因此计算尺度因子λ为，

第五计算单元，用于计算障碍物的真实距离值

对图像中检测到的每个障碍物区域，在相应的视差图中的出现位置的所有视差值，通过取平均值，计算出该障碍物区域的平均视差值

然后利用尺度因子λ计算得到该障碍物的真实距离值

第二输出单元，用于输出计算得到的每个障碍物的真实距离值

本发明的有益效果在于：本发明根据车载相机拍摄的车辆周围的单帧图像即可实现检测道路障碍物，并可以给出障碍物距离，对障碍物进行精准定位，实现过程容易，对设备要求更低，检测效果更鲁棒。通过利用深度学习模型预测的深度图，仅用单目相机既可以较好的解决任意类型的运动及静止障碍物的检测及定位问题，在具有坡度的路面上依然适用。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的计算方法流程示意图；

图2为外参校正前后的相机拍摄视角对比示意图；

图3为相机拍摄图像及其对应的视差图；

图4为视差图的扫描示意图；

图5为视差图扫描后得到各个列的地面与障碍物交界位置出现的行的示意图；

图6为道路区域检测后得到的道路区域示意图；

图7为障碍物检测后得到的障碍物区域及道路边界线示意图；

图8为本发明的基于视觉的障碍物检测装置的结构框图；

图9为道路区域检测单元的结构框图；

图10为障碍物检测单元的结构框图；

图11为本发明提供的另一种基于视觉的障碍物距离计算方法的流程图；

图12为本发明提供的另一种基于视觉的障碍物距离计算装置的结构框图。

具体实施方式

下面结合附图及具体实施例进一步说明本发明的详细内容及其具体实施方式。

实施例1

参照图1，一种基于视觉的障碍物检测方法，具体包括以下步骤：

S1、获取相机拍摄的图像(如图3(a)所示)；本实施例中的相机可安装于汽车前方挡风玻璃处，也可以安装于车身其他位置；图像为单帧图像；

S2、图像校正：对获取的图像通过校正得到校正后图像；

校正方法具体包括：

将原始输入图像利用相机的内参数(通过离线内参标定，事先标定好的，现有技术)校正得到无畸变图像，利用离线外参标定方法(现有技术)，事先标定出相机安装角度，包括相机的安装俯角、滚动角和偏航角，利用所述安装角度，将经内参校正后的无畸变图像，进一步校正为无安装角度的校正后图像(如图2所示，图2给出了外参校正前后相机拍摄视角的对比，其中图2(a)为相机实际安装的角度示意图；图2(b)为经过图像外参校正后图像对应的虚拟相机的安装角度示意图，可见校正后图像即使得校正后的相机成像平面，垂直于车身所在的水平面；相机光轴平行于车身长度方向)。

具体实现过程为：

设原始输入图像为I₁，利用内参校正得到无畸变图像为I₂，利用外参去除安装角度后的图像(校正后图像)为I，由I₁得到I₂的过程为，对I₂中的任意一坐标点(u₂,v₂)，计算其在I₁中的对应位置(u₁,v₁)，然后将I₁中的点(u₁,v₁)的像素值赋值给I₂中的点(u₂,v₂)。

由I₂得到I的过程为，对I中的任意一坐标点(u,v)，计算其在I₂中的对应位置(u₂,v₂)，然后将I₂中的点(u₂,v₂)的像素值赋值给I中的点(u,v)。这样，就由原始图像I₁得到了经过内参和外参校正后的图像I，本实施例的后续计算处理都在图像I上进行。

具体转换公式描述如下：

由(u₂,v₂)到(u₁,v₁)的计算公式为：

(u₁,v₁)＝g(u₂,v₂) (1)

其中，g为描述相机成像模型的函数，由内参标定方法确定，为现有技术。

由(u,v)到(u₂,v₂)的计算公式为：

其中，R为由相机安装的俯角、滚动角，和偏航角构成的旋转矩阵，由离线外参标定方法确定，离线外参标定方法为现有技术。K₂和K分别为图像I₂和图像I对应的虚拟相机的内参矩阵，这些矩阵，都为已知矩阵。根据公式(1)和(2)可以完成上述图像标定过程。也可以不生成图像I₂，利用公式(1)和(2)的对应关系，直接由原始输入图像为I₁生成校正图像I。

S3、参照图3，获取深度图：利用离线训练好的深度学习模型对校正后图像进行深度预测，获得深度图，并转化为视差图(现有技术。参考文献“Godard,

Mac AodhaO,Firman M,et al.Digging Into Self-Supervised Monocular Depth Estimation[J].2018.”)；转化后的视差图如图3(b)所示；

S4、道路区域检测：对视差图按列处理，确定所有的地面像素点，地面像素点的图像坐标位置，构成道路区域检测结果；

具体包括以下步骤：

S401、参照图4，图4(a)为用多个像素点表示的视差图(只是作为对视差图扫描方法的示意，不等同于图3中的实际视差图)，其中每个小方块代表1个像素点，按照列读取方向对视差图进行处理，图4(b)为导数曲线的导数值按列存储后的存储列示意图。

读取视差图中任意一个未被处理过的列，对该读取列视差值进行求导，得到导数曲线(现有技术，对于读取列视差值构成的曲线，由于地面位置出现的列的像素点，会构成曲线中的具有一定斜率的直线段，该直线段的拐点即为当前读取列中地面与障碍物交界位置出现的行。为检测该位置，对当前读取列视差值构成的曲线，进行求导，得到导数曲线)，将导数曲线的导数值按列存储，得到导数值的存储列，并计算存储列中从最大行rm行到rm-r1行的所有导数值的均值t1(参照图4(b))，确定t1为基准值，其中r1为第一阈值，即预先设定的用于计算t1的行数阈值；由于导数值的存储列和当前读取列对应，所以导数值存储列的行数，和视差图的行数相等，所述最大行rm行为当前导数值的存储列中位于最下方的行；

然后，初始化不满足条件行的计数为0，并在上述存储列中，从最大行rm行开始，向上一行rm-1行进行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行，读取当前遍历行r的导数值val，将val与基准值t1根据第一种情况及第二种情况进行比较：

第一种情况：当abs(t1-val)<t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数设置为0，然后继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第二种情况：当abs(t1-val)≥t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数在原有计数数值基础上增加1，并读取不满足条件行的计数数值N，判断N是否满足N≥t3，其中t3为第三阈值，当N≥t3时，将(r+t3-1)行确定为当前读取列中地面与障碍物交界位置出现的行，结束对当前存储列的行遍历；当不满足N≥t3时，则继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

本实施例中，设定r1＝3,t2＝0.3,t3＝5。

S402、重复步骤S401，直到完成视差图中所有列的处理，得到各个列的地面与障碍物交界位置出现的行(最终得到的行如图5所示，图中的曲线即为地面与障碍物交界位置出现的行)；

S403、对于视差图的每一列，上述遍历过程中得到的地面与障碍物交界位置出现的行至最大行rm行中的像素点确定为地面像素点，这些地面像素点的图像坐标位置，构成道路区域检测结果(最终的道路区域检测结果如图6所示，图中下方白色区域即为检测的道路区域)。

S5、障碍物检测：对视差图按列处理，确定所有的障碍物像素点，所有的障碍物像素点的图像坐标位置，构成障碍物区域检测结果；

具体实现步骤如下：

S501、读取视差图中任意一个已经被步骤S4确定地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列，对该读取列的视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列；

然后，初始化不满足条件行的计数为0，在当前存储列中，从被步骤S4确定的地面与障碍物交界位置出现的行r′开始，向上一行r′-1行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行；

判断当前遍历行r"的导数值val′是否满足abs(val′)<t4，t4为第四阈值，且对应的当前遍历行r"的视差值d是否满足d>t5，t5为第五阈值；然后根据第三种情况及第四种情况进行判断：

第三种情况：若同时满足这两个条件，则不满足条件行的计数设置为0，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第四种情况：若不能同时满足这两个条件，则不满足条件行的计数在原有计数数值基础上增加1；读取不满足条件的行的数目N′，判断不满足条件的行的数目N′是否满足N′>＝t6，t6为第六阈值，当N′>＝t6时，记录当前读取列障碍物上底边所在的行为(r"+t6-1)行，结束当前读取列的行遍历；当不满足N′>＝t6时，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

本实施例中t4＝0.0015，t5＝0.15，t6＝10。

S502：重复步骤S501，直到完成视差图中，所有已经被步骤S4确定的地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列的处理，得到障碍物上底边出现的行；

S503：对于视差图的每一列，上述遍历过程中得到的障碍物上底边所在的行至地面与障碍物交界位置出现的行之间的像素点确定为障碍物像素点，这些像素点的图像坐标位置，构成障碍物区域检测结果(最终检测得到的障碍物区域如图7所示)。

S6、将所述障碍物区域检测结果标记在原始获取的相机拍摄的图像中，输出障碍物区域。

参照图8，本发明另一目的是提供一种基于视觉的障碍物检测装置，该检测装置包括：

图像获取单元100，用于获取相机拍摄的图像；

图像校正单元200，用于对获取的图像通过校正得到校正后图像；

视差图获取单元300，用于利用离线训练好的深度学习模型对校正后图像进行深度预测，获得深度图，并转化为视差图；

道路区域检测单元400，用于对视差图按列处理，确定所有的地面像素点，所有的地面像素点的图像坐标位置，构成道路区域检测结果；

障碍物检测单元500，用于对视差图按列处理，确定所有的障碍物像素点，所有的障碍物像素点的图像坐标位置，构成障碍物区域检测结果；

第一输出单元600，用于将所述障碍物区域检测结果标记在原始获取的相机拍摄的图像中，输出障碍物区域。

参照图9，所述道路区域检测单元400具体包括：

第一处理子单元410，用于读取视差图中任意一个未被处理过的列，对该读取列视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列，并计算存储列中从最大行rm行到rm-r1行的所有导数值的均值t1，确定t1为基准值，其中r1为第一阈值，即预先设定的用于计算t1的行数阈值；

第一遍历子单元420，用于初始化不满足条件行的计数为0，并在上述存储列中，从最大行rm行开始，向上一行rm-1行进行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行，读取当前遍历行r的导数值val；

第一判断子单元430，用于将val与t1根据第一种情况及第二种情况进行比较：

第一种情况：当abs(t1-val)<t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数设置为0，然后继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第二种情况：当abs(t1-val)≥t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数在原有计数数值基础上增加1，并读取不满足条件行的计数数值N，判断N是否满足N≥t3，其中t3为第三阈值，当N≥t3时，将(r+t3-1)行确定为当前读取列中地面与障碍物交界位置出现的行，结束对当前存储列的行遍历；当不满足N≥t3时，则继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第一重复指示子单元440，用于指示所述第一处理子单元410、第一遍历子单元420和第一判断子单元430重复进行动作，直到完成视差图中所有列的处理，得到各个列的地面与障碍物交界位置出现的行；

第一确定子单元450，用于将视差图的每一列，将得到的地面与障碍物交界位置出现的行至最大行rm行中的像素点确定为地面像素点，这些地面像素点的图像坐标位置，构成道路区域检测结果。

参照图10，所述障碍物检测单元500具体包括：

第二处理子单元510，用于读取视差图中任意一个已经被确定地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列，对该读取列的视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列；

第二遍历子单元520，用于初始化不满足条件行的计数为0，在当前存储列中，从确定的地面与障碍物交界位置出现的行r′开始，向上一行r′-1行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行；

第二判断子单元530，用于判断当前遍历行r"的导数值val′是否满足abs(val′)<t4，t4为第四阈值，且对应的当前遍历行r"的视差值d是否满足d>t5，t5为第五阈值；然后根据第三种情况及第四种情况进行判断：

第三种情况：若同时满足这两个条件，则不满足条件行的计数设置为0，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第四种情况：若不能同时满足这两个条件，则不满足条件行的计数在原有计数数值基础上增加1；读取不满足条件的行的数目N′，判断不满足条件的行的数目N′是否满足N′>＝t6，t6为第六阈值，当N′>＝t6时，记录当前读取列障碍物上底边所在的行为(r"+t6-1)行，结束当前读取列的行遍历；当不满足N′>＝t6时，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第二重复指示子单元540，用于指示所述第二处理子单元510、第二遍历子单元520和第二判断子单元530重复动作，直到完成视差图中，所有列的扫描，得到各个列的障碍物上底边出现的行；

第二确定子单元550，用于将视差图的每一列，得到的障碍物上底边所在的行至地面与障碍物交界位置出现的行之间的像素点确定为障碍物像素点，这些像素点的图像坐标位置，构成障碍物区域检测结果。

实施例2

参照图11(图11省略了前述的基于视觉的障碍物距离计算方法中的S1-S3)，本实施例2提供了一种基于视觉的障碍物距离计算方法，是在实施例1的障碍物检测基础上，对障碍物距离进行计算的方法，该障碍物距离计算方法，包括前述的基于视觉的障碍物检测方法，还包括以下步骤：

S710：对确定为地面像素点的像素点，进行等间隔采样，选取n个像素点用于拟合地面方程；

S720：对于采样的像素点(u^k,v^k)，k∈[1,n]，n为采样的像素点总个数，计算其对应的三维坐标点(X^k,Y^k,Z^k)，计算公式为：

其中，d(u^k,v^k)表示视差图中像素点(u^k,v^k)的视差值，K为相机参数矩阵；

S730：根据计算得到的n个像素点的三维坐标点(X^k,Y^k,Z^k)拟合地平面方程，具体为：

令地平面方程为：

AX+BY+CZ+D＝0(4)

其中，A，B，C，D为待求解的系数，代入(X^k,Y^k,Z^k)，k∈[1,n]，构建n个方程组成的方程组，通过方程组求解，求出A，B，C，D；

S740：根据相机安装高度H，求出尺度因子λ：

由于d(u^k,v^k)是相对尺度下的视差，这导致步骤S730求出的地平面方程，尺度不确定，需要求出尺度因子。根据式(4)求出相机距离地面的距离D′，

其中，由于离线标定获得的相机安装的实际高度为H，因此计算尺度因子λ为，

S750：对图像中检测到的每个障碍物区域，在相应的视差图中的出现位置的所有视差值，通过取平均值，计算出该障碍物区域的平均视差值

然后利用尺度因子λ计算得到该障碍物的真实距离值

S8、输出计算得到的每个障碍物的真实距离值D。

同时，参照图12，本实施例另外提供一种基于视觉的障碍物距离计算装置，包括所述基于视觉的障碍物检测装置，所述距离计算装置还包括：

像素点采样单元710，用于对确定为地面像素点的像素点，进行等间隔采样，选取n个像素点用于拟合地面方程；

第一计算单元720，用于计算采样的n个像素点的三维坐标点，其中：

对于采样的像素点(u^k,v^k)，k∈[1,n]，n为采样的像素点总个数，计算其对应的三维坐标点(X^k,Y^k,Z^k)，计算公式为：

其中，d(u^k,v^k)表示视差图中像素点(u^k,v^k)的视差值，K为相机参数矩阵；

第二计算单元730，用于根据计算得到的n个像素点三维坐标点(X^k,Y^k,Z^k)拟合地平面方程，所述第二计算单元具体包括：

地平面方程构建子单元，用于构建地平面方程：

AX+BY+CZ+D＝0(4)

其中，A，B，C，D为待求解的系数，代入(X^k,Y^k,Z^k)，k∈[1,n]，

地平面方程计算子单元，用于构建n个方程组成的方程组，通过方程组求解，求出A，B，C，D；

第三计算单元740，用于根据相机安装高度H，求出尺度因子λ：

根据(4)求出相机距离地面的距离D′，

其中，由于离线标定获得的相机安装的实际高度为H，因此计算尺度因子λ为，

第四计算单元750，用于计算障碍物的真实距离值

对图像中检测到的每个障碍物区域，在相应的视差图中的出现位置的所有视差值，通过取平均值，计算出该障碍物区域的平均视差值

然后利用尺度因子λ计算得到该障碍物的真实距离值

第二输出单元800，用于输出计算得到的每个障碍物的真实距离值

本发明利用离线训练的深度模型，预测深度图，不仅可以进行道路障碍物检测，而且还可以得出障碍物距离，对障碍物进行精准定位，可用于汽车辅助驾驶、汽车自动驾驶领域。

实施例1和实施例2中的相机可安装于车身的前方，也可以安装于车身其他位置，对障碍物区域检测及距离计算结果均无影响。

以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视觉的障碍物检测方法，其特征在于，具体包括以下步骤：

S1、获取相机拍摄的图像；

S2、图像校正：对获取的图像通过校正得到校正后图像；

S3、获取深度图：利用离线训练好的深度学习模型对校正后图像进行深度预测，获得深度图，并转化为视差图；

S4、道路区域检测：对视差图按列处理，确定所有的地面像素点，所有的地面像素点的图像坐标位置，构成道路区域检测结果；

S5、障碍物检测：对视差图按列处理，确定所有的障碍物像素点，所有的障碍物像素点的图像坐标位置，构成障碍物区域检测结果；

S6、将所述障碍物区域检测结果标记在原始获取的相机拍摄的图像中，输出障碍物区域；

所述步骤S5的障碍物检测具体包括以下步骤：

S501、读取视差图中任意一个已经被步骤S4确定地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列，对该读取列的视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列；

然后，初始化不满足条件行的计数为0，在当前存储列中，从被步骤S4确定的地面与障碍物交界位置出现的行r′开始，向上一行r′-1行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行；

判断当前遍历行r"的导数值val′是否满足abs(val′)<t4，t4为第四阈值，且对应的当前遍历行r"的视差值d是否满足d>t5，t5为第五阈值；然后根据第三种情况及第四种情况进行判断：

第三种情况：若同时满足这两个条件，则不满足条件行的计数设置为0，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第四种情况：若不能同时满足这两个条件，则不满足条件行的计数在原有计数数值基础上增加1；读取不满足条件的行的数目N′，判断不满足条件的行的数目N′是否满足N′>＝t6，t6为第六阈值，当N′>＝t6时，记录当前读取列障碍物上底边所在的行为(r"+t6-1)行，结束当前读取列的行遍历；当不满足N′>＝t6时，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

S502：重复步骤S501，直到完成视差图中，所有已经被步骤S4确定的地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列的处理，得到障碍物上底边出现的行；

S503：对于视差图的每一列，上述遍历过程中得到的障碍物上底边所在的行至地面与障碍物交界位置出现的行之间的像素点确定为障碍物像素点，这些像素点的图像坐标位置，构成障碍物区域检测结果。

2.如权利要求1所述的一种基于视觉的障碍物检测方法，其特征在于，所述步骤S2的校正方法具体包括：

将原始输入图像利用相机的内参数校正得到无畸变图像，利用离线外参标定方法，事先标定出相机安装角度，包括相机的安装俯角、滚动角和偏航角，利用所述安装角度，将经内参校正后的无畸变图像，进一步校正为无安装角度的校正后图像。

3.如权利要求1所述的一种基于视觉的障碍物检测方法，其特征在于，所述步骤S4的道路区域检测具体包括以下步骤：

S401、读取视差图中任意一个未被处理过的列，对该读取列视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列，并计算存储列中从最大行rm行到rm-r1行的所有导数值的均值t1，确定t1为基准值，其中r1为第一阈值，即预先设定的用于计算t1的行数阈值；由于导数值的存储列和当前读取列对应，所以导数值存储列的行数，和视差图的行数相等，所述最大行rm行为当前导数值的存储列中位于最下方的行；

然后，初始化不满足条件行的计数为0，并在上述存储列中，从最大行rm行开始，向上一行rm-1行进行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行，读取当前遍历行r的导数值val，将val与基准值t1根据第一种情况及第二种情况进行比较：

第一种情况：当abs(t1-val)<t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数设置为0，然后继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第二种情况：当abs(t1-val)≥t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数在原有计数数值基础上增加1，并读取不满足条件行的计数数值N，判断N是否满足N≥t3，其中t3为第三阈值，当N≥t3时，将(r+t3-1)行确定为当前读取列中地面与障碍物交界位置出现的行，结束对当前存储列的行遍历；当不满足N≥t3时，则继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

S402、重复步骤S401，直到完成视差图中所有列的处理，得到各个列的地面与障碍物交界位置出现的行；

S403、对于视差图的每一列，上述遍历过程中得到的地面与障碍物交界位置出现的行至最大行rm行中的像素点确定为地面像素点，这些地面像素点的图像坐标位置，构成道路区域检测结果。

4.一种基于视觉的障碍物检测装置，其特征在于，该检测装置包括：

图像获取单元，用于获取相机拍摄的图像；

图像校正单元，用于对获取的图像通过校正得到校正后图像；

视差图获取单元，用于利用离线训练好的深度学习模型对校正后图像进行深度预测，获得深度图，并转化为视差图；

道路区域检测单元，用于对视差图按列处理，确定所有的地面像素点，所有的地面像素点的图像坐标位置，构成道路区域检测结果；

障碍物检测单元，用于对视差图按列处理，确定所有的障碍物像素点，所有的障碍物像素点的图像坐标位置，构成障碍物区域检测结果；

第一输出单元，用于将所述障碍物区域检测结果标记在原始获取的相机拍摄的图像中，输出障碍物区域；

所述障碍物检测单元具体包括：

第二处理子单元，用于读取视差图中任意一个已经被确定地面与障碍物交界位置出现的行且没有确定障碍物上底边出现行的列，对该读取列的视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列；

第二遍历子单元，用于初始化不满足条件行的计数为0，在当前存储列中，从确定的地面与障碍物交界位置出现的行r′开始，向上一行r′-1行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行；

第二判断子单元，用于判断当前遍历行r"的导数值val′是否满足abs(val′)<t4，t4为第四阈值，且对应的当前遍历行r"的视差值d是否满足d>t5，t5为第五阈值；然后根据第三种情况及第四种情况进行判断：

第三种情况：若同时满足这两个条件，则不满足条件行的计数设置为0，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第四种情况：若不能同时满足这两个条件，则不满足条件行的计数在原有计数数值基础上增加1；读取不满足条件的行的数目N′，判断不满足条件的行的数目N′是否满足N′>＝t6，t6为第六阈值，当N′>＝t6时，记录当前读取列障碍物上底边所在的行为(r"+t6-1)行，结束当前读取列的行遍历；当不满足N′>＝t6时，继续遍历，更新当前遍历行r"为r"的上一行，重新进行判断满足第三种情况还是第四种情况，执行相应的操作；

第二重复指示子单元，用于指示所述第二处理子单元、第二遍历子单元和第二判断子单元重复动作，直到完成视差图中，所有列的扫描，得到各个列的障碍物上底边出现的行；

第二确定子单元，用于将视差图的每一列，得到的障碍物上底边所在的行至地面与障碍物交界位置出现的行之间的像素点确定为障碍物像素点，这些像素点的图像坐标位置，构成障碍物区域检测结果。

5.如权利要求4所述的一种基于视觉的障碍物检测装置，其特征在于，所述道路区域检测单元具体包括：

第一处理子单元，用于读取视差图中任意一个未被处理过的列，对该读取列视差值进行求导，得到对应的导数值，将导数值按列存储，得到导数值的存储列，并计算存储列中从最大行rm行到rm-r1行的所有导数值的均值t1，确定t1为基准值，其中r1为第一阈值，即预先设定的用于计算t1的行数阈值；

第一遍历子单元，用于初始化不满足条件行的计数为0，并在上述存储列中，从最大行rm行开始，向上一行rm-1行进行遍历，一直遍历至最小行，所述最小行为存储列中最上方的行，读取当前遍历行r的导数值val；

第一判断子单元，用于将val与t1根据第一种情况及第二种情况进行比较：

第一种情况：当abs(t1-val)<t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数设置为0，然后继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第二种情况：当abs(t1-val)≥t1×t2时，其中t2为第二阈值，abs表示计算绝对值，将不满足条件行的计数在原有计数数值基础上增加1，并读取不满足条件行的计数数值N，判断N是否满足N≥t3，其中t3为第三阈值，当N≥t3时，将(r+t3-1)行确定为当前读取列中地面与障碍物交界位置出现的行，结束对当前存储列的行遍历；当不满足N≥t3时，则继续遍历，更新当前遍历行r为r的上一行，重新进行判断满足第一种情况还是第二种情况，执行相应的操作；

第一重复指示子单元，用于指示所述第一处理子单元、第一遍历子单元和第一判断子单元重复进行动作，直到完成视差图中所有列的处理，得到各个列的地面与障碍物交界位置出现的行；

第一确定子单元，用于将视差图的每一列，得到的地面与障碍物交界位置出现的行至最大行rm行中的像素点确定为地面像素点，这些地面像素点的图像坐标位置，构成道路区域检测结果。

6.一种基于视觉的障碍物距离计算方法，包括权利要求1-3中任意一项所述基于视觉的障碍物检测方法，其特征在于，还包括以下步骤：

S7、障碍物距离计算步骤，具体为：

S710：对确定为地面像素点的像素点，进行等间隔采样，选取n个像素点用于拟合地面方程；

S720：对于采样的像素点(u^k,v^k)，k∈[1,n]，n为采样的像素点总个数，计算其对应的三维坐标点(X^k,Y^k,Z^k)，计算公式为：

其中，d(u^k,v^k)表示视差图中像素点(u^k,v^k)的视差值，K为相机参数矩阵；

S730：根据计算得到的n个像素点三维坐标点(X^k,Y^k,Z^k)拟合地平面方程，具体为：

令地平面方程为：

AX+BY+CZ+D＝0 (4)

其中，A，B，C，D为待求解的系数，代入(X^k,Y^k,Z^k)，k∈[1,n]，构建n个方程组成的方程组，通过方程组求解，求出A，B，C，D；

S740：根据相机安装高度H，求出尺度因子λ：

根据式(4)求出相机距离地面的距离D′，

其中，由于离线标定获得的相机安装的实际高度为H，因此计算尺度因子λ为，

S750：对图像中检测到的每个障碍物区域，在相应的视差图中的出现位置的所有视差值，通过取平均值，计算出该障碍物区域的平均视差值

然后利用尺度因子λ计算得到该障碍物的真实距离值

S8、输出计算得到的每个障碍物的真实距离值

7.一种基于视觉的障碍物距离计算装置，包括权利要求4或5所述基于视觉的障碍物检测装置，其特征在于，所述距离计算装置还包括：

像素点采样单元，用于对确定为地面像素点的像素点，进行等间隔采样，选取n个像素点用于拟合地面方程；

第二计算单元，用于计算采样的n个像素点的三维坐标点，其中：

对于采样的像素点(u^k,v^k)，k∈[1,n]，n为采样的像素点总个数，计算其对应的三维坐标点(X^k,Y^k,Z^k)，计算公式为：

其中，d(u^k,v^k)表示视差图中像素点(u^k,v^k)的视差值，K为相机参数矩阵；

第三计算单元，用于根据计算得到的n个像素点三维坐标点(X^k,Y^k,Z^k)拟合地平面方程，具体包括：

地平面方程构建子单元，用于构建地平面方程：

AX+BY+CZ+D＝0 (4)

其中，A，B，C，D为待求解的系数，代入(X^k,Y^k,Z^k)，k∈[1,n]，

地平面方程计算子单元，用于构建n个方程组成的方程组，通过方程组求解，求出A，B，C，D；

第四计算单元，用于根据相机安装高度H，求出尺度因子λ：

根据(4)求出相机距离地面的距离D′，

其中，由于离线标定获得的相机安装的实际高度为H，因此计算尺度因子λ为，

第五计算单元，用于计算障碍物的真实距离值

对图像中检测到的每个障碍物区域，在相应的视差图中的出现位置的所有视差值，通过取平均值，计算出该障碍物区域的平均视差值

然后利用尺度因子λ计算得到该障碍物的真实距离值

第二输出单元，用于输出计算得到的每个障碍物的真实距离值

Images