CN110598505B - 障碍物悬空状态判断方法、装置及终端 - Google Patents

Abstract

本发明公开了一种障碍物悬空状态的判断方法、装置及终端，涉及汽车辅助驾驶技术领域，该方法包括：对待检测图像分别进行障碍物检测和地面相关线拟合；确定所检测到的障碍物在V视差图中对应的像素点，并计算V视差图中所述障碍物的像素点的平均视差值；确定所述障碍物上视差值为所述平均视差值的像素点所在行，与地面相关线上视差值为所述平均视差值的像素点所在行之间的最小行距；根据所述最小行距，确定障碍物的悬空状态。应用上述方法可以判断出障碍物是否处于悬空状态，在障碍物预警前，将悬空状态的障碍物进行剔除，提高障碍物预警的准确度。

Description

障碍物悬空状态判断方法、装置及终端

技术领域

本发明涉及汽车辅助驾驶技术领域，特别涉及一种障碍物悬空状态判断方法、装置及终端。

背景技术

基于双目立体视觉技术检测道路上的障碍物是汽车辅助驾驶领域中比较热门的研究课题，道路障碍物预警系统则应用双目立体视觉技术检测道路上可能妨碍车辆行驶的障碍物，并在确定检测到的障碍物与车头之间的距离过近时发出预警信号，以及时提醒车辆驾驶员采取有效避让措施，避免车辆与障碍物发生碰撞。

在障碍物预警中，主要关注位于车辆前方那些妨碍车辆行驶的障碍物，例如车辆前方的汽车、行人等。而实践中发现，位于远处的信号灯、天空或植物背景、甚至是近处树木等，由于视差点较多且较为密集，容易被检测成障碍物，从而也发出预警信息，显然这些障碍物并不是用户最需要关注的，若持续对这些障碍物发出预警信息，可能给用户带来较差的用户体验。

发明内容

为了解决相关技术中，由于处于悬空状态的障碍物并不会对车辆行驶造成障碍物，但现有预警却对悬空障碍物进行误预警的问题，本发明技术方案如下：

本发明实施方式的第一方面，提供了一种障碍物悬空状态的判断方法，所述方法包括：

对待检测图像分别进行障碍物检测和地面相关线拟合；确定所检测到的障碍物在V视差图中对应的像素点，并计算V视差图中所述障碍物的像素点的平均视差值；确定所述障碍物上视差值为所述平均视差值的像素点所在行，与地面相关线上视差值为所述平均视差值的像素点所在行之间的最小行距；根据所述最小行距，确定障碍物的悬空状态。

可选的，所述根据所述最小行距，确定障碍物的悬空状态，包括：根据所述最小行距，确定在世界坐标系中，所述障碍物和地面之间的相对距离；若所述相对距离大于第一阈值时，确定所述障碍物为悬空状态，若所述相对距离小于或等于所述第一阈值时，确定所述障碍物为非悬空状态。

可选的，所述根据所述最小行距，确定障碍物的悬空状态，包括：若所述最小行距大于第二阈值时，确定所述障碍物为悬空状态，若所述最小行距小于或等于所述第二阈值时，确定所述障碍物为非悬空状态。

可选的，所述确定障碍物的悬空状态后还包括，剔除所述待检测图像上检测到的障碍物中悬空状态的障碍物。

本发明实施方式的第二方面，提供一种障碍物悬空状态的判断装置，所述装置包括：

检测模块，用于对待检测图像分别进行障碍物检测和地面相关线拟合；平均视差值确定模块，用于确定所检测到的障碍物在V视差图中对应的像素点，并计算V视差图中所述障碍物的像素点的平均视差值；最小行距确定模块，用于确定所述障碍物上视差值为所述平均视差值的像素点所在行，与地面相关线上视差值为所述平均视差值的像素点所在行之间的最小行距；状态确定模块，用于根据所述最小行距，确定障碍物的悬空状态。

可选的，所述状态确定模块用于：根据所述最小行距，确定在世界坐标系中，所述障碍物和地面之间的相对距离；若所述相对距离大于第一阈值时，确定所述障碍物为悬空状态，若所述相对距离小于或等于所述第一阈值时，确定所述障碍物为非悬空状态。

可选的，所述状态确定模块用于：若所述最小行距大于第二阈值时，确定所述障碍物为悬空状态，若所述最小行距小于或等于所述第二阈值时，确定所述障碍物为非悬空状态。

本发明实施方式的第三方面，提供一种障碍物悬空状态的判断终端，包括处理器以及机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现上述任一所述的方法步骤。

本发明实施方式的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上述任一所述的方法步骤。

本发明的技术效果是：

本发明提供一种障碍物悬空状态的判断方法，通过对待检测图像分别进行障碍物检测和地面相关线拟合；确定所检测到的障碍物在V视差图中对应的像素点，并计算V视差图中所述障碍物的像素点的平均视差值；确定所述障碍物上视差值为所述平均视差值的像素点所在行，与地面相关线上视差值为所述平均视差值的像素点所在行之间的最小行距；根据所述最小行距，确定障碍物的悬空状态。

通过根据检测到的障碍物的像素点在V视差图上的分布情况，通过计算障碍物的像素点的平均视差值，用该平均视差值代表障碍物的视差分布，确定出障碍物中视差值等于平均视差值的像素点集合，并且确定V视差图中地面拟合线上视差值等于平均视差值的像素点，从而可以计算得出视差值为平均视差值的对应的障碍物上和地面拟合线上的像素点之间的最小行距，基于V视差原理，通过行距可以求得世界坐标系下的相对高度，即可以判断出障碍物和地面的相对高度，也就能够判断障碍物的悬空状态，进一步的，在障碍物预警步骤前，对处于悬空状态的那些障碍物进行剔除，能够提高障碍物预警的准确度。

附图说明

为了更清楚地说明本发明实施方式，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本发明实施例示出的一种计算视差图像的原理示意图；

图1B是本发明实施例示出的一种根据视差图像计算V视差图的原理示意图；

图1C是本发明实施例提供的一种障碍物检测方法的系统架构图；

图1D是本发明实施例示出的一种包含悬空障碍物图；

图2是本发明实施例一的障碍物悬空状态判断方法流程图；

图3A是本发明实施例一的待检测图像的基准图示例；

图3B是本发明实施例一的待检测图像的视差图示例；

图3C是本发明实施例一的视差图中确定的待检测区域示例；

图3D是本发明实施例一的V视差图中检测到地面相关线和障碍物示例；

图3E是依据图3D建立坐标系确定最小行距的示例图；

图4A是本发明实施例一构建的世界坐标系示例；

图4B是根据图4A建立的世界坐标系推导y与z关系示例；

图5是是本发明实施例二的障碍物悬空状态判断装置流程图；

图6是本发明实施例三的障碍物悬空状态判断终端结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

首先，为了便于理解，在对本发明实施例进行详细的解释说明之前，先对本发明实施例涉及的名词进行解释。

视差图像：通过对双目摄像头同一时刻拍摄到的左右两幅图像进行计算得到。其中，左右两幅图像中，一幅图像作为基准图像，另一幅图像作为比较图像，且左右两幅图像的大小相同。将基准图像和比较图像放置于同一坐标系中，将比较图像中的像素点与基准图像中相同Y坐标的一行像素点进行匹配，以从基准图像中确定与比较图像中的像素点匹配的像素点，并计算比较图像和基准图像中每两个相互匹配的像素点之间的横坐标之差，该横坐标之差即为两个像素点之间的视差值。将该视差值作为基准图像中该像素点对应的像素值，从而得到与基准图像相同大小的视差图像。

图1A是本发明实施例示出的一种计算视差图像的原理示意图。其中，假设图1A中的左图为基准图像，右图为比较图像。其中，为了便于说明，可以将图1A中每个小方格看作一个像素点。对于比较图像中的像素点A，当在基准图像中寻找该像素点A的匹配像素点时，首先，可以以该像素点A为中心像素点，形成一个W×H的像素矩阵，如可以形成一个9×9的像素矩阵。之后，可以在基准图像中确定与该中心像素点具有相同Y坐标的像素点，也即是，在基准图像中得到与该中心像素点同Y坐标的一行像素点，如图1A左图中的实线框所示。在将该中心像素点与这一行上的像素点逐个进行匹配时，可以计算该中心像素点所在的像素矩阵中的每个像素点与基准图像中对应位置上的像素点的像素差，将计算得到的多个像素差加和，得到像素差和。

也即是，如图1A中右图中的虚线框所示，假设以像素点A为中心像素点形成9×9的像素矩阵A，当该像素点A与基准图像中的像素点B进行匹配计算时，可以形成以像素点B为中心像素点的同样大小9×9的像素矩阵B，如图1A中左图虚线框所示。之后，计算像素矩阵A中的每个像素点和像素矩阵B中对应位置处的像素点之间的像素差，并将多个像素差加和，得到像素差和。对于基准图像中与像素点A同Y坐标的其他像素点，都可以通过上述方法与像素点A进行匹配计算，最终对应得到多个像素差和。从该多个像素差和中选择最小的像素差和，并将该最小的像素差和所对应的像素点确定为像素点A的匹配点。假设像素点A在基准图像中的匹配点为像素点B，此时，可以计算像素点A和像素点B之间的横坐标之差，并将该横坐标之差作为两个像素点之间的视差值，并将该视差值作为与基准图像相同大小的视差图像中像素点B的像素值。

V视差图：V视差图是由视差图像计算得到。由上述对视差图像的介绍可知，视差图像中，每个像素点的像素值即为对应的视差值。而V视差图是将视差图像的纵坐标保持不变，横坐标变为视差值，V视差图中每一点(x，y)处的像素值为视差图像中纵坐标为y的像素点中视差值为x的像素点的总个数。

图1B是本发明实施例示出的一种根据视差图像计算V视差图的示意图。其中，图1B的左图为视差图像，由前述对视差图像的介绍可知，其横坐标和纵坐标与基准图像的横纵坐标相同，每个像素点的像素值为该像素点对应的视差值。图1B的右图为V视差图，其纵坐标和视差图像的纵坐标相对应，横坐标则为视差值。为了便于说明，可以将图1B中每个小方格看作一个像素点，小方格中的值为该像素点的像素值。

如图1B左图中实线框内的一行像素点，该行像素点的纵坐标均为7，对于该行像素点的像素值进行统计，可以得到像素值为4的像素点的个数有5个，像素值为6的像素点的个数有8个，剩余的均为像素值为3的像素点，个数为7个，此时，根据该统计结果则可生成对应的V视差图中这一行的像素点。由于视差图像的像素值其实就是视差值，所以，像素值为4的像素点的个数为5个，实际上就是视差值为4的像素点的个数为5个，此时，在V视差图中横坐标为4且纵坐标为7的位置处的像素点的像素值即为5。相应地，横坐标为6且纵坐标为7的位置处的像素点的像素值即为8，横坐标为3且纵坐标为7的位置处的像素点的像素值即为7。由于视差图像中纵坐标为7的像素点中不存在其余的视差值的像素点，因此，对于V视差图中剩余的纵坐标为7的像素点的像素值将均为0。

对于视差图像中每一行的像素点，均可以通过上述方法进行统计，并根据统计后的结果得到V视差图中对应一行像素点的像素差，从而最终计算得到V视差图。

U视差图：是由视差图像经过纵向压缩计算得到的，保留了视差图的列数，具体的，将视差图像的横坐标保持不变，纵坐标变为视差值，U视差图中每一点(x2，y2)处的像素值为视差图像中横坐标为x2的像素点中视差值为y2的像素点的总个数，这里不再详细说明。

接下来对本发明实施例涉及的应用场景予以介绍。

在当前的高级驾驶辅助系统中，可以通过图像处理和计算机视觉技术来处理雷达、传感器或者是摄像头采集到的路况图像，根据路况图像对前方行人、障碍物做出预测，并在存在潜在危险的情况下对驾驶员进行预警或者是控制车辆紧急制动。其中，对前方的障碍物的准确检测是进行有效预警的关键。

接下来对本发明实施例涉及的系统架构进行说明。

图1C是本发明实施例提供的一种障碍物检测方法的系统架构图。如图1C所示，该系统中包括汽车101、双目摄像头102和终端103。其中，双目摄像头102搭载在汽车101上，且双目摄像头102可以和终端103进行通信。

其中，双目摄像头102可以搭载在汽车101的前方且位于汽车101的纵轴线上。如图1C中箭头所指位置。并且，将双目摄像头102搭载在汽车101上之后，可以对双目摄像头102进行标定。在汽车101行驶的过程中，双目摄像头102可以采集路况图像。

当双目摄像头102采集得到路况图像之后，可以将该路况图像发送至终端103，终端103可以对该路况图像进行处理，得到视差图像，之后，根据该视差图像计算得到V视差图，并通过下文中图2中所示的障碍物检测方法从该V视差图中检测障碍物。

需要说明的是，在本发明实施例中，终端103可以是汽车101上安装的车载终端，在这种情况下，双目摄像头102可以通过蓝牙、无线网络或者是有线网络与该终端103进行通信。

可选地，终端103和双目摄像头102可以是集成在一起的设备，也即是，终端103可以是集成有双目摄像头和图像处理功能芯片的终端。

可选地，终端103也可以是同时与多个汽车搭载的双目摄像头进行通信的终端。也即是，该终端103可以为专门用于接收多个汽车的双目摄像头返回的路况图像，并对路况图像进行分析的终端。

在对本发明实施例的应用场景和系统架构进行介绍之后，接下来将结合附图对本发明实施例提供的障碍物检测方法进行详细的解释说明。

通常，障碍物检测中，首先在V视差图中进行直线拟合确定地面相关线，然后根据地面相关线来删除视差图中的路面上的视差点，将删除路面的视差图映射到U视差图像中，并检测横线段来确定普通障碍物的宽度，此时，每一条横线段都代表一个普通障碍物，进而将横线段上的视差值再对应回V视差图中，确定普通障碍物的像素高度，根据宽度和高度就可以在视差图中确定障碍物框，进一步的，也可以根据三角测距原理计算出其在世界坐标系下的三维坐标。基于上述障碍物检测原理，位于远处的信号灯、天空或植物背景、近处树木等的视差点较多且较为密集，因此容易被检测成障碍物，而这些障碍物并不会对车辆的行驶造成障碍，应该对这些障碍物进行剔除操作。

分析可得，上述无需进行预警的这些障碍物有个共同特点，障碍物上的大部分点与道路之间存在一定高度，也就是这些障碍物处于悬空状态。示例性的，图1D是本发明实施例示出的一种包含悬空障碍物图，通过现有的障碍物检测方法，会将树冠框成了障碍物，即图中的障碍物10，该障碍物10并不会影响车辆的行驶，也就不需要对其进行预警。可见，应用现有的障碍物检测方法检测到的障碍物中，存在一些离地一定高度的悬空障碍物，并且该高度远大于汽车的高度，也就是说，即使这些悬空障碍物的存在，也不会对汽车的行驶造成影响，因此需要剔除这些悬空障碍物，无需对这一类障碍物进行预警。本申请的障碍物检测方法则可以检测悬空障碍物，并在障碍物预警步骤之前，剔除这些悬空障碍物，提高障碍物预警的准确度。

接下来，图2是本发明实施例一的障碍物悬空状态判断方法流程图，结合图2本申请提出的一种障碍物悬空状态判断方法的步骤包括：

步骤S101，对待检测图像分别进行障碍物检测和地面相关线拟合。

具体的，基于双目相机采集的基准图和比较图，得到视差图、V视差图、U视差图，基于现有的障碍物检测方法在V视差图中确定障碍物的高度，在U视差图中确定障碍物的宽度，从而根据U视差图和V视差图检测到同一障碍物的相关参数，映射到视差图中，就可以在视差图中标记出所检测到的障碍物的视差点，通常在视差图中用具有长度和宽度的障碍物框来表示检测到的障碍物，以上在视差图、U视差图、V视差图中进行障碍物检测的方法可以参考现有技术，这里不做具体介绍。另外，根据V视差图中的像素点可以通过直线拟合得到地面相关线，可以参考现有的直线拟合算法，例如最小二乘法。

可选的，在障碍物检测前可以先确定感兴趣区域，针对感兴趣区域再进行障碍物检测，这样可以排除大部分不包含目标障碍物的区域，从而提高检测效率。其中，可以采用多种方式在该图像上确定感兴趣区域，例如，可以通过人工选框的方式在该图像上框定感兴趣区域，又例如，可以通过预设的高度比例(例如下3/4部分)在该图像上截取感兴趣区域，本申请对在该图像上确定感兴趣区域的具体过程不做限制。

值得注意的，在框选感兴趣区域时，若框选的高度太高，那么天空中较多的干扰点就会影响障碍物检测的精确度；若框选的高度太低，那么路面上具有较大高度的障碍物(例如大货车、公交车)可能无法完整检测，具体可以根据实际需求来设定合适的框选高度，这里不做限定。

示例性的，图3A是相机采集到基准图，图3B是基于图3A的基准图确定的视差图(稠密视差图)，根据视差原理可以得到视差图3B对应的U视差图(未示出)和V视差图(未示出)；另外，检测障碍物时，可在视差图中确定检测区域，如图3C中的第一边界31与第二边界32之间的区域，在该区域中来进行障碍物检测，这样可以仅检测路面上位于汽车前方区域中的障碍物，也就是说，该区域是妨碍车辆行驶的区域，排除道路两边障碍物的干扰，对该区域中的障碍物检测才具有实际意义，提高障碍物检测效率和准确度。

步骤S102，确定所检测到的障碍物在V视差图中对应的像素点，并计算V视差图中所述障碍物的像素点的平均视差值。

具体的，在V视差图中可以通过步骤S101的方法进行地面相关线的拟合，确定地面对应的像素点，将检测到的障碍物的像素点和地面相关线的像素点在V视差图中标记，如图3D所示，其中线条20代表拟合出的地面相关线，线条21代表检测到的障碍物。

为了较为准确的确定障碍物与地面的相对位置关系，统计障碍物上像素点的视差值，确定障碍物的平均视差值，并让视差值等于平均视差值的那些像素点来代表该障碍物，这样可以减小计算量，提高准确度。可选的，本领域技术人员可以采用其他方式选取障碍物上特定的像素点来代表障碍物，也可以将障碍物上所有的像素点参与计算，这里不做限定。

步骤S103，确定所述障碍物上视差值为所述平均视差值的像素点所在行，与地面相关线上视差值为所述平均视差值的像素点所在行之间的最小行距。

具体的，根据所计算出来的障碍物像素点的平均视差值，可以确定多个视差值等于该平均视差值的像素点，这里称为候选像素点，根据V视差原理可得，视差值为横坐标，那么这些候选像素点位于同一列上。在该V视差图中，同样可以确定出视差值等于该平均视差值的地面相关线上的点，这里称为目标像素点，即目标像素点和候选像素点位于同一列。这样，可以分别计算每一个候选像素点和目标像素点所在行之间的行距，也就是他们之间的相对纵坐标，从而得到最小行距。

如图3E所示，对图3D示出的V视差图建立坐标系，以左上角为坐标原点，横轴代表视差值，纵轴代表像素点所在行，可得障碍物像素点的平均视差值记为

候选像素点所在行的范围记为[0，v₁]，目标像素点所在行为v₂，那么最小行距为v_min＝v₂-v₁。

步骤S104，根据所述最小行距，确定障碍物的悬空状态。通过最小行距，可以反映出障碍物与地面的之间的距离，也就能够判断出障碍物是否为悬空状态。若所述最小行距大于第二阈值时，确定所述障碍物为悬空状态，若所述最小行距小于或等于所述第二阈值时，确定所述障碍物为非悬空状态。其中，第二阈值是本领域技术人员根据经验值来设定的，本申请中提到的处于悬空状态的障碍物特指不影响车辆行驶的那些障碍物，也就是离地有一定高度的那些障碍物。

可选的，根据所述最小行距，确定在世界坐标系中，所述障碍物和地面之间的相对距离；若所述相对距离大于第一阈值时，确定所述障碍物为悬空状态，若所述相对距离小于或等于所述第一阈值时，确定所述障碍物为非悬空状态。由于视差原理，根据视差原理可知，世界坐标系和V视差图存在一定的转换关系。

如图4A所示，世界坐标系以车辆的车头中心为坐标原点，以平行于地面指向车头正前方为Z轴正方向，以垂直于地面指向地面下方为Y轴正方向，以平行于地面指向驾驶员右侧为X轴正方向。从X轴向内看去，以Y和Z建立坐标系如图4B所示，根据三维测距原理和三角形相似准则，可得：

z＝Bf/d  (2)

其中，H'是双目相机离地面的高度，f是相机焦距，y是被测对象距离地面的高度，z是被测对象到车的距离，d是视差值，B是两个相机光轴的距离，v是图像坐标系的纵坐标。

因此可以根据上述公式(1)、(2)、(3)和最小行距v_min，可以求得障碍物离地面的最小高度y_min，通过判断最小高度和设定的第一阈值的大小关系，从而确定障碍物的悬空状态。类似的，本领域技术人员可以根据经验值来选取第一阈值的大小，这里不做限定。

进一步的，确定障碍物的悬空状态后还包括，剔除所述待检测图像上检测到的障碍物中悬空状态的障碍物，即悬空障碍物不对车辆行驶造成影响，无需对悬空障碍物进行预警，从而提高预警的精确度。

至此，完成了实施例一的介绍，通过根据检测到的障碍物的像素点在V视差图上的分布情况，通过计算障碍物的像素点的平均视差值，用该平均视差值代表障碍物的视差分布，确定出障碍物中视差值等于平均视差值的像素点集合，并且确定V视差图中地面拟合线上视差值等于平均视差值的像素点，从而可以计算得出视差值为平均视差值的对应的障碍物上和地面拟合线上的像素点之间的最小行距，基于V视差原理，通过行距可以求得世界坐标系下的相对高度，即可以判断出障碍物和地面的相对高度，也就能够判断障碍物的悬空状态，进一步的，在障碍物预警步骤前，对处于悬空状态的那些障碍物进行剔除，能够提高障碍物预警的准确度。

实施例二

图5是本发明实施例二的障碍物悬空状态判断装置流程图，如图5所示，该装置包括：

检测模块501，用于对待检测图像分别进行障碍物检测和地面相关线拟合；

平均视差值确定模块502，用于确定所检测到的障碍物在V视差图中对应的像素点，并计算V视差图中所述障碍物的像素点的平均视差值；

最小行距确定模块503，用于确定所述障碍物上视差值为所述平均视差值的像素点所在行，与地面相关线上视差值为所述平均视差值的像素点所在行之间的最小行距；

状态确定模块504，用于根据所述最小行距，确定障碍物的悬空状态。

可选的，状态确定模块504还包括：根据所述最小行距，确定在世界坐标系中，所述障碍物和地面之间的相对距离；若所述相对距离大于第一阈值时，确定所述障碍物为悬空状态，若所述相对距离小于或等于所述第一阈值时，确定所述障碍物为非悬空状态。

可选的，状态确定模块504还包括：若所述最小行距大于第二阈值时，确定所述障碍物为悬空状态，若所述最小行距小于或等于所述第二阈值时，确定所述障碍物为非悬空状态。

可选的，在上述模块后还包括剔除模块，该模块用于剔除所述待检测图像上检测到的障碍物中悬空状态的障碍物，即悬空障碍物不对车辆行驶造成影响，无需对悬空障碍物进行预警，从而提高预警的精确度。

以上是障碍物悬空状态判断装置的介绍，该装置通过计算障碍物的平均视差值，判断等于平均视差值的障碍物上和地面拟合线上像素点的最小行距，根据最小行距判断障碍物的悬空状态，进一步的，在障碍物预警步骤前，对处于悬空状态的那些障碍物进行剔除，能够提高障碍物预警的准确度，具体可以参考实施例一的方法的步骤，这里不再重复。

实施例三：

如图6所示，为本申请实施例三的多类型障碍物融合终端的一种硬件结构图，其中，处理器601是该多类型障碍物检测装置600的控制中心，利用各种接口和线路连接整个该多类型障碍物检测装置的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行多类型障碍物检测装置600的各种功能和处理数据，从而对该障碍物悬空状态判断装置进行整体监控。

可选的，处理器601可包括(图6中未示出)一个或多个处理核心；可选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602主要包括(图6中未示出)存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据多类型障碍物融合装置600的使用所创建的数据(比如采集到的图像、计算得到的视差图像或者处理得到的灰度图像)等。

此外，存储器602可以包括(图6中未示出)高速随机存取存储器，还可以包括(图6中未示出)非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括(图6中未示出)存储器控制器，以提供处理器601对存储器602的访问。

在一些实施例中，装置600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通信总线或信号线(图6中未示出)相连。各个外围设备可以通信总线或信号线与外围设备接口603相连。具体地，外围设备可以包括：射频组件604、触摸显示屏605、摄像头组件606、音频组件607、定位组件608和电源组件609中的至少一种。

其中，摄像头组件606用于采集待检测图像。可选地，摄像头组件606可以包括至少两个摄像头。在一些实施例中，至少两个摄像头可以分别为双目摄像头中的左右摄像头。

在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

除了图6所示例的各个硬件之外，实施例中装置所在的多类型障碍物融合终端通常根据该多类型障碍物检测终端的实际功能，还可以包括其他硬件，对此不再赘述。

本领域技术人员可以理解的是，图6所示例的多类型障碍物融合终端可以应用在汽车上，也可以应用在电脑、智能手机等其他设备上，本申请对此并不作限制。

该终端通过计算障碍物的平均视差值，判断等于平均视差值的障碍物上和地面拟合线上像素点的最小行距，根据最小行距判断障碍物的悬空状态，进一步的，在障碍物预警步骤前，对处于悬空状态的那些障碍物进行剔除，能够提高障碍物预警的准确度。

本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一多类型障碍物融合方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。

以上所述仅为本发明的实施方式，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种障碍物悬空状态的判断方法，其特征在于，所述方法包括：

基于双目相机采集的基准图和比较图，得到视差图、V视差图、U视差图；

基于所述V视差图的像素点，在V视差图中确定障碍物对应的像素点、障碍物的高度及障碍物对应像素点的平均视差值；

基于所述U视差图的像素点，在U视差图中确定障碍物对应的像素点以及障碍物的宽度；

基于所述障碍物的高度和所述障碍物的宽度，在视差图中确定障碍物对应的视差点；

基于所述V视差图的像素点进行直线拟合，得到地面相关线；

在所述V视差图中，确定所述障碍物上的视差值为所述平均视差值的像素点所在行，与地面相关线上的视差值为所述平均视差值的像素点所在行之间的最小行距；

根据所述最小行距，确定在世界坐标系中，所述障碍物和地面之间的相对距离；

若所述相对距离大于第一阈值时，确定所述障碍物为悬空状态；若所述相对距离小于或等于所述第一阈值时，确定所述障碍物为非悬空状态。

2.根据权利要求1所述的方法，其特征在于，根据所述最小行距，确定在所述V视差图中所述障碍物和地面之间的相对距离；若所述最小行距大于第二阈值时，确定所述障碍物为悬空状态，若所述最小行距小于或等于所述第二阈值时，确定所述障碍物为非悬空状态。

3.根据权利要求1所述的方法，其特征在于，在所述基于双目相机采集的基准图和比较图，得到视差图、V视差图、U视差图步骤之后，还包括：

确定感兴趣区域，针对所述感兴趣区域进行障碍物检测。

4.根据权利要求1-3任一所述的方法，其特征在于，所述确定障碍物的悬空状态后还包括，剔除所述V视差图上检测到的障碍物中悬空状态的障碍物。

5.一种障碍物悬空状态的判断装置，其特征在于，包括：

双目摄像头，被配置为采集路况的基准图和比较图；

车载终端，与所述双目摄像头耦接，被配置为：

接收所述基准图和所述比较图，得到视差图、V视差图、U视差图；

基于所述V视差图的像素点，在V视差图中确定障碍物对应的像素点、障碍物的高度及障碍物对应像素点的平均视差值；

基于所述U视差图的像素点，在U视差图中确定障碍物对应的像素点以及障碍物的宽度；

基于所述障碍物的高度和所述障碍物的宽度，在视差图中确定障碍物对应的视差点；

基于所述V视差图的像素点进行直线拟合，得到地面相关线；

在所述V视差图中，确定所述障碍物上的视差值为所述平均视差值的像素点所在行，与地面相关线上的视差值为所述平均视差值的像素点所在行之间的最小行距；

根据所述最小行距，确定在世界坐标系中，所述障碍物和地面之间的相对距离；

若所述相对距离大于第一阈值时，确定所述障碍物为悬空状态，并剔除所述悬空障碍物后进行障碍物预警；

若所述相对距离小于或等于所述第一阈值时，确定所述障碍物为非悬空状态，对所述非悬空状态的障碍物进行障碍物预警。

6.根据权利要求5所述的装置，其特征在于，

在所述基于双目相机采集的基准图和比较图，得到视差图、V视差图、U视差图步骤之后，还包括：

确定感兴趣区域，针对所述感兴趣区域进行障碍物检测。

7.一种障碍物悬空状态的判断装置，其特征在于，包括：

双目摄像头，被配置为采集路况的基准图和比较图；

车载终端，与所述双目摄像头耦接，被配置为：

接收所述基准图和所述比较图，得到视差图、V视差图、U视差图；

基于所述V视差图的像素点，在V视差图中确定障碍物对应的像素点、障碍物的高度及障碍物对应像素点的平均视差值；

基于所述U视差图的像素点，在U视差图中确定障碍物对应的像素点以及障碍物的宽度；

基于所述障碍物的高度和所述障碍物的宽度，在视差图中确定障碍物对应的视差点；

基于所述V视差图的像素点进行直线拟合，得到地面相关线；

在所述V视差图中，确定所述障碍物上的视差值为所述平均视差值的像素点所在行，与地面相关线上的视差值为所述平均视差值的像素点所在行之间的最小行距；

根据所述最小行距，确定在所述V视差图中所述障碍物和地面之间的相对距离；

若所述相对距离大于第二阈值时，确定所述障碍物为悬空状态，并剔除所述悬空障碍物后进行障碍物预警；

若所述相对距离小于或等于所述第二阈值时，确定所述障碍物为非悬空状态，对所述非悬空状态的障碍物进行障碍物预警。

8.一种障碍物悬空状态的判断终端，其特征在于，包括处理器以及机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-4任一所述的方法步骤。

Images