CN110378168B - 多类型障碍物融合的方法、装置及终端 - Google Patents

Abstract

本发明公开了一种多类型障碍物融合的方法、装置及终端，包括：获取待检测图像的视差图及U视差图，并在所述视差图确定第一障碍物和第二障碍物，在U视差图中确定第三障碍物和第四障碍物；确定第一障碍物的起始距离和终止距离，以及第二障碍物的平均距离，若第一障碍物和第二障碍物的横坐标范围存在交集，且平均距离位于起始距离和所述终止距离之间，根据第四障碍物确定拟合线；根据第三障碍物与拟合线的位置关系，若满足第一预设条件，将第四障碍物删除，保留第三障碍物；若满足第二预设条件，对第四障碍物进行修正，保留修正后的第四障碍物和第三障碍物。应用上述方法可以提高障碍物检测的准确度。

Description

多类型障碍物融合的方法、装置及终端

技术领域

本发明涉及辅助驾驶技术领域，特别涉及一种多类型障碍物融合的方法、装置及终端。

背景技术

障碍物通常分为两大类：普通障碍物(例如车辆、行人)和连续型障碍物(例如栅栏、灌木丛、路肩石)，一般情况下，车载双目相机拍摄的图像中会同时存在这两种类型的障碍物。在基于双目视觉技术检测障碍物时，这两类障碍物的检测方法却不同：

1)基于双目立体视觉检测连续型障碍物时，通常需要先在V视差图像中进行直线拟合确定代表地面的斜线(地面相关线)，然后将该地面相关线一定高度的视差点映射到U视差图像中，进而在U视差图像中再次进行直线拟合来确定连续性障碍物在U视差图像的投影线，根据视差图和U视差图的映射关系，就可以确定连续型障碍物在视差图中的位置；

2)基于双目立体视觉检测普通障碍物时，虽然也是利用UV视差图像来检测，但检测方式与上述连续型障碍物不同，首先在V视差图中检测地面相关线，进而根据该地面相关线返回到视差图中删除地面视差点，然后将删除后的视差图像映射到U视差图像中，并检测横线段来确定普通障碍物的宽度，此时，每一条横线段都代表一个普通障碍物，进而将横线段上的视差值再对应回V视差图中，确定普通障碍物的像素高度，根据宽度和高度就可以在视差图中确定普通障碍物。

示例性的，如图1(A)所示，在代表连续型障碍物检测框121中又检测到了代表普通障碍物的检测框111、112、113，即在连续型障碍物中又检测到普通障碍物的存在；如图1(B)所示，在代表普通障碍物检测框141中包含了代表连续型障碍物检测框131的一部分，即无法准确划分连续型障碍物和普通障碍物的界线。

由上可知，现有障碍物检测技术无法将普通障碍物和连续型障碍物准确区分。

发明内容

为了解决相关技术中，由于两种类型的障碍物检测是分别进行的，受噪声或者障碍物之间的干扰，无法将普通障碍物和连续型障碍物准确区分的问题，本发明技术方案如下：

本发明实施方式的第一方面，提供了一种多类型障碍物融合的方法，所述方法包括：

获取待检测图像的视差图及U视差图，并在所述视差图确定第一障碍物和第二障碍物，在所述U视差图中确定第三障碍物和第四障碍物；

确定所述第一障碍物的起始距离和终止距离，以及所述第二障碍物的平均距离，若所述第一障碍物和所述第二障碍物的横坐标范围存在交集，且所述平均距离位于所述起始距离和所述终止距离之间，根据所述第四障碍物确定拟合线；

根据所述第三障碍物与所述拟合线的位置关系，若满足第一预设条件，将所述第四障碍物删除，保留第三障碍物；若满足第二预设条件，对所述第四障碍物进行修正，保留修正后的第四障碍物和所述第三障碍物。

可选的，所述在所述U视差图中确定第三障碍物的步骤包括：

在所述U视差图中进行直线拟合得到初始拟合线；根据相机的测距精度以及预设的距离容忍度来修正所述初始拟合线上像素点的视差值，将修正后的像素点确定为所述第三障碍物上的像素点。

可选的，所述第一预设条件包括：

所述第一障碍物的横坐标范围包含所述第二障碍物的横坐标范围，且所述拟合线与所述第三障碍物相交，或者，所述拟合线位于所述第三障碍物的远离相机侧。

可选的，所述第二预设条件包括：

所述第一障碍物的横坐标范围与所述第二障碍物的横坐标范围存在交集，但所述第一障碍物的横坐标范围不包含所述第二障碍物的横坐标范围，且视差图中普通障碍物的起始距离和终止距离包含连续型障碍物的终止距离。

可选的，所述若满足第二预设条件，对所述第四障碍物进行修正，保留修正后的第四障碍物和所述第三障碍物，具体包括：

删除所述第四障碍物远离相机侧的边界，并基于所述第三障碍物靠近所述第四障碍物的端点，确定修正后的第四障碍物的边界。

本发明实施方式的第二方面，提供了一种多类型障碍物融合的装置，所述装置包括：

获取单元，用于获取待检测图像的视差图及U视差图，并在所述视差图确定第一障碍物和第二障碍物，在所述U视差图中确定第三障碍物和第四障碍物；

拟合线确定单元，用于确定所述第一障碍物的起始距离和终止距离，以及所述第二障碍物的平均距离，若所述第一障碍物和所述第二障碍物的横坐标范围存在交集，且所述平均距离位于所述起始距离和所述终止距离之间，根据所述第四障碍物确定拟合线；

障碍物融合单元，用于根据所述第三障碍物与所述拟合线的位置关系，若满足第一预设条件，将所述第四障碍物删除，保留第三障碍物；若满足第二预设条件，对所述第四障碍物进行修正，保留修正后的第四障碍物和所述第三障碍物。

可选的，所述获取单元用于：

在所述U视差图中进行直线拟合得到初始拟合线；根据相机的测距精度以及预设的距离容忍度来修正所述初始拟合线上像素点的视差值，将修正后的像素点确定为所述第三障碍物上的像素点。

可选的，所述第一预设条件包括：

所述第一障碍物的横坐标范围包含所述第二障碍物的横坐标范围，且所述拟合线与所述第三障碍物相交，或者，所述拟合线位于所述第三障碍物的远离相机侧。

可选的，所述第二预设条件包括：

所述第一障碍物的横坐标范围与所述第二障碍物的横坐标范围存在交集，但所述第一障碍物的横坐标范围不包含所述第二障碍物的横坐标范围，且视差图中普通障碍物的起始距离和终止距离包含连续型障碍物的终止距离。

可选的，所述障碍物融合单元用于：

将所述第四障碍物远离相机侧的边界移动到所述第三障碍物的端点处，得到修正后的第四障碍物。

本发明实施方式的第三方面，提供一种多类型障碍物融合的终端，包括摄像头组件、处理器以及机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现上述任一所述的方法步骤。

本发明实施方式的第四方面，一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上述任一所述的方法步骤。

本发明的技术效果是：

本发明提供多类型障碍物融合的方法，通过在视差图检测到第一障碍物(连续型障碍物)、第二障碍物(普通障碍物)和在U视差图中检测得到第三障碍物(连续型障碍物)、第四障碍物(普通障碍物)，然后判断出第一障碍物和第二障碍物的横坐标范围存在交集，且所述平均距离位于所述起始距离和所述终止距离之间，这样情况下可能存在两类障碍物误检测，根据第四障碍物确定的拟合线来与第三障碍物进行位置关系的判断，若根据该位置关系判断出在连续型障碍物上却误检测到普通障碍物，需要删除普通障碍物；若根据该位置关系判断出远处的普通障碍物和连续型障碍物存在叠加时，需要修正第四障碍物，因此，通过上述处理过程，可以提高两种类型障碍物检测的精确度。

附图说明

为了更清楚地说明本发明实施方式，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有障碍物检测技术无法正确区分连续型障碍物和普通障碍物示例图；

图2是汽车搭载双目摄像头进行图像采集示例图；

图3是本发明实施例一的多类型障碍物融合的方法流程图；

图4是本发明实施例一的多类型障碍物在视差图中的示例；

图5是本发明实施例一的多类型障碍物在U视差图中的示例；

图6是本发明实施例一的修正后的连续型障碍物在U视差图中的示例；

图7是本发明实施例一的在U视差图中判断左侧连续型障碍物与普通障碍物位置关系示意图一；

图8是本发明实施例一的在U视差图中判断左侧连续型障碍物与普通障碍物位置关系示意图二；

图9是本发明实施例一的在U视差图中判断左侧连续型障碍物与普通障碍物位置关系示意图三；

图10是本发明实施例一的在U视差图中判断右侧连续型障碍物与普通障碍物位置关系示意图；

图11是本发明实施例一的在视差图中左侧连续型障碍物和普通障碍物需要修正的示意图；

图12是本发明实施例一的图11修正普通障碍物的示意图；

图13是本发明实施例一的在视差图中右侧连续型障碍物和普通障碍物修正前后对比示意图；

图14是本发明实施例一的图1通过多类型障碍物融合方法处理后的效果图；

图15是本发明实施例二的多类型障碍物融合装置结构图；

图16是本发明实施例三的多类型障碍物融合终端结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

首先，为了便于理解，在对本发明实施例进行详细的解释说明之前，先对本发明实施例涉及的名词进行解释。

视差图像：通过双目摄像头同一时刻拍摄到的左右两幅图像进行计算得到。其中，左右两幅图像中，一幅图像作为基准图像，另一幅图像作为比较图像。将比较图像中的像素点与基准图像中同Y坐标上的像素点进行匹配，并计算每两个匹配的像素点之间的横坐标之差，该横坐标之差即为两个像素点之间的视差值。将该视差值作为基准图像中该像素点对应的像素值，从而得到与基准图像相同大小的视差图像。

U视差图：是由视差图像经过纵向压缩计算得到的，保留了视差图的列数，具体的，将视差图像的横坐标保持不变，纵坐标变为视差值，U视差图中每一点(x2，y2)处的像素值为视差图像中横坐标为x2的像素点中视差值为y2的像素点的总个数。

接下来对本发明实施例涉及的应用场景予以介绍。

随着城市化的发展和汽车的普及，交通问题日益凸显，要求汽车不仅要具有良好的安全性，而且还要具备一定的智能性，基于此，人们开始研究一种以实现无人、全自动和安全驾驶为最终目标的驾驶辅助系统。

在当前的驾驶辅助系统中，可以通过图像处理和计算机视觉技术来处理雷达、传感器或者是摄像头采集到的路况图像，根据路况图像对前方行人、障碍物做出预测，并在存在潜在危险的情况下对驾驶员进行预警或者是控制车辆紧急制动，其中，障碍物检测对汽车防碰撞预警系统等非常重要，而错误的检测结果会造成误报警问题。

参考图2，通常汽车20搭载双目摄像头组件21(包括左摄像头211和右摄像头212)进行图像采集，其中，双目摄像头组件21搭载在汽车20的前方且位于汽车20的纵轴线上，并且将双目摄像头组件21搭载在汽车上之后，可以对双目摄像头组件21进行标定，摄像头组件21的拍摄区域为A。汽车20在行驶过程中，该双目摄像头组件21可以通过左摄像头211和右摄像头212同时采集包含障碍物的图像，其中，左摄像头211采集的图像可以称为左图像，右摄像头212采集的图像可以称为右图像，可以将左图像作为基准图，将右图像作为比较图，也可以将右图像作为基准图，左图像作为比较图。

当双目摄像头组件21采集得到图像之后，可以将该图像发送至终端，终端可以对该图像进行处理，得到视差图像，然后根据该视差图像计算得到U视差图，关于视差图、U视差图的具体步骤可以参考现有技术，这里不再详细介绍。

上述背景技术中有提到，当受到干扰或者两种类型障碍物位置比较接近，利用现有技术检测障碍物时，可能带来无法准确检测两种类型的障碍物的问题。接下来将结合附图对本发明实施例提供的一种多类型障碍物融合的方法进行详细的解释说明。

实施例一：

图3是本发明实施例一的多类型障碍物融合的方法流程图，如图3所示，该方法步骤包括：

步骤S101，获取待检测图像的视差图及U视差图，并在所述视差图确定第一障碍物和第二障碍物，在所述U视差图中确定第三障碍物和第四障碍物。

基于上述介绍，基于双目相机采集的基准图和比较图得到视差图和U视差图，基于同一幅视差图分别进行两种类型的障碍物检测(第一障碍物属于连续型障碍物，第二障碍物属于普通障碍物)，根据视差图和U视差图的映射关系，确定U视差图中的第三障碍物和第四障碍物，其障碍物检测方法参考现有技术，这里不再赘述。

可选的，在障碍物检测前可以先确定感兴趣区域，针对感兴趣区域再进行障碍物检测，这样可以排除大部分不包含目标障碍物的区域，从而提高检测效率。其中，可以采用多种方式在该图像上确定感兴趣区域，例如，可以通过人工选框的方式在该图像上框定感兴趣区域，又例如，可以通过预设的高度比例(例如下3/4部分)在该图像上截取感兴趣区域，本申请对在该图像上确定感兴趣区域的具体过程不做限制。

可选的，视差图中确定两类障碍物后，可以根据视差图和U视差图的对应关系，在U视差图中确定连续型障碍物和普通障碍物，其中，连续型障碍物自身特点决定其在U视差图中用具有一定长度的拟合线表示，而普通障碍物自身具有一定宽度和长度且凹凸不平，其在U视差图中被检测为多条短横线，根据这些短横线确定障碍物框。在U视差图中检测连续型障碍物、普通障碍物及确定拟合线、障碍物框的方法可以参考现有技术，这里不再介绍。

值得说明的，连续型障碍物又可分为左侧连续型障碍物和右侧连续型障碍物，两种连续型障碍物在U视差图中的斜率不同。下文提到的U视差图或者示意图都以左上角为坐标原点建立坐标系，横坐标代表其位于视差图的第几列，纵坐标代表其视差值，下面不再重复说明。那么该坐标系中代表左侧连续型障碍物拟合线的斜率大于0，而代表右侧连续型障碍物拟合线的斜率小于0。实际情况中，采集到的检测图像中可能仅存在一种连续型障碍物，也可能存在两种连续型障碍物。

如图4所示，视差图中检测到的障碍物用障碍物框来表示，障碍物框401代表连续型障碍物，障碍物框402代表普通障碍物，可以采用表格记录障碍物框的坐标，示例性的，如表1所示：

表1

进一步的，如图5所示，根据视差图和U视差图映射关系，可以确定图4对应的U视差图中检测到的两类障碍物的位置信息，可以按照表2所示的方式记录各类障碍物在U视差图中的检测结果，值得注意的，在视差图中，连续型障碍物是用障碍物框表示，但是U视差图中，连续型障碍物是用拟合线表示：

表2

上述存储方式仅代表一种示例，还可以采用记录障碍物框的中心坐标和行向范围、列向范围的方式，具体应用中可以根据实际情况，选择任意方式建立坐标系及存储检测框，这里不做限定。

步骤S102，确定所述第一障碍物的起始距离和终止距离，以及所述第二障碍物的平均距离，若所述第一障碍物和所述第二障碍物的横坐标范围存在交集，且所述平均距离位于所述起始距离和所述终止距离之间，根据所述第四障碍物确定拟合线。

示例性的，以左侧连续型障碍物为例，根据步骤S101所记录的第一障碍物和第二障碍物的位置坐标，可以判断出第一障碍物和第二障碍物的X坐标范围是否存在交集，即连续型障碍物和普通障碍物在列方向是否有重合，若满足公式(1)则存在重合：

或/>

其中，x_L为普通障碍物的左侧横坐标，x_CL为连续性障碍物的左侧横坐标，x_CR为连续性障碍物的右侧横坐标。

另外，根据公式(2)可以计算求得连续型障碍物的起始距离和终止距离，及普通障碍物的平均距离：

其中，Z代表距离，B代表双目相机基线长度，F代表双目相机的焦距，d代表视差值。

判断普通障碍物的平均距离与连续型障碍物的起始距离、终止距离之间的大小关系，即是否满足公式(3)：

其中，Z_F代表连续型障碍物的终止距离，Z_N代表连续型障碍物的起始距离，Z_A代表普通障碍物的平均距离，即代表普通障碍物的障碍物框内所有点的平均距离。

若同时满足公式(1)和公式(3)，代表检测的连续型障碍物和普通障碍物靠的很近，可能存在误检测的情况，因此需要进一步地根据第四障碍物确定拟合线，将该拟合线与第三障碍物进行比较，具体如下：

如图5所示，根据普通障碍物52得到拟合线53，即障碍物框的对角线，值得注意的，由于确定拟合线的目的是与第三障碍物的位置关系作比较，从而判断连续型障碍物和普通障碍物是否存在误检测，因此，在确定该拟合线时，参考了代表第三障碍物的拟合线的方向，得到了拟合线53。换句话说，若第三障碍物是右侧连续型障碍物，那么根据普通障碍物框确定的拟合线就不是图5所示的对角线了。

可选的，由于考虑到双目相机测距精度随着距离增加精度会降低，视差图中距离较远的像素点要比距离较近的像素点的视差值的误差大，在U视差图中进行直线拟合得到初始拟合线后，要根据相机的测距精度以及预设的距离容忍度来修正初始拟合线上像素点的视差值，其中，测距精度是由相机自身性能决定的，而距离容忍度是根据实际情况设定的，也可以对距离较近的范围内设定较小的距离容忍度，对距离较远的范围内设定较大的距离容忍度，这里不做限定。

实际应用中为了简化处理过程，对初始拟合线进行修正时，只需修正该初始拟合线的两个端点。

如图6所示，连续型障碍物第一端点a的视差值d_C1、第二端点b的视差值d_C2，根据上述公式(2)可以确定在空间坐标系中第一端点a、第二端点b各自到相机的距离，分别记为Z_a和Z_b。再根据公式(4)可以对Z_a和Z_b进行修正，记为Z'_a和Z'_b，其中ΔZ₁、ΔZ₂代表距离容忍度，r₁、r₂代表测距精度，B代表双目相机基线长度，F为相机焦距，然后把Z'_a和Z'_b代入公式(2)可以得到修正后的视差值d'_C1和d'_C2，连接修正后的第一端点A和第二端点B，得到修正后的拟合线64。

步骤S103，根据所述第三障碍物与所述拟合线的位置关系，若满足第一预设条件，将所述第四障碍物删除，保留第三障碍物；若满足第二预设条件，对所述第四障碍物进行修正，保留修正后的第四障碍物和所述第三障碍物。

进一步的，所述第一障碍物的横坐标范围包含所述第二障碍物的横坐标范围，且所述拟合线与所述第三障碍物相交，或者，所述拟合线位于所述第三障碍物的远离相机侧。

可选的，所述第三障碍物是修正后的，这样可以将相机的测距精度考虑在内，拿修正后的第三障碍物和拟合线来比较位置关系，更加符合实际情况。

示例性的，如图7所示，根据前几个步骤确定了视差图中第一障碍物和第二障碍物，若这两类障碍物的横坐标范围满足x_cL≤x_L＜x_R≤x_cR，也就是连续型障碍物的横坐标范围完全包含普通障碍物的横坐标范围，对应的，在U视差图检测到中第三障碍物71和第四障碍物72，又根据第四障碍物72确定拟合线73。通过图7，得到普通障碍物72的四个端点的坐标(x_L，d₂)，(x_R，d₂)，(x_L，d₁)，(x_R，d₁)，连续型障碍物71的两个端点坐标(x_CL，d_C1)，(x_CR，d_C2)，根据这些坐标，可以确定连续型障碍物的直线方程，如公式(5)：

d＝k*x+b 公式(5)

其中，d代表视差值，k代表斜率，x代表横坐标，b代表截距。

可以将普通障碍物确定的拟合线的端点带入公式(5)中，得到对应横坐标，然后判断对应横坐标与连续型障碍物的横坐标之间的大小关系，若满足公式(6)则需要删除普通障碍物。

将图7中普通障碍物确定的拟合线的端点(x_L，d₁)和(x_R，d₂)，带入公式(5)得到对应横坐标分别为x'_L和x′_R，然后判断横坐标x'_L、x′_R与横坐标x_CL、x_CR的大小关系，若满足公式(6)，说明普通障碍物为连续性障碍物的一部分，需要将普通障碍物从图中删除，仅保留连续型障碍物。

示例性的，如图8所示，U视差图中第三障碍物81，第四障碍物82，又根据第四障碍物82确定拟合线83。同理，普通障碍物82的四个端点的坐标(x_L，d₂)，(x_R，d₂)，(x_L，d₁)，(x_R，d₁)，连续型障碍物81的两个端点坐标(x_CL，d_C1)，(x_CR，d_C2)，此时，将端点坐标(x_L，d₁)和(x_R，d₂)，带入公式(5)得到对应横坐标分别为x'_L和x′_R，然后判断横坐标x'_L、x′_R与横坐标x_CL、x_CR的大小关系，若满足公式(7)或者公式(8)，则说明距离容忍度ΔZ₁、ΔZ₂的设置可能不合理，此时，要将普通障碍物删除，仅保留连续型障碍物。

示例性的，如图9所示，U视差图中第三障碍物91，第四障碍物92，又根据第四障碍物92确定拟合线93。同理，普通障碍物92的四个端点的坐标(x_L，d₂)，(x_R，d₂)，(x_L，d₁)，(x_R，d₁)，连续型障碍物91的两个端点坐标(x_CL，d_C1)，(x_CR，d_C2)，此时，将端点坐标(x_L，d₁)和(x_R，d₂)，带入公式(5)得到对应横坐标分别为x'_L和x′_R，然后判断横坐标x'_L、x_R'与横坐标x_CL、x_CR的大小关系，若满足公式(9)，说明普通障碍物92在连续性障碍物91的前方，即两者的位置关系是正常的，此时就不需要对普通障碍物进行删除，两者保留即可。

以上是以左侧连续型障碍物为例，介绍了两种需要删除普通障碍物的情况，通过上述判断并删除误检测的普通障碍物，可以解决背景技术中提到的“在连续型障碍物上检测有普通障碍物”的问题，提高障碍物检测精度。

右侧连续型障碍物和左侧的连续型障碍物的情况类似，如图10所示的几种情况，图10中的C图与上述图7的情况类似，都是普通障碍物位于连续型障碍物的外侧，需要将普通障碍物进行删除；图10中的B图与上述图8的情况类似，是距离容忍度ΔZ₁、ΔZ₂的设置可能不合理，这种情况也需要将普通障碍物进行删除；图10中的A图与上述图9类似，此时保留连续型障碍物和普通障碍物。具体判断步骤可以参考上述左侧连续型障碍物处理过程，这里不再详细说明。

以上介绍了删除普通障碍物的一些情形，接下来，介绍修正普通障碍物的一些情况，具体如下：

进一步的，所述第一障碍物的横坐标范围与所述第二障碍物的横坐标范围存在交集，但所述第一障碍物的横坐标范围不包含所述第二障碍物的横坐标范围，且视差图中普通障碍物的起始距离和终止距离包含连续型障碍物的终止距离。

示例性的，在视差图中检测到第一障碍物和第二障碍物，若这两类障碍物的横坐标范围满足

或/>

并且视差图中普通障碍物的起始距离和终止距离包含连续型障碍物的终止距离，也就是连续型障碍物的横坐标范围与普通障碍物的横坐标范围存在交集但不包含，参考图11，在U视差图检测到中第三障碍物31和第四障碍物32，其中，普通障碍物32的四个端点的坐标(x_L，d₂)，(x_R，d₂)，(x_L，d₁)，(x_R，d₁)，连续型障碍物31的两个端点坐标(x_CL，d_C1)，(x_CR，d_C2)。图11所示的情况代表了远处的普通障碍物和连续型障碍物存在交叠的情况，也就是无法准确区分连续型障碍物和普通障碍物的边界，此时需要将根据连续型障碍物对普通障碍物进行修正，具体如下：

图12是图11中普通障碍物进行修正后的结果图，其修正的原理是，将普通障碍物的障碍物框的远离相机侧的边界移动到连续型障碍物的端点处，即将端点(x_L，d₁)移动到(x_cR，d₁)处，将端点(x_L，d₂)移动到端点(x_cR，d₂)处，从而将普通障碍物由原来的实线框，修正为现在的虚线框，从而划清了普通障碍物与连续型障碍物的界线，可以解决背景技术中提到的图1b呈现的技术问题，提高障碍物检测的准确性。

同理，对于右侧连续型障碍物而言，如图13所示的普通障碍物修正前后的示意图，其中具体的修正过程参考上述介绍，这里不再重复。

如图14所示，背景技术提到的图1所示的情况，经过多类型障碍物融合方法处理后的结果图，对比图1和图14清晰可得，图1A中的连续型障碍物121上的普通障碍物111、普通障碍物112、普通障碍物113被删除，得到图14A所示的结果；图1B中连续型障碍物131与普通障碍物141存在交叠的位置进行修正，得到图14B所示的结果，普通障碍物和连续型障碍物边界更加清晰准确。

本发明提供多类型障碍物融合的方法，通过在视差图检测到第一障碍物(连续型障碍物)、第二障碍物(普通障碍物)和在U视差图中检测得到第三障碍物(连续型障碍物)、第四障碍物(普通障碍物)，然后判断出第一障碍物和第二障碍物的横坐标范围存在交集，且所述平均距离位于所述起始距离和所述终止距离之间，这样情况下可能存在两类障碍物误检测，根据第四障碍物确定的拟合线来与第三障碍物进行位置关系的判断，若根据该位置关系判断出连续型障碍物上误检测到普通障碍物，需要删除普通障碍物，若根据该位置关系判断出远处的普通障碍物和连续型障碍物存在叠加时，需要修正第四障碍物，因此，通过上述处理过程，可以提高两种类型障碍物检测的精确度。

以上是实施例一的具体介绍，通过判断连续型障碍物和普通障碍物之间的位置关系，对普通障碍物进行删除或者修正处理，即对这两种类型的障碍物进行融合，提高障碍物检测的准确性。

实施例二

图15是本发明实施例二的多类型障碍物融合的方法流程图，如图15所示，该方法步骤包括：

获取单元151，用于获取待检测图像的视差图及U视差图，并在所述视差图确定第一障碍物和第二障碍物，在所述U视差图中确定第三障碍物和第四障碍物；

拟合线确定单元152，用于确定所述第一障碍物的起始距离和终止距离，以及所述第二障碍物的平均距离，若所述第一障碍物和所述第二障碍物的横坐标范围存在交集，且所述平均距离位于所述起始距离和所述终止距离之间，根据所述第四障碍物确定拟合线；

障碍物融合单元153，用于根据所述第三障碍物与所述拟合线的位置关系，若满足第一预设条件，将所述第四障碍物删除，保留第三障碍物；若满足第二预设条件，对所述第四障碍物进行修正，保留修正后的第四障碍物和所述第三障碍物。

可选的，所述获取单元用于：

在所述U视差图中进行直线拟合得到初始拟合线；根据相机的测距精度以及预设的距离容忍度来修正所述初始拟合线上像素点的视差值，将修正后的像素点确定为所述第三障碍物上的像素点。

可选的，所述第一预设条件包括：

所述第一障碍物的横坐标范围包含所述第二障碍物的横坐标范围，且所述拟合线与所述第三障碍物相交，或者，所述拟合线位于所述第三障碍物的远离相机侧。

可选的，所述第二预设条件包括：

所述第一障碍物的横坐标范围与所述第二障碍物的横坐标范围存在交集，但所述第一障碍物的横坐标范围不包含所述第二障碍物的横坐标范围，且视差图中普通障碍物的起始距离和终止距离包含连续型障碍物的终止距离。

可选的，所述障碍物融合单元用于：

将所述第四障碍物远离相机侧的边界移动到所述第三障碍物的端点处，得到修正后的第四障碍物。

以上是多类型障碍物融合装置的介绍，该装置通过判断连续型障碍物和普通障碍物之间的位置关系，对普通障碍物进行删除或者修正处理，即对这两种类型的障碍物进行融合，提高障碍物检测的准确性，具体可以参考实施例一的方法的步骤，这里不再重复。

实施例三：

如图16所示，为本申请实施例三的多类型障碍物融合终端的一种硬件结构图，其中，处理器1301是该多类型障碍物检测装置1300的控制中心，利用各种接口和线路连接整个该多类型障碍物检测装置的各个部分，通过运行或执行存储在存储器1302内的软件程序和/或模块，以及调用存储在存储器1302内的数据，执行多类型障碍物检测装置1300的各种功能和处理数据，从而对该多类型障碍物检测装置进行整体监控。

可选的，处理器1301可包括(图13中未示出)一个或多个处理核心；可选的，处理器1301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1301中。

存储器1302可用于存储软件程序以及模块，处理器1301通过运行存储在存储器1302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1302主要包括(图13中未示出)存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据多类型障碍物融合装置1300的使用所创建的数据(比如采集到的图像、计算得到的视差图像或者处理得到的灰度图像)等。

此外，存储器1302可以包括(图13中未示出)高速随机存取存储器，还可以包括(图13中未示出)非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1302还可以包括(图13中未示出)存储器控制器，以提供处理器1301对存储器1302的访问。

在一些实施例中，装置1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通信总线或信号线(图13中未示出)相连。各个外围设备可以通信总线或信号线与外围设备接口1303相连。具体地，外围设备可以包括：射频组件1304、触摸显示屏1305、摄像头组件1306、音频组件1307、定位组件1308和电源组件1309中的至少一种。

其中，摄像头组件1306用于采集待检测图像。可选地，摄像头组件1306可以包括至少两个摄像头。在一些实施例中，至少两个摄像头可以分别为双目摄像头中的左右摄像头。

在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

除了图13所示例的各个硬件之外，实施例中装置所在的多类型障碍物融合终端通常根据该多类型障碍物检测终端的实际功能，还可以包括其他硬件，对此不再赘述。

本领域技术人员可以理解的是，图13所示例的多类型障碍物融合终端可以应用在汽车上，也可以应用在电脑、智能手机等其他设备上，本申请对此并不作限制。

该终端通过判断连续型障碍物和普通障碍物之间的位置关系，对普通障碍物进行删除或者修正处理，即对这两种类型的障碍物进行融合，提高障碍物检测的准确性。

本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一多类型障碍物融合方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。

以上所述仅为本发明的实施方式，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多类型障碍物融合的方法，其特征在于，所述方法包括：

获取待检测图像的视差图及U视差图，并在所述视差图确定第一障碍物和第二障碍物，在所述U视差图中确定第三障碍物和第四障碍物；其中，所述第一障碍物属于连续型障碍物，所述第二障碍物属于普通型障碍物；所述第三障碍物是基于所述第一障碍物、所述视差图和所述U视差图的映射关系获得；所述第四障碍物是基于所述第二障碍物、所述视差图和所述U视差图的映射关系获得；

根据所述第一障碍物中像素点的位置坐标、所述第二障碍物像素点的位置坐标，判断所述第一障碍物和所述第二障碍物在横坐标范围内是否存在交集；

根据双目相机基线长度，双目相机的焦距，所述第一障碍物中最近像素点的视差值，确定所述第一障碍物的起始距离；

根据双目相机基线长度，双目相机的焦距，所述第一障碍物中最远像素点的视差值，确定所述第一障碍物的终止距离；

根据双目相机基线长度，双目相机的焦距，所述第二障碍物中像素点的视差值，确定所述第二障碍物中像素点的距离值；对所述第二障碍物中像素点的距离值取平均，得到所述第二障碍物的平均距离；

若所述第一障碍物和所述第二障碍物的横坐标范围存在交集，且所述平均距离位于所述起始距离和所述终止距离之间，根据所述第四障碍物确定拟合线；

根据所述第三障碍物与所述拟合线的位置关系，若满足第一预设条件，将所述第四障碍物删除，保留第三障碍物；若满足第二预设条件，对所述第四障碍物进行修正，保留修正后的第四障碍物和所述第三障碍物。

2.根据权利要求1所述的方法，其特征在于，所述在所述U视差图中确定第三障碍物的步骤包括：

在所述U视差图中进行直线拟合得到初始拟合线；

根据相机的测距精度以及预设的距离容忍度来修正所述初始拟合线上像素点的视差值，将修正后的像素点确定为所述第三障碍物上的像素点。

3.根据权利要求1所述的方法，其特征在于，所述第一预设条件包括：

所述第一障碍物的横坐标范围包含所述第二障碍物的横坐标范围，且所述拟合线与所述第三障碍物相交，或者，所述拟合线位于所述第三障碍物的远离相机侧。

4.根据权利要求1所述的方法，其特征在于，所述第二预设条件包括：

所述第一障碍物的横坐标范围与所述第二障碍物的横坐标范围存在交集，但所述第一障碍物的横坐标范围不包含所述第二障碍物的横坐标范围，且视差图中普通障碍物的起始距离和终止距离包含连续型障碍物的终止距离。

5.根据权利要求1所述的方法，其特征在于，所述若满足第二预设条件，对所述第四障碍物进行修正，保留修正后的第四障碍物和所述第三障碍物，具体包括：

删除所述第四障碍物远离相机侧的边界，并基于所述第三障碍物靠近所述第四障碍物的端点，确定修正后的第四障碍物的边界。

6.一种多类型障碍物融合的装置，其特征在于，所述装置包括：

获取单元，用于获取待检测图像的视差图及U视差图，并在所述视差图确定第一障碍物和第二障碍物，在所述U视差图中确定第三障碍物和第四障碍物；其中，所述第一障碍物属于连续型障碍物，所述第二障碍物属于普通型障碍物；所述第三障碍物是基于所述第一障碍物、所述视差图和所述U视差图的映射关系获得；所述第四障碍物是基于所述第二障碍物、所述视差图和所述U视差图的映射关系获得；

拟合线确定单元，根据所述第一障碍物中像素点的位置坐标、所述第二障碍物像素点的位置坐标，判断所述第一障碍物和所述第二障碍物在横坐标范围内是否存在交集；根据双目相机基线长度，双目相机的焦距，所述第一障碍物中最近像素点的视差值，确定所述第一障碍物的起始距离；根据双目相机基线长度，双目相机的焦距，所述第一障碍物中最远像素点的视差值，确定所述第一障碍物的终止距离；根据双目相机基线长度，双目相机的焦距，所述第二障碍物中像素点的视差值，确定所述第二障碍物中像素点的距离值；对所述第二障碍物中像素点的距离值取平均，得到所述第二障碍物的平均距离；若所述第一障碍物和所述第二障碍物的横坐标范围存在交集，且所述平均距离位于所述起始距离和所述终止距离之间，根据所述第四障碍物确定拟合线；

障碍物融合单元，用于根据所述第三障碍物与所述拟合线的位置关系，若满足第一预设条件，将所述第四障碍物删除，保留第三障碍物；若满足第二预设条件，对所述第四障碍物进行修正，保留修正后的第四障碍物和所述第三障碍物。

7.一种多类型障碍物融合的终端，其特征在于，包括摄像头组件、处理器以及机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-5任一所述的方法步骤。

8.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现权利要求1-4任一所述的方法步骤。

Images