CN111309032A - 一种无人驾驶车辆的自主避障方法及控制端 - Google Patents

Abstract

本发明公开了一种无人驾驶车辆的自主避障方法及控制端，将位于车辆前方的双目摄像头所发送的前方双目视觉数据以及分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，建立三维的周边环境模型；利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的属性信息，根据所述障碍物的属性信息来重新规划行驶路径以规避所述障碍物。即本发明能在无人驾驶过程中实现更加快速准确的自主避障。

Description

一种无人驾驶车辆的自主避障方法及控制端

技术领域

本发明涉及无人驾驶技术领域，特别涉及一种无人驾驶车辆的自主避障方法及控制端。

背景技术

近年来，随着无人驾驶技术的不断发展，人们对无人驾驶车辆的要求越来越高，从基础的遥控驾驶、循迹驾驶慢慢的发展到自主驾驶，在无人驾驶过程中，行驶路面上难免会出现突发情况，使得无人驾驶车辆无法继续沿原先规划的路线行驶，如遇到各种障碍物和凹坑等等，这时若无人驾驶车辆没有相应的环境感知系统则无法判断在道路上遇到的突发情况，若继续行驶将造成重大的安全事故。

因此，如何实现自主避障成为了无人驾驶技术所不得不解决的一大难题。

发明内容

本发明所要解决的技术问题是：提供一种无人驾驶车辆的自主避障方法及控制端，以实现无人驾驶过程中的自主避障。

为了解决上述技术问题，本发明采用的技术方案为：

一种无人驾驶车辆的自主避障方法，包括步骤：

S1、将位于车辆前方的双目摄像头所发送的前方双目视觉数据以及分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，建立三维的周边环境模型；

S2、利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的属性信息，根据所述障碍物的属性信息来重新规划行驶路径以规避所述障碍物。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种无人驾驶车辆的自主避障控制端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、将位于车辆前方的双目摄像头所发送的前方双目视觉数据以及分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，建立三维的周边环境模型；

S2、利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的属性信息，根据所述障碍物的属性信息来重新规划行驶路径以规避所述障碍物。

本发明的有益效果在于：一种无人驾驶车辆的自主避障方法及控制端，通过在车辆前方设置有双目摄像头，在车辆左侧、右侧和后方分别设置有第一单目摄像头，将获取到的前方双目视觉数据、左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，并进行三维自主建模，以实时还原无人驾驶车辆的周边环境，从而在识别出障碍物时，能根据障碍物的属性信息来重新规划行驶路径以规避障碍物。由于本发明能快速准确的识别出物体类型，从而在无人驾驶过程中实现更加快速准确的自主避障。

附图说明

图1为本发明实施例的一种无人驾驶车辆的自主避障方法的流程示意图；

图2为本发明实施例的一种无人驾驶车辆的自主避障控制端的结构示意图。

标号说明：

1、一种无人驾驶车辆的自主避障控制端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种无人驾驶车辆的自主避障方法，包括步骤：

S1、将位于车辆前方的双目摄像头所发送的前方双目视觉数据以及分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，建立三维的周边环境模型；

S2、利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的属性信息，根据所述障碍物的属性信息来重新规划行驶路径以规避所述障碍物。

从上述描述可知，本发明的有益效果在于：通过在车辆前方设置有双目摄像头，在车辆左侧、右侧和后方分别设置有第一单目摄像头，将获取到的前方双目视觉数据、左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，并进行三维自主建模，以实时还原无人驾驶车辆的周边环境，从而在识别出障碍物时，能根据障碍物的属性信息来重新规划行驶路径以规避障碍物。由于本发明能快速准确的识别出物体类型，从而在无人驾驶过程中实现更加快速准确的自主避障。

进一步地，所述步骤S1具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的前方双目视觉数据，得到车辆前方的双目点云数据；

获取分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据，以得到车辆左侧、右侧和后方的单目点云数据；

将车辆前方的所述双目点云数据以及车辆左侧、右侧和后方的所述单目点云数据进行特征点数据匹配，将相同的点云数据进行三维空间数据重叠融合，形成包含车辆四周的三维点云数据，根据包含车辆四周的所述三维点云数据建立三维的周边环境模型。

从上述描述可知，通过将双目点云数据与单目点云数据进行特征点数据匹配，将相同的点云数据进行三维空间数据重叠融合，以形成完整的包含有四周信息的点云数据，从而实时还原无人驾驶车辆的周边环境。

进一步地，所述步骤S2具体包括以下步骤：

利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的距离、大小和类型；

根据所述障碍物的距离、大小和类型判断是否可以实现绕障行驶，若能，则重新规划行驶路径以绕过所述障碍物，否则发出刹车指令以避免碰上所述障碍物。

从上述描述可知，通过对障碍物的距离、大小和类型来判断是否可以绕障行驶，从而提供了不同的规避处理，以实现自主避障。

进一步地，所述步骤S2中得到所述障碍物的属性信息具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的双目距离数据以及位于车辆前方的第二单目摄像头所发送的单目距离数据，所述双目距离数据为所述双目摄像头测得与所述障碍物的距离数据，所述单目距离数据为所述第二单目摄像头测得与所述障碍物的距离数据；

判断车辆是否处于静止状态，若是，则使用所述双目距离数据作为所述障碍物的距离，否则判断所述障碍物在所述双目距离数据中是否小于预设距离范围，若是，则以所述双目距离数据作为基准，以所述单目距离数据作为辅助条件做误差归零计算，否则以所述单目距离数据作为基准，以所述双目距离数据作为辅助条件做误差归零计算，得到所述障碍物的距离，所述障碍物的属性信息包括所述障碍物的距离。

从上述描述可知，通过将双目距离数据和单目距离数据进行结合使用，以有效地规避双方的劣势，进行优势互补；同时，将双目距离数据和单目距离数据的结果做差，再进行误差消除计算，使距离结果最接近实际情况，从而在无需静止参照物的情况下得到更加准确的测距效果，以达到更好的自主避障效果。

进一步地，所述预设距离范围为15米至30米之间。

从上述描述可知，在此设定范围下的双目摄像头测距效果更加准确，而在设定范围上的单目摄像头的测距效果更加准确，因此，通过该设定范围从而得到更加准确的测距效果。

请参照图2，一种无人驾驶车辆的自主避障控制端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、将位于车辆前方的双目摄像头所发送的前方双目视觉数据以及分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，建立三维的周边环境模型；

S2、利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的属性信息，根据所述障碍物的属性信息来重新规划行驶路径以规避所述障碍物。

从上述描述可知，本发明的有益效果在于：通过在车辆前方设置有双目摄像头，在车辆左侧、右侧和后方分别设置有第一单目摄像头，将获取到的前方双目视觉数据、左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，并进行三维自主建模，以实时还原无人驾驶车辆的周边环境，从而在识别出障碍物时，能根据障碍物的属性信息来重新规划行驶路径以规避障碍物。由于本发明能快速准确的识别出物体类型，从而在无人驾驶过程中实现更加快速准确的自主避障。

进一步地，所述处理器执行所述计算机程序的所述步骤S1时具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的前方双目视觉数据，得到车辆前方的双目点云数据；

获取分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据，以得到车辆左侧、右侧和后方的单目点云数据；

将车辆前方的所述双目点云数据以及车辆左侧、右侧和后方的所述单目点云数据进行特征点数据匹配，将相同的点云数据进行三维空间数据重叠融合，形成包含车辆四周的三维点云数据，根据包含车辆四周的所述三维点云数据建立三维的周边环境模型。

从上述描述可知，通过将双目点云数据与单目点云数据进行特征点数据匹配，将相同的点云数据进行三维空间数据重叠融合，以形成完整的包含有四周信息的点云数据，从而实时还原无人驾驶车辆的周边环境。

进一步地，所述处理器执行所述计算机程序的所述步骤S2时具体包括以下步骤：

利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的距离、大小和类型；

根据所述障碍物的距离、大小和类型判断是否可以实现绕障行驶，若能，则重新规划行驶路径以绕过所述障碍物，否则发出刹车指令以避免碰上所述障碍物。

从上述描述可知，通过对障碍物的距离、大小和类型来判断是否可以绕障行驶，从而提供了不同的规避处理，以实现自主避障。

进一步地，所述处理器执行所述计算机程序的所述步骤S2中得到所述障碍物的属性信息时具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的双目距离数据以及位于车辆前方的第二单目摄像头所发送的单目距离数据，所述双目距离数据为所述双目摄像头测得与所述障碍物的距离数据，所述单目距离数据为所述第二单目摄像头测得与所述障碍物的距离数据；

判断车辆是否处于静止状态，若是，则使用所述双目距离数据作为所述障碍物的距离，否则判断所述障碍物在所述双目距离数据中是否小于预设距离范围，若是，则以所述双目距离数据作为基准，以所述单目距离数据作为辅助条件做误差归零计算，否则以所述单目距离数据作为基准，以所述双目距离数据作为辅助条件做误差归零计算，得到所述障碍物的距离，所述障碍物的属性信息包括所述障碍物的距离。

从上述描述可知，通过将双目距离数据和单目距离数据进行结合使用，以有效地规避双方的劣势，进行优势互补；同时，将双目距离数据和单目距离数据的结果做差，再进行误差消除计算，使距离结果最接近实际情况，从而在无需静止参照物的情况下得到更加准确的测距效果，以达到更好的自主避障效果。

进一步地，所述预设距离范围为15米至30米之间。

从上述描述可知，在此设定范围下的双目摄像头测距效果更加准确，而在设定范围上的单目摄像头的测距效果更加准确，因此，通过该设定范围从而得到更加准确的测距效果。

请参照图1，本发明的实施例一为：

一种无人驾驶车辆的自主避障方法，包括步骤：

S1、将位于车辆前方的双目摄像头所发送的前方双目视觉数据以及分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，建立三维的周边环境模型；

在本实施例中，上述步骤S1具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的前方双目视觉数据，得到车辆前方的双目点云数据；

获取分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据，以得到车辆左侧、右侧和后方的单目点云数据；

将车辆前方的双目点云数据以及车辆左侧、右侧和后方的单目点云数据进行特征点数据匹配，将相同的点云数据进行三维空间数据重叠融合，形成包含车辆四周的三维点云数据，根据包含车辆四周的三维点云数据建立三维的周边环境模型，以实时还原无人驾驶车辆的周边环境。

S2、利用深度算法识别出周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到障碍物的属性信息，根据障碍物的属性信息来重新规划行驶路径以规避障碍物。

在本实施例中，上述步骤S2具体包括以下步骤：

利用深度算法识别出周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到障碍物的距离、大小和类型；

根据障碍物的距离、大小和类型判断是否可以实现绕障行驶，若能，则重新规划行驶路径以绕过障碍物，否则发出刹车指令以避免碰上障碍物。

请参照图1，本发明的实施例二为：

一种无人驾驶车辆的自主避障方法，在上述实施例一的基础上，在本实施例中，对于得到障碍物的距离具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的双目距离数据以及位于车辆前方的第二单目摄像头所发送的单目距离数据，双目距离数据为双目摄像头测得与障碍物的距离数据，单目距离数据为第二单目摄像头测得与障碍物的距离数据；

判断车辆是否处于静止状态，若是，则使用双目距离数据作为障碍物的距离，否则判断障碍物在双目距离数据中是否小于20米，若是，则以双目距离数据作为基准，以单目距离数据作为辅助条件做误差归零计算，否则以单目距离数据作为基准，以双目距离数据作为辅助条件做误差归零计算，得到障碍物的距离。

即在本实施例中，在无人驾驶车辆的前方同时设置有双目摄像头和第二单目摄像头，从而通过两者的配合来得到更加准确的测距结果。

在本实施例中，预设距离范围为20米，在其他等同实施例中，可以将预设距离范围设置在15米至30米之间即可。

请参照图2，本发明的实施例三为：

一种无人驾驶车辆的自主避障控制端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一或实施例二中的步骤。

对于本实施例中，一种无人驾驶车辆的自主避障控制端1并不限定是一个终端设备，比如控制终端，也可以是一个包括处理器和存储器的控制模块、控制组件或者控制系统等等。

一种无人驾驶车辆的自主避障控制端1与无人驾驶车辆上的双目摄像头和多个单目摄像头组成一个自主避障系统，其中，处理器可以选用NVIDIA Jetson TX2，整个自主避障系统通过CAN总线与无人驾驶车辆的基础无人线控系统进行连接，以实现自主刹车、避障和重新规划路径的功能。

综上所述，本发明提供的一种无人驾驶车辆的自主避障方法及控制端，通过在车辆前方设置有双目摄像头和第二单目摄像头，在车辆左侧、右侧和后方分别设置有第一单目摄像头，将获取到的前方双目视觉数据、左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，并进行三维自主建模，以实时还原无人驾驶车辆的周边环境；同时，通过将双目距离数据和单目距离数据进行结合使用，以在无需静止参照物的情况下得到更加准确的测距效果；从而在识别出障碍物时，通过对障碍物的距离、大小和类型来判断是否可以绕障行驶，以提供了不同的规避处理来规避障碍物。由于本发明能快速准确的识别出物体类型以及能得到更加准确的测距效果，从而在无人驾驶过程中实现更加快速准确的自主避障。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种无人驾驶车辆的自主避障方法，其特征在于，包括步骤：

S1、将位于车辆前方的双目摄像头所发送的前方双目视觉数据以及分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，建立三维的周边环境模型；

S2、利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的属性信息，根据所述障碍物的属性信息来重新规划行驶路径以规避所述障碍物。

2.根据权利要求1所述的一种无人驾驶车辆的自主避障方法，其特征在于，所述步骤S1具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的前方双目视觉数据，得到车辆前方的双目点云数据；

获取分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据，以得到车辆左侧、右侧和后方的单目点云数据；

将车辆前方的所述双目点云数据以及车辆左侧、右侧和后方的所述单目点云数据进行特征点数据匹配，将相同的点云数据进行三维空间数据重叠融合，形成包含车辆四周的三维点云数据，根据包含车辆四周的所述三维点云数据建立三维的周边环境模型。

3.根据权利要求1所述的一种无人驾驶车辆的自主避障方法，其特征在于，所述步骤S2具体包括以下步骤：

利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的距离、大小和类型；

根据所述障碍物的距离、大小和类型判断是否可以实现绕障行驶，若能，则重新规划行驶路径以绕过所述障碍物，否则发出刹车指令以避免碰上所述障碍物。

4.根据权利要求1所述的一种无人驾驶车辆的自主避障方法，其特征在于，所述步骤S2中得到所述障碍物的属性信息具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的双目距离数据以及位于车辆前方的第二单目摄像头所发送的单目距离数据，所述双目距离数据为所述双目摄像头测得与所述障碍物的距离数据，所述单目距离数据为所述第二单目摄像头测得与所述障碍物的距离数据；

判断车辆是否处于静止状态，若是，则使用所述双目距离数据作为所述障碍物的距离，否则判断所述障碍物在所述双目距离数据中是否小于预设距离范围，若是，则以所述双目距离数据作为基准，以所述单目距离数据作为辅助条件做误差归零计算，否则以所述单目距离数据作为基准，以所述双目距离数据作为辅助条件做误差归零计算，得到所述障碍物的距离，所述障碍物的属性信息包括所述障碍物的距离。

5.根据权利要求4所述的一种无人驾驶车辆的自主避障方法，其特征在于，所述预设距离范围为15米至30米之间。

6.一种无人驾驶车辆的自主避障控制端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、将位于车辆前方的双目摄像头所发送的前方双目视觉数据以及分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据进行图像融合处理，建立三维的周边环境模型；

S2、利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的属性信息，根据所述障碍物的属性信息来重新规划行驶路径以规避所述障碍物。

7.根据权利要求6所述的一种无人驾驶车辆的自主避障控制端，其特征在于，所述处理器执行所述计算机程序的所述步骤S1时具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的前方双目视觉数据，得到车辆前方的双目点云数据；

获取分别位于车辆左侧、右侧和后方的第一单目摄像头所分别发送的左侧单目视觉数据、右侧单目视觉数据和后方单目视觉数据，以得到车辆左侧、右侧和后方的单目点云数据；

将车辆前方的所述双目点云数据以及车辆左侧、右侧和后方的所述单目点云数据进行特征点数据匹配，将相同的点云数据进行三维空间数据重叠融合，形成包含车辆四周的三维点云数据，根据包含车辆四周的所述三维点云数据建立三维的周边环境模型。

8.根据权利要求6所述的一种无人驾驶车辆的自主避障控制端，其特征在于，所述处理器执行所述计算机程序的所述步骤S2时具体包括以下步骤：

利用深度算法识别出所述周边环境模型内的所有物体类型并判断是否存在障碍物，若有，则得到所述障碍物的距离、大小和类型；

根据所述障碍物的距离、大小和类型判断是否可以实现绕障行驶，若能，则重新规划行驶路径以绕过所述障碍物，否则发出刹车指令以避免碰上所述障碍物。

9.根据权利要求6所述的一种无人驾驶车辆的自主避障控制端，其特征在于，所述处理器执行所述计算机程序的所述步骤S2中得到所述障碍物的属性信息时具体包括以下步骤：

获取位于车辆前方的双目摄像头所发送的双目距离数据以及位于车辆前方的第二单目摄像头所发送的单目距离数据，所述双目距离数据为所述双目摄像头测得与所述障碍物的距离数据，所述单目距离数据为所述第二单目摄像头测得与所述障碍物的距离数据；

判断车辆是否处于静止状态，若是，则使用所述双目距离数据作为所述障碍物的距离，否则判断所述障碍物在所述双目距离数据中是否小于预设距离范围，若是，则以所述双目距离数据作为基准，以所述单目距离数据作为辅助条件做误差归零计算，否则以所述单目距离数据作为基准，以所述双目距离数据作为辅助条件做误差归零计算，得到所述障碍物的距离，所述障碍物的属性信息包括所述障碍物的距离。

10.根据权利要求9所述的一种无人驾驶车辆的自主避障控制端，其特征在于，所述预设距离范围为15米至30米之间。

Images