用于无人驾驶车辆的环境检测系统、方法、设备和介质
技术领域
本发明实施例涉及无人驾驶技术,尤其涉及一种用于无人驾驶车辆的环境检测系统、方法、设备和介质。
背景技术
随着无人驾驶技术的飞速发展,各种类型的无人驾驶车辆不断地被研发。为了保证无人驾驶过程的安全性与可靠性,每种车辆都需要具备整体感知环境信息的能力。
目前,现有的环境检测系统往往是针对于体积较小、车辆模型较为简单的车辆,如无人驾驶乘用车而设计的。
然而,在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
对于用于长途物流运输的无人驾驶重型牵引车,如重型卡车而言,由于这种牵引车体积较大、质量较大、车辆构造较为复杂,盲区较多,并且往往会牵引不同类型的车箱等原因,使得这种牵引车无法利用现有的环境检测系统实现具备整体感知环境信息的能力。
可见,当前急需一种可以适用于重型牵引车的环境检测系统,以使重型牵引车可以具备整体感知环境信息的能力。
发明内容
本发明实施例提供了一种用于无人驾驶车辆的环境检测系统、方法、设备和介质,可以使得牵引车具备整体感知环境信息的能力。
第一方面,本发明实施例提供了一种用于无人驾驶车辆的环境检测系统,所述系统包括:第一预设数量的激光雷达、第二预设数量的毫米波雷达和第三预设数量的摄像头;其中,
所述激光雷达设置在车辆的车头头部两侧、车头尾部两侧、车顶以及前保险杠中的至少一个位置处,用于检测行驶环境中的第一障碍物信息;
所述毫米波雷达设置在车辆的车头头部两侧、车头尾部两侧以及前保险杠中的至少一个位置处,用于检测行驶环境中的第二障碍物信息;
所述摄像头设置在车内后视镜位置处,用于检测行驶环境中的第三障碍物信息和/或颜色纹理信息。
第二方面,本发明实施例还提供了一种基于本发明第一方面任意实施例所提供的环境检测系统的环境检测方法,包括:
通过第一预设数量的激光雷达,获取行驶环境中的第一障碍物信息;
通过第二预设数量的毫米波雷达,获取所述行驶环境中的第二障碍物信息;
通过第三预设数量的摄像头,获取所述行驶环境中的第三信息,所述第三信息包括第三障碍物信息和/或颜色纹理信息;
对所述第一障碍物信息、所述第二障碍物信息和所述第三信息中的至少一种信息进行信息融合,获得所述行驶环境中的物体检测结果。
第三方面,本发明实施例还提供了一种设备,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明第二方面任意实施例所提供的环境检测方法步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明第二方面任意实施例所提供的环境检测方法步骤。
第五方面,本发明实施例还提供了一种无人驾驶车辆,其特征在于,所述无人驾驶车辆包括本发明第一方面任意实施例所提供的环境检测系统。
上述发明中的实施例具有如下优点或有益效果:
通过将第一预设数量的激光雷达设置在车辆的车头头部两侧、车头尾部两侧、车顶以及前保险杠中的至少一个位置处,检测行驶环境中的第一障碍物信息;将第二预设数量的毫米波雷达设置在车辆的车头头部两侧、车头尾部两侧以及前保险杠中的至少一个位置处,检测行驶环境中的第二障碍物信息;以及将第三预设数量的摄像头设置在车内后视镜位置处,检测行驶环境中的第三障碍物信息和/或颜色纹理信息,从而利用三种不同类型的传感器,可以从距离维度、速度维度和颜色维度对环境进行整体感知,并且将预设数量的传感器安装在车头的多个位置处,从而可以使得重型牵引车等车辆具备多维度,多方位的整体感知环境的能力。
附图说明
图1是本发明实施例一提供的一种用于无人驾驶车辆的环境检测系统中的激光雷达的布局示意图;
图2是本发明实施例一提供的一种用于无人驾驶车辆的环境检测系统中的毫米波雷达的布局示意图;
图3是本发明实施例一提供的一种用于无人驾驶车辆的环境检测系统中的摄像头的布局示意图;
图4是本发明实施例二提供的一种用于无人驾驶车辆的环境检测系统中的激光雷达的布局示意图;
图5是本发明实施例二提供的一种用于无人驾驶车辆的环境检测系统中的毫米波雷达的布局示意图;
图6是本发明实施例二提供的一种用于无人驾驶车辆的环境检测系统中的摄像头的布局示意图;
图7是本发明实施例三提供的一种环境检测方法的流程图;
图8是本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种用于无人驾驶车辆的环境检测系统中的激光雷达的布局示意图;图2是本发明实施例一提供的一种用于无人驾驶车辆的环境检测系统中的毫米波雷达的布局示意图;图3是本发明实施例一提供的一种用于无人驾驶车辆的环境检测系统中的摄像头的布局示意图。本实施例提供的环境检测系统可适用于无人驾驶车辆在行驶过程中检测周围环境信息情况,尤其是可以应用于面向高速公路长途物流运输的无人驾驶重型牵引车,如重型卡车中,以使重型牵引车具备多维度,多方位的整体感知环境的能力。参见图1、图2和图3所示,无人驾驶车辆可以包括车头10和车箱20,其中图1、图2和图3仅示出了在车头10位置处的部分车箱20,并没有示出完整的车箱。本实施例中的车头10和车箱20可以分离,以便车头10可以牵引不同类型的车箱。如图1、图2和图3所示,用于无人驾驶车辆的环境检测系统可以包括:
第一预设数量的激光雷达100、第二预设数量的毫米波雷达200和第三预设数量的摄像头300;其中,所述激光雷达100设置在车辆的车头头部两侧、车头尾部两侧、车顶以及前保险杠中的至少一个位置处,用于检测行驶环境中的第一障碍物信息;所述毫米波雷达200设置在车辆的车头头部两侧、车头尾部两侧以及前保险杠中的至少一个位置处,用于检测行驶环境中的第二障碍物信息;所述摄像头300设置在车内后视镜位置处,用于检测行驶环境中的第三障碍物信息和/或颜色纹理信息。
其中,第一预设数量、第二预设数量和第三预设数量均可以为一个或多个,其具体数值可以根据车辆尺寸、种类和/或检测需求等要求预先进行设置。第一预设数量的激光雷达100可以包括不同参数类型的激光雷达,第二预设数量的毫米波雷达200可以包括不同参数类型的毫米波雷达,以及第三预设数量的摄像头300也可以包括不同参数类型的摄像头。本实施例可以根据安装位置和检测需求的不同,分别选择不同参数的激光雷达100,毫米波雷达200以及摄像头300。例如,若在车辆的车头头部两侧均设置一个激光雷达100,则可以选择检测视野范围较大的激光雷达,以便可以检测到车头头部四周环境信息。若要求设置在前保险杠中的激光雷达100的检测距离较大,则可以选择前瞻距离较大但视野范围较小的激光雷达。
其中,第一预设数量的激光雷达100可以设置在车辆的车头头部两侧、车头尾部两侧、车顶以及前保险杠中的至少一个位置处,每个位置上可以设置一个或多个激光雷达100,其中车头尾部可以是指与车头10与车箱20的连接位置处。图1仅给出了一种可实现方式,即在车辆的车头头部两侧、车头尾部两侧、车顶以及前保险杠中均设置一个激光雷达100。第二预设数量的毫米波雷达200可以设置在车辆的车头头部两侧、车头尾部两侧以及前保险杠中的至少一个位置处,每个位置上也可以设置一个或多个毫米波雷达200。图2仅给出了一种可实现方式,即在车辆的车头头部两侧、车头尾部两侧以及前保险杠中均设置一个毫米波雷达200。当在同一个位置处均设置激光雷达100和毫米波雷达200时,激光雷达100可以位于毫米波雷达200的左侧、右侧、正上方、或者正下方,本实施例对激光雷达100和毫米波雷达200的相对位置不做具体限定。
第三预设数量的摄像头300均设置在车内后视镜位置处,即在车内后视镜位置处可以设置一个或多个摄像头300。图3仅给出了一种可实现方式,即在车内后视镜位置处设置了三个摄像头300。需要注意的是,本实施例中的激光雷达100、毫米波雷达200和摄像头300均设置在车辆的车头10上,并没有在车箱20上设置任何传感器,从而可以在更换车箱20时无需调整传感器的安装位置,使得车辆在牵引不同的车箱时均可以具备整体感知环境信息的能力,操作更加简便,适用性更广泛。
其中,第一障碍物信息可以包括但不限于行驶环境中的障碍物距离信息和/或障碍物速度信息。第二障碍物信息可以包括但不限于行驶环境中的障碍物距离信息和/或障碍物速度信息。第三障碍物信息可以包括但不限于行驶环境中的障碍物距离信息和/或障碍物速度信息。颜色纹理信息可以包括但不限于行驶环境中的物体颜色信息和物体纹理信息,其中根据物体颜色信息可以确定物体的具体颜色,比如交通信号灯的颜色;根据物体纹理信息可以确定物体的具体类型和形态,比如车辆、行人、交通信号灯、车道线等。
本实施例中的环境检测系统的工作过程可以为:通过第一预设数量的激光雷达获得行驶环境中的第一障碍物信息;通过第二预设数量的毫米波雷达,获取行驶环境中的第二障碍物信息;通过第三预设数量的摄像头,获取行驶环境中的第三障碍物信息和/或颜色纹理信息;根据第一障碍物信息和第二障碍物信息,以及获得的第三障碍物信息和/或颜色纹理信息,可以确定行驶环境中每个物体与车辆之间的距离、相对速度以及物体颜色信息等,以便从距离维度、速度维度和颜色维度对整个环境进行整体感知,从而可以识别整个行驶环境中的可行驶区域,实现换道、超车、汇入车辆、避让其他车辆等功能,以及还可以识别交通标识、交通信号灯和车道线等,从而使得车辆具有多维度,多方位的整体感知环境的性能。
本发明实施例的技术方案,可以通过将第一预设数量的激光雷达设置在车辆的车头头部两侧、车头尾部两侧、车顶以及前保险杠中的至少一个位置处,检测行驶环境中的第一障碍物信息;将第二预设数量的毫米波雷达设置在车辆的车头头部两侧、车头尾部两侧以及前保险杠中的至少一个位置处,检测行驶环境中的第二障碍物信息;以及将第三预设数量的摄像头设置在车内后视镜位置处,检测行驶环境中的第三障碍物信息和/或颜色纹理信息,从而利用三种不同类型的传感器,可以从距离维度、速度维度和颜色维度对环境进行整体感知,并且将预设数量的传感器安装在车头的多个位置处,从而可以使得重型牵引车等车辆具备多维度,多方位的整体感知环境的能力。
在上述技术方案的基础上,当激光雷达100和毫米波雷达200均设置在车头头部两侧时,将设置在车头头部两侧的毫米波雷达200位于设置在车头头部两侧的激光雷达100的正下方,以尽量激光雷达100与毫米波雷达200检测的相互影响,使激光雷达100可以更精准地检测车头四周环境中的物体距离信息,以及使毫米波雷达200可以精准地检测物体速度信息等。
当激光雷达100和毫米波雷达200均设置在车头尾部两侧时,将设置在车头尾部两侧的毫米波雷达位于设置在车头尾部两侧的激光雷达的正下方,以尽量激光雷达100与毫米波雷达200检测的相互影响,使激光雷达100可以更精准地检测车尾四周环境中的物体距离信息,以及使毫米波雷达200可以精准地检测物体速度信息等。
当激光雷达100和毫米波雷达200均设置在前保险杠时,设置在前保险杠的毫米波雷达位于设置在前保险杠的激光雷达的正上方,使激光雷达100可以更精准地检测车辆前方环境中的物体距离信息,以及使毫米波雷达200可以精准地检测物体速度信息等。
实施例二
图4是本发明实施例二提供的一种用于无人驾驶车辆的环境检测系统中的激光雷达的布局示意图;图5是本发明实施例二提供的一种用于无人驾驶车辆的环境检测系统中的毫米波雷达的布局示意图;图6是本发明实施例二提供的一种用于无人驾驶车辆的环境检测系统中的摄像头的布局示意图。本实施例在上述实施例的基础上,对“第一预设数量的激光雷达”、“第二预设数量的毫米波雷达”和“第三预设数量的摄像头”进行了进一步优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图4,本实施例提供的无人驾驶车辆的环境检测系统中的第一预设数量的激光雷达可以包括五个旋转激光雷达101-105和一个固态激光雷达106。
其中,第一个旋转激光雷达101和第二个旋转激光雷达102分别设置在车头头部两侧的第一支架上,且均距离地面第一预设高度,以及与地面平行放置,用于检测车头头部四周环境中的障碍物距离信息,其中第一支架的长度为第一预设长度,第一支架与车辆正前方之间的夹角为预设角度;第三个旋转激光雷达103和第四个旋转激光雷达104分别设置在车头尾部两侧的第二支架上,且均距离地面第二预设高度,以及与地面平行放置,用于检测车头尾部四周环境中的障碍物距离信息,其中第二支架的长度为第二预设长度;第五个旋转激光雷达105设置在车顶的正中央,且距离地面第三预设高度,以及向地面倾斜放置,用于检测车顶四周环境以及地面中的障碍物距离信息;固态激光雷达106设置在前保险杠的正中央,用于检测车辆正前方环境中的障碍物距离信息。
在本实施例中,由于激光雷达具有突出的距离测量性能与抗环境干扰性能,从而可以利用激光雷达来检测行驶环境中的障碍物距离信息,从而准确地识别可行驶区域。当车辆的体积较大,车身长、盲区多时,比如重型卡车,需要利用多个激光激光雷达来实现全方位、无盲区的环境感知性能。本实施例利用五个旋转激光雷达101-105和一个固态激光雷达106来准确识别车辆的可行驶区域,其中,旋转激光雷达101-105可以是指具有旋转功能的激光雷达,以便可以检测四周环境的信息。固态激光雷达106可以是指能检测较远距离的激光雷达,以便可以检测车辆前方更大区域的环境信息。表1给出了激光雷达的参数信息的示例。
表1激光雷达的参数信息
传感器类型 |
数量 |
视野范围 |
前瞻距离 |
旋转激光雷达 |
5 |
360° |
≥150m |
固态激光雷达 |
1 |
110° |
≥200m |
如表1所示,旋转激光雷达的视野范围为360°;固态激光雷达的视野范围小于旋转激光雷达的视野范围;固态激光雷达的前瞻距离大于旋转激光雷达的前瞻距离。当车速较高时,大范围的前瞻视野可以让车辆更安全、更从容的采取相应的动作。本实施例中旋转激光雷达的探测距离虽然也可以达到200米,但实际测试发现在100米外的点云密度已非常稀疏,从而导致出现误检测、漏检测的概率较大。针对于此,本实施例采用固态激光雷达可以较好的弥补该缺陷,即在200米左右的距离仍可以达到理想的点云密度,从而保障了无人驾驶车辆的大视野范围。
在图4中,当车头头部两侧的第一支架上分别设置旋转激光雷达101和旋转激光雷达102时,这两个旋转激光雷达均距离地面第一预设高度,以及与地面平行放置,以便可以检测车头头部四周环境中的障碍物距离信息。其中,第一预设高度可以根据车辆自身高度进行设置,比如,第一预设高度可以设置为1.5米。本实施例通过第一支架将旋转激光雷达101和旋转激光雷达102间接安装在车头头部两侧上,以便旋转激光雷达可以进行360°旋转。第一支架的长度为第一预设长度,第一预设长度可以设置为0.2米,即旋转激光雷达101超出车身0.2米。为了旋转激光雷达100可以更便利地进行旋转,第一支架与车辆正前方的方向之间的夹角为预设角度,预设角度可以设置为45°。
在图4中,当车头尾部两侧的第二支架上分别设置旋转激光雷达103和旋转激光雷达104时,这两个旋转激光雷达均距离地面第二预设高度,以及与地面平行放置,以便可以检测车头尾部四周环境中的障碍物距离信息。其中,车头尾部可以是指车头10与车箱20连接位置处。第二预设高度可以根据车头尾部高度进行设置,比如,第二预设高度可以设置为1.3米。本实施例通过第二支架将旋转激光雷达103和旋转激光雷达104间接安装在车头尾部两侧上,以便旋转激光雷达可以进行360°旋转。第二支架的长度为第二预设长度,第二预设长度可以设置为0.2米,即旋转激光雷达101超出车身0.2米。为了旋转激光雷达100可以更便利地进行旋转,第二支架与车辆正前方的方向之间的夹角也可以设置为45°或135°。
在图4中,第五个旋转激光雷达105可以设置在车顶的正中央,以及向地面倾斜放置,用于检测车顶四周环境以及地面中的障碍物距离信息。本实施例中第五个旋转激光雷达105的扫描角度可以略向地面倾斜,其倾斜角度可以在10°以内。固态激光雷达106可以设置在前保险杠的正中央,且距离地面第三预设高度,用于检测车辆正前方环境中的障碍物距离信息。其中,第三预设高度可以设置为0.5米。固态激光雷达106的检测区域为车辆的正前方区域。
本实施例的技术方案,通过采用五个旋转激光雷达检测车身周围环境的障碍物距离信息,缩小了车身周围的盲区,并且可以准确地确定车辆的可行驶区域。车头头部两侧和车头尾部两侧的旋转激光雷达可以对车身周围(除了车箱正后方)进行全方位的检测,以及车头顶部的旋转激光雷达可以对车辆前方与上方进行检测,从而组成了全方位的环境感知系统。并且通过固态激光雷达可以准确地检测较远距离范围内的障碍物距离信息,保障了无人驾驶车辆的大视野范围。
参见图5,本实施例提供的无人驾驶车辆的环境检测系统中的第二预设数量的毫米波雷达包括四个第一毫米波雷达201-204以及一个第二毫米波雷达205。
其中,第一个第一毫米波雷达201和第二个第一毫米波雷达202分别设置在车头头部两侧上,且均距离地面第四预设高度,用于分别检测车头正前方的左右两边环境中的障碍物运动信息;第三个第一毫米波雷达203和第四个第一毫米波雷达204分别设置在车头尾部两侧上,且均距离地面第五预设高度,用于检测车头尾部正后方环境中的障碍物运动信息;第二毫米波雷达205设置在前保险杠的正中央,且距离地面第六预设高度,用于检测车头正前方环境中的障碍物运动信息。
在本实施例中,毫米波雷达可以更加准确地检测障碍物的运行信息,比如速度信息。根据毫米波雷达检测的障碍物运行信息可以实现换道、超车、汇入车辆、避让车辆等功能。本实施例利用四个第一毫米波雷达201-204以及一个第二毫米波雷达205来准确检测车辆四周的障碍物运行信息。其中,第一毫米波雷达和第二毫米波雷达的可检测距离,即前瞻距离不同,可以根据检测需求和实际情况选择适宜参数的毫米波雷达。表2给出了毫米波雷达的参数信息的示例。
表2毫米波雷达的参数信息
传感器类型 |
数量 |
视野范围 |
前瞻距离 |
第一毫米波雷达 |
4 |
90° |
≥60m |
第二毫米波雷达 |
1 |
20° |
≥174m |
如表2所示,第一毫米波雷达的视野范围大于第二毫米波雷达的视野范围。第一毫米波雷达的前瞻距离小于第二毫米波雷达的前瞻距离。本实施例中的第二毫米波雷达的探测距离可以达到174米,从而有效地保障了无人驾驶车辆的大视野范围,以便在车速较高时可以让车辆更安全、更从容的采取相应的动作。
在图5中,当在车头头部两侧上分别设置第一毫米波雷达201和第一毫米波雷达202时,这两个第一毫米波雷达均距离地面第四预设高度,用于分别检测车头正前方的左右两边环境中的障碍物运动信息。其中,第四预设高度可以根据车辆自身高度和/或第一预设高度进行设置,比如,第一预设高度设置为1.5米时,第四预设高度可以设置为1.2米,以使第一毫米波雷达201和第一毫米波雷达202分别位于旋转激光雷达101和旋转激光雷达102的正下方。第一毫米波雷达201和第一毫米波雷达202可以通过第三支架安装在车头头部两侧,并可以使第一毫米波雷达201和第一毫米波雷达202紧贴车身,第三支架与车辆正前方的方向之间的夹角可以设置为45°。第一毫米波雷达201和第一毫米波雷达202可以检测车头两侧的正前方左右45°区域中的障碍物运动信息。
在图5中,在车头尾部两侧上分别设置第一毫米波雷达203和第一毫米波雷达204时,这两个第一毫米波雷达均距离地面第五预设高度,用于检测车头尾部正后方环境中的障碍物运动信息。其中车头尾部可以是指车头10与车箱20连接位置处。第五预设高度可以根据车头尾部高度和/或第二预设高度进行设置,比如,第二预设高度设置为1.3米时,第五预设高度可以设置为1.0米,以使第一毫米波雷达203和第一毫米波雷达204分别位于旋转激光雷达103和旋转激光雷达104的正下方。第一毫米波雷达203和第一毫米波雷达204可以通过第四支架安装在车头尾部两侧,第四支架与车辆正前方的方向之间的夹角也可以设置为45°或135°。
在图5中,第二毫米波雷达205可以设置在前保险杠的正中央,且距离地面第六预设高度,用于检测车头正前方环境中的障碍物运动信息。其中,第六预设高度可以根据保险杠高度和/或第三预设高度进行设置,比如,第三预设高度设置为0.5米时,第六预设高度可以设置为0.7米,以使第二毫米波雷达205位于固态激光雷达106的正上方。第二毫米波雷达205的检测区域为车辆的正前方区域。
本实施例的技术方案,通过采用四个第一毫米波雷达以及一个第二毫米波雷达可以有效地检测车身周围环境的障碍物运动信息,从而可以辅助实现换道、超车、汇入车道、避让车辆等功能。并且通过设置在前保险杠正中央的第二毫米波雷达可以进一步保障无人驾驶车辆的大视野范围,使得车辆可以具备大范围的完整感知能力。
参见图6,本实施例提供的无人驾驶车辆的环境检测系统中的第三预设数量的摄像头包括一个长焦摄像头301以及两个广角摄像头,即广角摄像头302和广角摄像头303。
其中,长焦摄像头301设置在车内后视镜的中央位置处,且距离地面第七预设高度,用于检测行驶环境中的交通标识信息;两个广角摄像头303设置在长焦摄像头301的两侧,且距离长焦摄像头第三预设长度,其中一个广角摄像头向地面倾斜放置,用于检测行驶环境中的车道线信息;另一个广角摄像头与地面平行放置,用于检测行驶环境中的障碍物类型信息。
其中,车内后视镜可以是指挡风玻璃的顶部位置。长焦摄像头301的焦距长,视角小,适于拍摄远处物体的图像。广角摄像头302和广角摄像头303的焦距很短,视角较宽,景深很深,适于拍摄较大场景的图像。本实施例中的长焦摄像头和广角摄像头的视野范围和前瞻距离根据镜头而定。
其中,长焦摄像头301可以与地面平行放置,用于检测车辆正前方环境中的交通标识信息。第七预设高度可以根据车内后视镜的高度设置,比如第七预设高度可以设置在2.6米至3米范围内。广角摄像头302和广角摄像头303可以对称地放置在长焦摄像头301的两侧。每个广角摄像头距离长焦摄像头301的第三预设长度可以设置为0.1米。广角摄像头302向地面倾斜放置时,广角摄像头303与地面平行放置。或者广角摄像头302与地面平行放置时,广角摄像头303向地面倾斜放置。
本实施例可以根据通过长焦摄像头获得的交通标识信息,识别行驶环境中的交通标识和交通信号灯;根据通过向地面倾斜放置的广角摄像头获得的车道线信息可以识别行驶环境中的车道线;根据通过与地面平行放置的广角摄像头获得的障碍物类型信息可以识别行驶环境中的障碍物类型,比如行人、车辆等。
本实施例的技术方案,通过五个旋转激光雷达101-105和一个固态激光雷达106检测车身周围环境中的障碍物距离信息;通过四个第一毫米波雷达201-204以及一个第二毫米波雷达205可以检测车身周围环境的障碍区运动信息;通过一个长焦摄像头301以及两个广角摄像头302-303可以检测车身周围环境的颜色纹理信息,以便识别交通标识、交通信号灯、车道线、障碍物类型(如车辆、行人等)。本实施例可以综合以上三类传感器的检测结果,从距离维度、速度维度、颜色维度对环境进行了整体的感知,从而使得车辆可以具备全方位、大范围、多维度的完整感知能力。
本发明实施例还提供了一种车辆,该车辆包括上述任意实施例所提供的环境检测系统。该车辆可以为任意类型的无人驾驶车辆,比如面向高速公路长途物流运输的无人驾驶重型牵引车,如重型卡车等。该车辆可以通过环境检测系统全方位、多维度的检测车身周围的环境信息,使得车辆可以具备整体感知环境信息的能力。
实施例三
图7为本发明实施例三提供的一种环境检测方法的流程图,本实施例可适用于无人驾驶车辆在行驶过程中检测周围环境的信息情况,尤其可以应用于面向高速公路长途物流运输的无人驾驶重型牵引车,如重型卡车中。该方法可以由上述实施例提供的环境检测系统来执行,该系统可以集成于无人驾驶车辆中。该方法具体包括以下步骤:
S710、通过第一预设数量的激光雷达,获取行驶环境中的第一障碍物信息。
其中,激光雷达可以是指以发射激光束探测行驶环境中的目标障碍物的位置、速度等特征量的雷达系统。第一预设数量可以为一个或多个,其具体数值可以根据车辆尺寸、种类和/或检测需求等要求预先进行设置。第一预设数量的激光雷达可以包括不同参数类型的激光雷达。本实施例可以根据安装位置和检测需求的不同,分别选择不同参数的激光雷达。比如,若在车辆的车头头部两侧均设置一个激光雷达,则可以选择检测视野范围较大的激光雷达,以便可以检测到车头头部四周环境信息。若要求激光雷达的检测距离较大,则可以选择前瞻距离较大但视野范围较小的激光雷达。第一预设数量的激光雷达可以设置在车辆的车头头部两侧、车头尾部两侧、车顶以及前保险杠中的至少一个位置处,其中车头尾部可以是指与车头与车箱的连接位置处。第一障碍物信息可以包括但不限于行驶环境中的障碍物距离信息和/或障碍物速度信息。
具体地,可以通过设置在车辆的车头头部两侧、车头尾部两侧、车顶以及前保险杠中的至少一个位置处的第一预设数量的激光雷达,获得车身周围环境的第一障碍物信息。需要说明的是,激光雷达在检测行驶环境中的第一障碍物信息时,可以基于激光雷达中的第一位置坐标系,获得行驶环境中每个障碍物的位置信息,并根据车辆的位置信息和每个障碍物的位置信息,计算行驶环境中的每个障碍物与车辆的之间的距离信息,和/或根据障碍物距离信息和相应的激光束往返时间,计算障碍物速度信息,从而获得行驶环境中的第一障碍物信息。
S720、通过第二预设数量的毫米波雷达,获取行驶环境中的第二障碍物信息。
其中,毫米波雷达可以是指工作在毫米波波段探测的雷达。通常,毫米波是指30-300GHz频域(波长为1-10mm)的波段。第二预设数量可以为一个或多个,其具体数值可以根据车辆尺寸、种类和/或检测需求等要求预先进行设置。第二预设数量的毫米波雷达可以包括不同参数类型的毫米波雷达。本实施例可以根据安装位置和检测需求的不同,分别选择不同参数的毫米波雷达。比如,若在车辆的前保险杠上设置一个毫米波雷达,则可以选择检测前瞻距离较大的毫米波雷达,以便可以检测较远距离的环境信息。第二预设数量的毫米波雷达可以设置在车辆的车头头部两侧、车头尾部两侧以及前保险杠中的至少一个位置处。第二障碍物信息可以包括但不限于行驶环境中的障碍物距离信息和/或障碍物速度信息。
具体地,可以通过设置车辆的车头头部两侧、车头尾部两侧以及前保险杠中的至少一个位置处的第二预设数量的毫米波雷达,获得车身周围环境的第二障碍物信息。需要说明的是,毫米波雷达在检测行驶环境中的第二障碍物信息时,可以基于毫米波雷达中的第二位置坐标系,获得行驶环境中每个障碍物的位置信息,并根据车辆的位置信息和每个障碍物的位置信息,计算行驶环境中的每个障碍物与车辆的之间的距离信息,和/或根据障碍物距离信息和相应的返时间,计算障碍物速度信息,从而获得行驶环境中的第二障碍物信息。
S730、通过第三预设数量的摄像头,获取行驶环境中的第三信息。
其中,第三预设数量可以为一个或多个,其具体数值可以根据车辆尺寸、种类和/或检测需求等要求预先进行设置。第三预设数量的摄像头可以包括不同参数类型的摄像头。本实施例可以根据安装位置和检测需求的不同,分别选择不同参数的摄像头。比如,若拍摄远处物体的图像,则可以选择焦距长,视角小的长焦摄像头。第三预设数量的摄像头可以设置在车内后视镜位置处,即前挡风玻璃的顶部位置。第三信息可以包括但不限于第三障碍物信息和/或颜色纹理信息。第三障碍物信息可以包括但不限于行驶环境中的障碍物距离信息和/或障碍物速度信息。颜色纹理信息可以包括但不限于行驶环境中的物体颜色信息和物体纹理信息,其中根据物体颜色信息可以确定物体的具体颜色,比如交通信号灯的颜色;根据物体纹理信息可以确定物体的具体类型和形态,比如车辆、行人、交通信号灯、车道线等。
具体地,可以通过设置在车内后视镜位置处的第三预设数量的摄像头,获得行驶环境中的第三障碍物信息和/或颜色纹理信息。示例性地,可以基于摄像头中的第三位置坐标系,根据拍摄的环境图像,获得行驶环境中每个障碍物的位置信息,并根据车辆的位置信息和每个障碍物的位置信息,计算行驶环境中每个障碍物与车辆的之间的距离信息,和/或根据障碍物距离信息和图像帧的时间间隔,计算障碍物速度信息,从而获得行驶环境中的第三障碍物信息;和/或根据环境图像的颜色纹理信息,可以识别每个障碍物的类型和形态。
S740、对第一障碍物信息、第二障碍物信息和第三信息中的至少一种信息进行信息融合,获得行驶环境中的物体检测结果。
其中,在第一预设数量的激光雷达中,每个激光雷达均可以检测获得行驶环境中相应的第一障碍物信息,即可以获得第一预设数量的第一障碍物信息。在第二预设数量的毫米波雷达中,每个毫米波雷达均可以检测获得行驶环境中相应的第二障碍物信息,即可以获得第二预设数量的第二障碍物信息。在第三预设数量的摄像头中,每个摄像头均可以获得行驶环境中相应的第三信息,即可以获得第三预设数量的第三信息。物体检测结果可以包括但不限于物体位置、与车辆的距离、物体运行速度、物体类型和颜色等。
具体地,在获得第一障碍物信息、第二障碍物信息和第三信息这三种类型的信息后,可以对至少一种信息进行信息融合,以便可以准确地获得行驶环境中各个物体的物体检测结果,使得车辆可以具备整体感知环境的能力。例如,可以对通过第一预设数量的激光雷达获得的各个第一障碍物信息进行融合,比如对同一物体对应的各个第一障碍物信息进行取平均值的方式,确定行驶环境中每个物体相对于车辆的平均距离信息,和/或平均速度信息等。
示例性地,S740可以包括:根据获取第一障碍物信息所基于的第一位置坐标系,确定物体位置坐标系为预设坐标系下的目标第一障碍物信息;根据获取第二障碍物信息所基于的第二位置坐标系,确定物体位置坐标系为预设坐标系下的目标第二障碍物信息;根据获取第三信息所基于的第三位置坐标系,确定物体位置坐标系为预设坐标系下的目标第三信息;基于预设坐标系下的物体位置信息,将目标第一障碍物信息、目标第二障碍物信息和目标第三信息中的至少一种信息进行匹配,确定行驶环境中的物体检测结果。
其中,预设坐标系可以基于车辆自身信息进行预先设置。比如,预设坐标系可以设置为以车辆的前轴中心为原点,以前轴的轴方向为x轴,以车辆的行驶方向为y轴,以及以竖直方向为z轴建立的车体坐标系。
具体地,可以基于第一位置坐标系与预设坐标系之间的转换关系,将物体在第一位置坐标系下获得的第一障碍物信息,转换至在预设坐标系下的目标第一障碍物信息。同理,将物体在第二位置坐标系下获得的第二障碍物信息,转换至在预设坐标系下的目标第二障碍物信息。以及将物体在第三位置坐标系下获得的第三信息,转换至在预设坐标系下的目标第三信息。此时获得的目标第一障碍物信息、目标第二障碍物信息和目标第三信息均是在同一位置坐标系下的信息,以便于进行位置匹配,从而获得同一物体对应的各个检测信息。示例性地,根据预设坐标系下的物体位置信息,可以将同一个坐标位置对应的目标第一障碍物信息、目标第二障碍物信息和目标第三信息,确定为同一物体对应的各个检测信息。对于同一种信息而言,可以对某个物体对应的各个信息进行运算,比如取平均、加权平均等方式,获得该物体对应的物体检测结果。对于不同种信息而言,可以获得物体在距离维度、速度维度和颜色维度上的物体检测结果,使得结果检测更加准确,以便车辆可以具备整体感知环境的能力。
本发明实施例的技术方案,通过第一预设数量的激光雷达检测行驶环境中的第一障碍物信息;通过第二预设数量的毫米波雷达检测行驶环境中的第二障碍物信息;通过第三预设数量的摄像头检测行驶环境中的第三信息;以及对第一障碍物信息、第二障碍物信息和第三信息中的至少一种信息进行信息融合,可以准确地获得行驶环境中的物体检测结果。本实施例利用三种不同类型的且预设数量的传感器,可以从距离维度、速度维度和颜色维度对环境进行整体感知,以便可以使得重型牵引车等无人驾驶车辆具备多维度,多方位的整体感知环境的能力。
在上述技术方案的基础上,第一预设数量的激光雷达包括五个旋转激光雷达和一个固态激光雷达;S710包括:通过第一个旋转激光雷达和第二个旋转激光雷达,获取车头头部四周环境中的第一障碍物距离信息;通过第三个旋转激光雷达和第四个旋转激光雷达,获取车头尾部四周环境中的第二障碍物距离信息;通过第五个旋转激光雷达,获取车顶四周环境以及地面中的第三障碍物距离信息;通过固态激光雷达,获取车辆正前方环境中的第四障碍物距离信息。
其中,由于激光雷达具有突出的距离测量性能与抗环境干扰性能,从而可以利用激光雷达来检测行驶环境中的障碍物距离信息,从而准确地识别可行驶区域。本实施例中的第一障碍物信息可以包括第一障碍物距离信息、第二障碍物距离信息、第三障碍物距离信息和第四障碍物距离信息。旋转激光雷达可以是指具有旋转功能的激光雷达,以便可以检测四周环境的信息。固态激光雷达可以是指能检测较远距离的激光雷达,以便可以检测车辆前方更大区域的环境信息。旋转激光雷达的视野范围为360°;固态激光雷达的视野范围小于旋转激光雷达的视野范围;固态激光雷达的前瞻距离大于旋转激光雷达的前瞻距离。
具体地,本实施例可以通过五个旋转激光雷达获得第一障碍物距离信息、第二障碍物距离信息和第三障碍物距离信息,从而可以检测车身周围环境的障碍物距离信息,缩小了车身周围的盲区,并且可以准确地确定车辆的可行驶区域。以及通过固态激光雷达获得第四障碍物距离信息,从而可以准确地检测较远距离范围内的障碍物距离信息,保障了无人驾驶车辆的大视野范围。
在上述技术方案的基础上,S740还可以包括:对第一障碍物距离信息和第四障碍物距离信息进行信息融合,确定行驶环境中的障碍物距离检测结果。具体地,本实施例可以基于第一位置坐标系与预设坐标系之间的转换关系,将物体在第一位置坐标系下获得的第一障碍物距离信息和第四障碍物距离信息,转换至在预设坐标系下的目标第一障碍物距离信息和目标第四障碍物距离信息。并可以对转换后的同一位置坐标对应的目标第一障碍物距离信息和目标第四障碍物距离信息进行取平均,获得行驶环境中每个物体距离车辆的平均距离,从而可以确定车辆前方的可行驶区域,避免与障碍物的碰撞。
在上述技术方案的基础上,第三预设数量的摄像头包括一个长焦摄像头和两个广角摄像头;S730可以包括:通过长焦摄像头,获取行驶环境中的交通标识信息;通过第一个广角摄像头,获取行驶环境中的车道线信息;通过第二个广角摄像头,获取行驶环境中的障碍物类型信息。
其中,长焦摄像头的焦距长,视角小,适于拍摄远处物体的图像。广角摄像头的焦距很短,视角较宽,景深很深,适于拍摄较大场景的图像。长焦摄像头和广角摄像头的视野范围和前瞻距离可以根据镜头而定。一个长焦摄像头和两个广角摄像头可以设置在车内后视镜处。
具体地,本实施例可以根据通过长焦摄像头获得的交通标识信息,识别行驶环境中的交通标识和交通信号灯;根据通过一个广角摄像头获得的车道线信息可以识别行驶环境中的车道线;根据通过另一个广角摄像头获得的障碍物类型信息可以识别行驶环境中的障碍物类型,比如行人、车辆等。
在上述技术方案的基础上,S740还可以包括:对第一障碍物信息、第二障碍物信息和障碍物类型信息进行信息融合,获得行驶环境中的物体检测结果。具体地,本实施例可以通过利用三种不同类型的传感器获得三种不同类型的信息,并可以对这三种信息进行融合,获取最终的物体检测结果。示例性地,可以通过利用五个旋转激光雷达和一个固态激光雷达,获得更加准确的障碍物距离信息;通过利用第二预设数量的毫米波雷达,比如四个第一毫米波雷达和一个第二毫米波雷达,获得准确的障碍物速度信息;通过利用一个广角摄像头,获得准确的障碍物类型信息。根据预设坐标系下的障碍物位置坐标,可以获取同一物体对应的障碍物距离信息、障碍物速度信息和障碍物类型信息,比如,根据障碍物类型信息可以确定位置坐标A处对应的是一个行人;根据障碍物距离信息可以确定该行人与车辆的距离;以及根据障碍物速度信息可以确定该行人相对于车辆的速度。本实施例通过利用激光雷达、毫米波雷达和摄像头同时检测行驶环境中的障碍物信息,可以使得物体检测结果更加准确,进一步提高了感知能力的准确性。
实施例四
图8为本发明实施例四提供的一种设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性设备12的框图。图8显示的设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示,通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,设备12还可以通过网络适配器21与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器21通过总线18与设备12的其它模块通信。应当明白,尽管图中未示出,可以结合设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发实施例所提供的环境检测方法步骤,该方法包括:
通过第一预设数量的激光雷达,获取行驶环境中的第一障碍物信息;
通过第二预设数量的毫米波雷达,获取行驶环境中的第二障碍物信息;
通过第三预设数量的摄像头,获取行驶环境中的第三信息,第三信息包括第三障碍物信息和/或颜色纹理信息;
对第一障碍物信息、第二障碍物信息和第三信息中的至少一种信息进行信息融合,获得行驶环境中的物体检测结果。
当然,本领域技术人员可以理解,处理器还可以实现本发明任意实施例所提供的环境检测方法的技术方案。
实施例五
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例的环境检测方法步骤,该方法包括:
通过第一预设数量的激光雷达,获取行驶环境中的第一障碍物信息;
通过第二预设数量的毫米波雷达,获取行驶环境中的第二障碍物信息;
通过第三预设数量的摄像头,获取行驶环境中的第三信息,第三信息包括第三障碍物信息和/或颜色纹理信息;
对第一障碍物信息、第二障碍物信息和第三信息中的至少一种信息进行信息融合,获得行驶环境中的物体检测结果。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个计算装置上,或者分布在多个计算装置所组成的网络上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。