一种摄像头与激光雷达融合系统
技术领域
本发明涉及无人驾驶汽车的环境感知系统技术领域,特别涉及一种摄像头与激光雷达融合系统。
背景技术
无人驾驶汽车行驶环境中的障碍物探测是无人驾驶汽车环境感知系统的关键技术之一。现阶段通常采用安装在无人驾驶汽车上的传感器,在行驶过程中实时采集并分析汽车周围的二维图像和三维距离数据,将该数据传输至无人驾驶汽车的控制系统,来对无人驾驶汽车进行控制。
视觉摄像头和激光雷达是目前最常使用的两种测距传感元件。视觉摄像头通过对汽车周围物体进行实时监测,同时配以标定算法计算出物体与车辆的距离,从而实现车道偏离警告、前车防撞、行人探测等功能;激光雷达则通过测量发射光线与反射光线之间的时间间隔,来对障碍物进行精确的距离测量。
摄像头的优势在于物体的细致分类识别,尤其是在内容上,比如车牌,指示牌等,而激光雷达的优势在于距离,深度信息的采集。摄像头是对环境光的被动采集,在遇到暗光,阴影,强逆光环境,摄像头无法采集到足够有效信息或者直接失效。激光雷达是主动发出光线探测,可以抵御环境光的影响,尤其是暗光环境探测效果反而更佳。无人驾驶汽车在未知的复杂环境中行驶,仅仅通过视频摄像头或激光雷达获取的探测信息较为单一,难以进行准确的定位,多传感器的融合是无人驾驶汽车障碍物探测必然的发展趋势。
发明内容
本发明的目的在于针对现有技术的缺陷,提供一种摄像头与激光雷达融合系统。
为了达到上述目的,本发明提供一种摄像头与激光雷达融合系统,包括激光雷达和摄像头模组,所述激光雷达与所述摄像头模组相连;
所述摄像头模组包括至少一个第一摄像头和至少一个第二摄像头,所述第一摄像头用于实现360°环视图像采集,所述第二摄像头用于实现前视图像采集;
所述激光雷达包括转子和设置于所述转子上的至少一个透镜组,所述透镜组可随所述转子相对于所述摄像头模组旋转;
当所述透镜组旋转到预设位置时,触发所述摄像头模组进行拍照。
可选地,所述摄像头模组还包括摄像头支架;
所述激光雷达包括基座,所述激光雷达通过所述基座与所述摄像头支架相连。
可选地,所述摄像头模组包括四个所述第一摄像头和一个所述第二摄像头,所述第一摄像头和所述第二摄像头均设置于所述摄像头支架的外壁上;
四个所述第一摄像头沿所述摄像头支架的外壁的周向均匀分布,用于分别采集前视、后视、左视、右视四个方位的图像;
所述第二摄像头为彩色摄像头,其位于所述第一摄像头中用于采集前视方位图像的摄像头的正上方或正下方,用于实现前视方位的彩色图像采集。
可选地,所述第二摄像头为彩色摄像头,其取代所述第一摄像头中的用于采集前视方位图像的摄像头,用于实现前视方位的彩色图像采集。
可选地,所述摄像头支架包括第一安装筒和第二安装筒,所述第二安装筒与所述第一安装筒上下布置;
所述第一安装筒上设置有多个用于安装所述第一摄像头的第一安装部,多个所述第一安装部环向均匀分布于所述第一安装筒上,所述第一安装部为第一镂空结构,所述第一镂空结构包括与所述第一摄像头相配合的第一通孔;
所述第二安装筒上设置有用于安装所述第二摄像头的第二安装部,所述第二安装部为第二镂空结构,所述第二镂空结构包括与所述第二摄像头相配合的第二通孔。
可选地,所述第一安装部和所述第二安装部上分别设置有第一切角结构和第二切角结构。
可选地,所述摄像头支架的一端设置有第一连接部,所述基座上设置有与所述第一连接部相配合的第二连接部,所述第一连接部和所述第二连接部之间通过连接件相连。
可选地,所述基座的外侧设置有套接件,所述套接件为环状结构。
可选地,所述系统还包括底座,所述底座与所述摄像头支架相连。
可选地,所述系统还包括第一电路板和第二电路板,所述第一电路板和所述第二电路板均设置于所述底座的内部,且所述第二电路板位于所述第一电路板下方。
可选地,所述激光雷达的外侧设置有第一外罩,所述摄像头模组的外侧设置有第二外罩,所述套接件的一端与所述第一外罩相连,所述套接件的另一端与所述第二外罩相连。
可选地,所述第一外罩与所述套接件之间设置有第一密封件,所述第二外罩与所述套接件之间设置有第二密封件。
与现有技术相比,本发明具有如下有益效果:
1、本发明的透镜组旋转到激光雷达的视场与第一摄像头的视场全部或部分重合的位置时,会触发第一摄像头和第二摄像头进行拍照,能够完成激光雷达与第一摄像头和第二摄像头的信息同步采集,当信息同步采集完成后,通过后期参数标定,使第一摄像头和第二摄像头采集的图像数据与激光雷达采集的点云数据融合,得到像素和点云之间的精确的坐标映射关系,实现了空间匹配,提高了探测准确性,丰富了被探测物体的信息;
2、本发明通过将四个第一摄像头均匀分布于摄像头支架的外壁上的布置方式,使得结构更加紧凑,能够有效降低四个第一摄像头之间的盲区;
3、本发明通过主定位和副定位相结合的方式,以限制激光雷达的基座和摄像头支架之间沿径向方向的相对运动,并通过连接件使基座与摄像头支架相连,以限制基座和摄像头支架之间沿轴向方向的相对运动,采用这样的方式可以使激光雷达与摄像头模组在安装时保持独立的完整性,有利于实现模块化,方便拆装及后期维护;
4、本发明通过在摄像头支架的第一安装部和第二安装部上分别设置第一切角结构和第二切角结构,相对于没有切角结构的摄像头支架而言,减少了对摄像头视场的遮挡;
5、本发明通过布置第一外罩和第二外罩,保证所有元件均隐藏在第一外罩和第二外罩内部,使系统具有更好的完整性;
6、本发明的第一外罩和第二外罩相对于套接件对称设置,保证具有良好的外观效果,同时,保证第一外罩和第二外罩在制造时可以共用一副模具,有利于降低制造成本;
7、本发明的套接件分别与第一外罩和第二外罩螺纹连接,通过螺纹旋压的方式来压紧第一密封件和第二密封件,能够提供合适的压紧力,有利于保证IP等级;
8、本发明采用将一整块大的电路板拆分成上下布置的两块电路板形式,相比于采用一整块大的电路板水平布置的形式,节约了底座的安装空间。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明实施例提供的摄像头与激光雷达融合系统的示意图;
图2是本发明实施例提供的摄像头模组与激光雷达的连接示意图;
图3是本发明实施例提供的摄像头模组的立体结构示意图;
图4是本发明实施例提供的摄像头模组的主视图;
图5是本发明实施例提供的第一摄像头的主视图;
图6是本发明实施例提供的第一摄像头的俯视图;
图7是本发明实施例提供的第一摄像头的水平视场分布图;
图8是本发明实施例提供的透镜组旋转至第一预设位置的工作原理图;
图9是本发明实施例提供的透镜组旋转至第二预设位置的工作原理图;
图10是本发明实施例提供的摄像头支架与基座的装配示意图;
图11是图10中A的放大示意图;
图12是本发明实施例提供的第二外罩的装配示意图;
图13是图12中B的放大示意图;
图14是图12中C的放大示意图;
图15是本发明实施例提供的第一电路板的结构示意图;
图中:1-摄像头模组,11-第一摄像头,111-水平视场,112-盲区,12-第二摄像头,13-摄像头支架,131-第一安装筒,1311-第一安装部,1312-第一切角结构,132-第二安装筒,1321-第二安装部,1322-第二切角结构,133-第一连接部,1331-第一定位孔,2-激光雷达,21-转子,22-透镜组,23-基座,231-第二连接部,3-连接件,4-套接件,5-第一外罩,6-第二外罩,7-第一密封件,8-第二密封件,9-底座,91-第二定位件,92-插接件,10-第一电路板,101-第三定位孔,11-第二电路板。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例
结合参考图2和图3,本发明实施例提供一种摄像头与激光雷达融合系统,所述系统包括摄像头模组1和设置于所述摄像头模组1上方的激光雷达2。其中,所述摄像头模组1包括至少一个第一摄像头11、至少一个第二摄像头12和摄像头支架13,所述第一摄像头11用于实现360°环视图像采集,所述第二摄像头12用于实现前视图像采集。
结合参考图3、图5、图6、图8和图9,在一些实施例中,所述摄像头模组1可以包括四个所述第一摄像头11和一个所述第二摄像头12,四个所述第一摄像头11和一个所述第二摄像头12均安装于所述摄像头支架13的外壁上,且四个所述第一摄像头11均匀分布于所述摄像头支架13的外壁上,用于分别采集前视、后视、左视、右视四个方位的图像,所述第二摄像头12为彩色摄像头,其设置于所述第一摄像头11中用于前视方位图像采集的摄像头的正下方,用于实现前视方位的彩色图像采集。此外,根据实际需要,所述第二摄像头12也可以设置于所述第一摄像头11的正上方。
在另一些实施例中,所述第二摄像头12为彩色摄像头,其取代所述第一摄像头11中的用于采集前视方位图像的摄像头,用于实现前视方位的彩色图像采集。
在另一些实施例中,所述第一摄像头11还可以为一个,其通过旋转实现360°环视图像采集。
在另一些实施例中,所述摄像头模组1也可以仅包括四个所述第一摄像头11,而不使用所述第二摄像头12,其中四个所述第一摄像头11均为彩色摄像头,用于分别采集前视、后视、左视、右视四个方位的彩色图像。
在一个可选的示例中,所述第一摄像头11的水平视场角为129°,垂直视场角为81.8°,所述第二摄像头12的水平视场角为52°,垂直视场角为28.6°。
参考图7,本发明实施例通过将四个所述第一摄像头11均匀分布于所述摄像头支架13上的布置方式,使得四个所述第一摄像头11的水平视场111均匀分布,结构更加紧凑,能够有效降低四个所述第一摄像头11之间的盲区112。
在一些实施例中,所述摄像头支架13可以为筒状结构。结合参考图3、图4和图10,在一些实施例中,所述摄像头支架13可以为横截面呈圆形的筒状结构。
具体地,所述摄像头支架13包括第一安装筒131和与所述第一安装筒131相连的第二安装筒132,所述第二安装筒132设置于所述第一安装筒131的下方。此外,根据实际需要,所述第二安装筒132也可以设置于所述第一安装筒131的上方。
在一些实施例中,所述摄像头支架13可以为一体成型,在另一些实施例中,所述摄像头支架13也可由第一安装筒131与第二安装筒132通过固定连接形成。进一步地,所述第一安装筒131上设置有多个用于安装所述第一摄像头11的第一安装部1311,且多个所述第一安装部1311环向均匀分布于所述第一安装筒131上。
在一个可选的示例中,所述第一安装筒131上设置有四个用于安装所述第一摄像头11的第一安装部1311,四个所述第一安装部1311环向均匀分布于所述第一安装筒131上。
在一些实施例中,所述第一安装部1311上设置有第一切角结构1312,所述第一切角结构1312的设置可以减小边框对所述第一摄像头11的视场的遮挡。
在一些实施例中,所述第一安装部1311可以为第一镂空结构,所述第一镂空结构可以包括与所述第一摄像头11相配合的第一通孔,所述第一切角结构1312设置在所述第一通孔的边缘。
在另一些实施例中,所述第一安装部1311可以为第一凹槽结构,所述第一凹槽结构可以包括与所述第一摄像头11相配合的第一凹槽,所述第一切角结构1312设置在所述第一凹槽的边缘。
进一步地,所述第二安装筒132上设置有多个用于安装所述第二摄像头12的第二安装部1321,且多个所述第二安装部1321环向均匀分布于所述第二安装筒132上。
在一个可选的示例中,所述第二安装筒132上设置有四个用于安装所述第二摄像头12的第二安装部1321,四个所述第二安装部1321环向均匀分布于所述第二安装筒132上。
在一些实施例中,所述第二安装部1321上设置有第二切角结构1322,所述第二切角结构1322的设置可以减少边框对所述第二摄像头12的视场的遮挡。
在一些实施例中,所述第二安装部1321可以为第二镂空结构,所述第二镂空结构可以包括与所述第二摄像头12相配合的第二通孔,所述第二切角结构1322设置在所述第二通孔的边缘。
在另一些实施例中,所述第二安装部1321可以为第二凹槽结构,所述第二凹槽结构可以包括与所述第二摄像头12相配合的第二凹槽,所述第二切角结构1322设置在所述第二凹槽的边缘。
虽然以上实施例仅列举了所述摄像头支架13为横截面呈圆形的筒状结构的情形,但本发明的保护范围不仅限于此,根据具体需要,本领域技术人员基于本发明的主旨,可以将所述摄像头支架13设计成其他形式的筒状结构,例如横截面呈正多边形的筒状结构。
结合参考图2、图8和图9,所述激光雷达2包括转子21和设置于所述转子21上的至少一个透镜组22,所述透镜组22可随所述转子21相对于所述摄像头模组1旋转,当所述透镜组22旋转到预设位置时,触发所述摄像头模组1进行拍照。其中,所述预设位置是指所述激光雷达2的视场与所述第一摄像头11的视场全部或部分重合的位置。
具体地,当所述透镜组22旋转到所述激光雷达2的视场与所述第一摄像头11的视场全部或部分重合的位置时,触发所述第一摄像头11和所述第二摄像头12进行拍照。例如,参考图8,当所述透镜组22旋转到第一预设位置时,可以触发所述第一摄像头11和所述第二摄像头12进行拍照,参考图9,当所述透镜组22旋转到第二预设位置时,也可以触发所述第一摄像头11和所述第二摄像头12进行拍照。通过触发所述第一摄像头11和所述第二摄像头12进行拍照,完成所述激光雷达2与所述第一摄像头11和所述第二摄像头12的信息同步采集。
当信息同步采集完成后,可以通过后期参数标定,使所述第一摄像头11和所述第二摄像头12采集的图像数据与所述激光雷达2采集的点云数据融合,得到像素和点云之间的精确的坐标映射关系,从而实现空间匹配,提高了探测准确性,丰富了被探测物体的信息,可以赋予被探测物体更多的属性,包括姿态,运动状态,便于提供下一时刻可能的行为预测。
在一些实施例中,所述透镜组22可以包括发射透镜组和接收透镜组,所述发射透镜组用于出射探测光,所述接收透镜组用于接收探测光。在一个实施例中,所述发射透镜组可以包括一个发射透镜,所述接收透镜组可以包括一个接收透镜。在其它实施例中,所述发射透镜和所述接收透镜的数目不限于是一个,也可以是两个、三个或四个等。
参考图2,在一些实施例中,所述激光雷达2还包括基座23,所述激光雷达2通过所述基座23与所述摄像头支架13相连。
结合参考图3、图10和图11,所述摄像头支架13的顶端设置有第一连接部133,所述基座23上对应设置有第二连接部231,所述第一连接部133与所述第二连接部231配合连接,例如插接连接,以实现所述基座23与所述摄像头支架13之间的主定位。
所述第一连接部133的顶端设置有至少一个第一定位孔1331,所述第二连接部231的底端设置有与所述第一定位孔1331相对应的第二定位孔,所述第一定位孔1331和所述第二定位孔内穿设置有第一定位件(例如销钉),以实现所述基座23与所述摄像头支架13之间的副定位。
进一步地,所述第一连接部133与所述第二连接部231之间通过连接件3(例如紧盯螺钉)相连。需要说明的是,所述连接件3的安装方向为沿所述摄像头支架13的径向方向。
本发明实施例通过上述主定位和副定位相结合的方式,以限制所述基座23和所述摄像头支架13之间沿径向方向的相对运动,并通过所述连接件3使所述基座23与所述摄像头支架13相连,以限制所述基座23和所述摄像头支架13之间沿轴向方向的相对运动。采用这样的方式可以使所述激光雷达2与所述摄像头模组1在安装时保持独立的完整性,有利于实现模块化,方便拆装及后期维护。
结合参考图12和图13,在一些实施例中,所述系统还包括套接件4,所述套接件4设置于所述基座23的外侧。在一个实施例中,所述套接件4可以采用环状结构,在其它实施例中,所述套接件4也可以采用其他形状的结构,只要保证所述套接件4的形状与所述基座23的形状相适配即可。在一个实施例中,所述套接件4可以采用金属材质制成。在其它实施例中,所述套接件4可以采用塑料或其他材质制成。
结合参考图1、图2、图12和图13,在一些实施例中,所述系统还包括第一外罩5和第二外罩6,所述第一外罩5设置在所述激光雷达2的外侧,所述第二外罩6设置在所述摄像头模组1的外侧。所述套接件4的一端与所述第一外罩5相连,所述套接件4的另一端与所述第二外罩6相连。
在一些实施例中,所述第一外罩5和所述第二外罩6均为内部中空的圆台状结构,且所述第一外罩5和所述第二外罩6相对于所述套接件4对称设置,保证具有良好的外观效果;同时,保证所述第一外罩5和所述第二外罩6在制造时可以共用一副模具,有利于降低制造成本。
在一些实施例中,所述第一外罩5、所述第二外罩6和所述套接件4可以为一体成型。在另一些实施例中,所述第一外罩5、所述第二外罩6和所述套接件4可以为非一体成型。
本发明实施例通过布置所述第一外罩5和所述第二外罩6,保证所有元件均隐藏在所述第一外罩5和所述第二外罩6内部,使所述系统具有更好的完整性。
在一些实施例中,所述套接件4的顶端和底端分别设置有第一密封槽和第二密封槽,所述第一密封槽和所述第二密封槽中分别设置有第一密封件7和第二密封件8。
在一些实施例中,所述套接件4分别与所述第一外罩5和所述第二外罩6螺纹连接,通过螺纹旋压的方式来压紧第一密封件7和第二密封件8,能够提供合适的压紧力,有利于保证IP等级。
在一些实施例中,所述第一密封件7和所述第二密封件8可以为密封圈,根据具体情况的需要,所述密封圈可以选用O形密封圈、Y形密封圈、V形密封圈或者U形密封圈。
结合参考图2和图14,在一些实施例中,所述系统还包括底座9,所述底座9设置于所述第二外罩6的下方,且与所述摄像头支架13的底端相连。
结合参考图12,在一些实施例中,所述系统还包括第一电路板10和第二电路板11,所述第一电路板10和所述第二电路板11均设置于所述底座9的内部,且所述第二电路板11位于所述第一电路板10下方。
在一些实施例中,所述第一电路板10和所述第二电路板11均为环状结构。
本发明实施例采用将一整块大的电路板拆分成上下布置的两块电路板形式,相比于采用一整块大的电路板水平布置的形式,节约了所述底座9的安装空间。
参考图15,在一些实施例中,所述第一电路板10上设置有至少一个第三定位孔101,所述第二电路板11上设置有与所述第三定位孔101相对应的第四定位孔,所述底座9上设置有第二定位件91(例如定位柱),所述第二定位件91穿设于所述第三定位孔101和所述第四定位孔内,以实现所述第一电路板10与所述第二电路板11之间的定位,方便所述第一电路板10与所述第二电路板11之间的安装与拆卸。
在一些实施例中,所述底座9内还设置有至少一个插接件92,所述第一电路板10和所述第二电路板11分别与所述插接件92相连,以实现为所述激光雷达2和所述摄像头模组1供电以及进行数据传输及处理。
应当理解的是,本发明的上述具体实施例仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。