CN109253720A - 一种摄像头与激光雷达融合系统 - Google Patents

一种摄像头与激光雷达融合系统 Download PDF

Info

Publication number
CN109253720A
CN109253720A CN201811276492.1A CN201811276492A CN109253720A CN 109253720 A CN109253720 A CN 109253720A CN 201811276492 A CN201811276492 A CN 201811276492A CN 109253720 A CN109253720 A CN 109253720A
Authority
CN
China
Prior art keywords
camera
laser radar
emerging system
pedestal
outer cover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811276492.1A
Other languages
English (en)
Other versions
CN109253720B (zh
Inventor
田尚
向少卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hesai Technology Co Ltd
Original Assignee
Hesai Photonics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hesai Photonics Technology Co Ltd filed Critical Hesai Photonics Technology Co Ltd
Priority to CN201811276492.1A priority Critical patent/CN109253720B/zh
Publication of CN109253720A publication Critical patent/CN109253720A/zh
Priority to PCT/CN2019/108119 priority patent/WO2020088165A1/zh
Application granted granted Critical
Publication of CN109253720B publication Critical patent/CN109253720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

本发明公开了一种摄像头与激光雷达融合系统,包括激光雷达和摄像头模组,激光雷达与摄像头模组相连;摄像头模组包括至少一个第一摄像头和至少一个第二摄像头,第一摄像头用于实现360°环视图像采集,第二摄像头用于实现前视图像采集;激光雷达包括转子和设于转子上的至少一个透镜组,透镜组可随转子相对于摄像头模组旋转;当透镜组旋转到预设位置时,触发摄像头模组进行拍照。本发明能够完成激光雷达与第一摄像头和第二摄像头的信息同步采集,并通过后期参数标定,使第一摄像头和第二摄像头采集的图像数据与激光雷达采集的点云数据融合,得到像素和点云之间的精确的坐标映射关系,实现了空间匹配,提高了探测准确性,丰富了被探测物体的信息。

Description

一种摄像头与激光雷达融合系统
技术领域
本发明涉及无人驾驶汽车的环境感知系统技术领域,特别涉及一种摄像头与激光雷达融合系统。
背景技术
无人驾驶汽车行驶环境中的障碍物探测是无人驾驶汽车环境感知系统的关键技术之一。现阶段通常采用安装在无人驾驶汽车上的传感器,在行驶过程中实时采集并分析汽车周围的二维图像和三维距离数据,将该数据传输至无人驾驶汽车的控制系统,来对无人驾驶汽车进行控制。
视觉摄像头和激光雷达是目前最常使用的两种测距传感元件。视觉摄像头通过对汽车周围物体进行实时监测,同时配以标定算法计算出物体与车辆的距离,从而实现车道偏离警告、前车防撞、行人探测等功能;激光雷达则通过测量发射光线与反射光线之间的时间间隔,来对障碍物进行精确的距离测量。
摄像头的优势在于物体的细致分类识别,尤其是在内容上,比如车牌,指示牌等,而激光雷达的优势在于距离,深度信息的采集。摄像头是对环境光的被动采集,在遇到暗光,阴影,强逆光环境,摄像头无法采集到足够有效信息或者直接失效。激光雷达是主动发出光线探测,可以抵御环境光的影响,尤其是暗光环境探测效果反而更佳。无人驾驶汽车在未知的复杂环境中行驶,仅仅通过视频摄像头或激光雷达获取的探测信息较为单一,难以进行准确的定位,多传感器的融合是无人驾驶汽车障碍物探测必然的发展趋势。
发明内容
本发明的目的在于针对现有技术的缺陷,提供一种摄像头与激光雷达融合系统。
为了达到上述目的,本发明提供一种摄像头与激光雷达融合系统,包括激光雷达和摄像头模组,所述激光雷达与所述摄像头模组相连;
所述摄像头模组包括至少一个第一摄像头和至少一个第二摄像头,所述第一摄像头用于实现360°环视图像采集,所述第二摄像头用于实现前视图像采集;
所述激光雷达包括转子和设置于所述转子上的至少一个透镜组,所述透镜组可随所述转子相对于所述摄像头模组旋转;
当所述透镜组旋转到预设位置时,触发所述摄像头模组进行拍照。
可选地,所述摄像头模组还包括摄像头支架;
所述激光雷达包括基座,所述激光雷达通过所述基座与所述摄像头支架相连。
可选地,所述摄像头模组包括四个所述第一摄像头和一个所述第二摄像头,所述第一摄像头和所述第二摄像头均设置于所述摄像头支架的外壁上;
四个所述第一摄像头沿所述摄像头支架的外壁的周向均匀分布,用于分别采集前视、后视、左视、右视四个方位的图像;
所述第二摄像头为彩色摄像头,其位于所述第一摄像头中用于采集前视方位图像的摄像头的正上方或正下方,用于实现前视方位的彩色图像采集。
可选地,所述第二摄像头为彩色摄像头,其取代所述第一摄像头中的用于采集前视方位图像的摄像头,用于实现前视方位的彩色图像采集。
可选地,所述摄像头支架包括第一安装筒和第二安装筒,所述第二安装筒与所述第一安装筒上下布置;
所述第一安装筒上设置有多个用于安装所述第一摄像头的第一安装部,多个所述第一安装部环向均匀分布于所述第一安装筒上,所述第一安装部为第一镂空结构,所述第一镂空结构包括与所述第一摄像头相配合的第一通孔;
所述第二安装筒上设置有用于安装所述第二摄像头的第二安装部,所述第二安装部为第二镂空结构,所述第二镂空结构包括与所述第二摄像头相配合的第二通孔。
可选地,所述第一安装部和所述第二安装部上分别设置有第一切角结构和第二切角结构。
可选地,所述摄像头支架的一端设置有第一连接部,所述基座上设置有与所述第一连接部相配合的第二连接部,所述第一连接部和所述第二连接部之间通过连接件相连。
可选地,所述基座的外侧设置有套接件,所述套接件为环状结构。
可选地,所述系统还包括底座,所述底座与所述摄像头支架相连。
可选地,所述系统还包括第一电路板和第二电路板,所述第一电路板和所述第二电路板均设置于所述底座的内部,且所述第二电路板位于所述第一电路板下方。
可选地,所述激光雷达的外侧设置有第一外罩,所述摄像头模组的外侧设置有第二外罩,所述套接件的一端与所述第一外罩相连,所述套接件的另一端与所述第二外罩相连。
可选地,所述第一外罩与所述套接件之间设置有第一密封件,所述第二外罩与所述套接件之间设置有第二密封件。
与现有技术相比,本发明具有如下有益效果:
1、本发明的透镜组旋转到激光雷达的视场与第一摄像头的视场全部或部分重合的位置时,会触发第一摄像头和第二摄像头进行拍照,能够完成激光雷达与第一摄像头和第二摄像头的信息同步采集,当信息同步采集完成后,通过后期参数标定,使第一摄像头和第二摄像头采集的图像数据与激光雷达采集的点云数据融合,得到像素和点云之间的精确的坐标映射关系,实现了空间匹配,提高了探测准确性,丰富了被探测物体的信息;
2、本发明通过将四个第一摄像头均匀分布于摄像头支架的外壁上的布置方式,使得结构更加紧凑,能够有效降低四个第一摄像头之间的盲区;
3、本发明通过主定位和副定位相结合的方式,以限制激光雷达的基座和摄像头支架之间沿径向方向的相对运动,并通过连接件使基座与摄像头支架相连,以限制基座和摄像头支架之间沿轴向方向的相对运动,采用这样的方式可以使激光雷达与摄像头模组在安装时保持独立的完整性,有利于实现模块化,方便拆装及后期维护;
4、本发明通过在摄像头支架的第一安装部和第二安装部上分别设置第一切角结构和第二切角结构,相对于没有切角结构的摄像头支架而言,减少了对摄像头视场的遮挡;
5、本发明通过布置第一外罩和第二外罩,保证所有元件均隐藏在第一外罩和第二外罩内部,使系统具有更好的完整性;
6、本发明的第一外罩和第二外罩相对于套接件对称设置,保证具有良好的外观效果,同时,保证第一外罩和第二外罩在制造时可以共用一副模具,有利于降低制造成本;
7、本发明的套接件分别与第一外罩和第二外罩螺纹连接,通过螺纹旋压的方式来压紧第一密封件和第二密封件,能够提供合适的压紧力,有利于保证IP等级;
8、本发明采用将一整块大的电路板拆分成上下布置的两块电路板形式,相比于采用一整块大的电路板水平布置的形式,节约了底座的安装空间。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明实施例提供的摄像头与激光雷达融合系统的示意图;
图2是本发明实施例提供的摄像头模组与激光雷达的连接示意图;
图3是本发明实施例提供的摄像头模组的立体结构示意图;
图4是本发明实施例提供的摄像头模组的主视图;
图5是本发明实施例提供的第一摄像头的主视图;
图6是本发明实施例提供的第一摄像头的俯视图;
图7是本发明实施例提供的第一摄像头的水平视场分布图;
图8是本发明实施例提供的透镜组旋转至第一预设位置的工作原理图;
图9是本发明实施例提供的透镜组旋转至第二预设位置的工作原理图;
图10是本发明实施例提供的摄像头支架与基座的装配示意图;
图11是图10中A的放大示意图;
图12是本发明实施例提供的第二外罩的装配示意图;
图13是图12中B的放大示意图;
图14是图12中C的放大示意图;
图15是本发明实施例提供的第一电路板的结构示意图;
图中:1-摄像头模组,11-第一摄像头,111-水平视场,112-盲区,12-第二摄像头,13-摄像头支架,131-第一安装筒,1311-第一安装部,1312-第一切角结构,132-第二安装筒,1321-第二安装部,1322-第二切角结构,133-第一连接部,1331-第一定位孔,2-激光雷达,21-转子,22-透镜组,23-基座,231-第二连接部,3-连接件,4-套接件,5-第一外罩,6-第二外罩,7-第一密封件,8-第二密封件,9-底座,91-第二定位件,92-插接件,10-第一电路板,101-第三定位孔,11-第二电路板。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例
结合参考图2和图3,本发明实施例提供一种摄像头与激光雷达融合系统,所述系统包括摄像头模组1和设置于所述摄像头模组1上方的激光雷达2。其中,所述摄像头模组1包括至少一个第一摄像头11、至少一个第二摄像头12和摄像头支架13,所述第一摄像头11用于实现360°环视图像采集,所述第二摄像头12用于实现前视图像采集。
结合参考图3、图5、图6、图8和图9,在一些实施例中,所述摄像头模组1可以包括四个所述第一摄像头11和一个所述第二摄像头12,四个所述第一摄像头11和一个所述第二摄像头12均安装于所述摄像头支架13的外壁上,且四个所述第一摄像头11均匀分布于所述摄像头支架13的外壁上,用于分别采集前视、后视、左视、右视四个方位的图像,所述第二摄像头12为彩色摄像头,其设置于所述第一摄像头11中用于前视方位图像采集的摄像头的正下方,用于实现前视方位的彩色图像采集。此外,根据实际需要,所述第二摄像头12也可以设置于所述第一摄像头11的正上方。
在另一些实施例中,所述第二摄像头12为彩色摄像头,其取代所述第一摄像头11中的用于采集前视方位图像的摄像头,用于实现前视方位的彩色图像采集。
在另一些实施例中,所述第一摄像头11还可以为一个,其通过旋转实现360°环视图像采集。
在另一些实施例中,所述摄像头模组1也可以仅包括四个所述第一摄像头11,而不使用所述第二摄像头12,其中四个所述第一摄像头11均为彩色摄像头,用于分别采集前视、后视、左视、右视四个方位的彩色图像。
在一个可选的示例中,所述第一摄像头11的水平视场角为129°,垂直视场角为81.8°,所述第二摄像头12的水平视场角为52°,垂直视场角为28.6°。
参考图7,本发明实施例通过将四个所述第一摄像头11均匀分布于所述摄像头支架13上的布置方式,使得四个所述第一摄像头11的水平视场111均匀分布,结构更加紧凑,能够有效降低四个所述第一摄像头11之间的盲区112。
在一些实施例中,所述摄像头支架13可以为筒状结构。结合参考图3、图4和图10,在一些实施例中,所述摄像头支架13可以为横截面呈圆形的筒状结构。
具体地,所述摄像头支架13包括第一安装筒131和与所述第一安装筒131相连的第二安装筒132,所述第二安装筒132设置于所述第一安装筒131的下方。此外,根据实际需要,所述第二安装筒132也可以设置于所述第一安装筒131的上方。
在一些实施例中,所述摄像头支架13可以为一体成型,在另一些实施例中,所述摄像头支架13也可由第一安装筒131与第二安装筒132通过固定连接形成。进一步地,所述第一安装筒131上设置有多个用于安装所述第一摄像头11的第一安装部1311,且多个所述第一安装部1311环向均匀分布于所述第一安装筒131上。
在一个可选的示例中,所述第一安装筒131上设置有四个用于安装所述第一摄像头11的第一安装部1311,四个所述第一安装部1311环向均匀分布于所述第一安装筒131上。
在一些实施例中,所述第一安装部1311上设置有第一切角结构1312,所述第一切角结构1312的设置可以减小边框对所述第一摄像头11的视场的遮挡。
在一些实施例中,所述第一安装部1311可以为第一镂空结构,所述第一镂空结构可以包括与所述第一摄像头11相配合的第一通孔,所述第一切角结构1312设置在所述第一通孔的边缘。
在另一些实施例中,所述第一安装部1311可以为第一凹槽结构,所述第一凹槽结构可以包括与所述第一摄像头11相配合的第一凹槽,所述第一切角结构1312设置在所述第一凹槽的边缘。
进一步地,所述第二安装筒132上设置有多个用于安装所述第二摄像头12的第二安装部1321,且多个所述第二安装部1321环向均匀分布于所述第二安装筒132上。
在一个可选的示例中,所述第二安装筒132上设置有四个用于安装所述第二摄像头12的第二安装部1321,四个所述第二安装部1321环向均匀分布于所述第二安装筒132上。
在一些实施例中,所述第二安装部1321上设置有第二切角结构1322,所述第二切角结构1322的设置可以减少边框对所述第二摄像头12的视场的遮挡。
在一些实施例中,所述第二安装部1321可以为第二镂空结构,所述第二镂空结构可以包括与所述第二摄像头12相配合的第二通孔,所述第二切角结构1322设置在所述第二通孔的边缘。
在另一些实施例中,所述第二安装部1321可以为第二凹槽结构,所述第二凹槽结构可以包括与所述第二摄像头12相配合的第二凹槽,所述第二切角结构1322设置在所述第二凹槽的边缘。
虽然以上实施例仅列举了所述摄像头支架13为横截面呈圆形的筒状结构的情形,但本发明的保护范围不仅限于此,根据具体需要,本领域技术人员基于本发明的主旨,可以将所述摄像头支架13设计成其他形式的筒状结构,例如横截面呈正多边形的筒状结构。
结合参考图2、图8和图9,所述激光雷达2包括转子21和设置于所述转子21上的至少一个透镜组22,所述透镜组22可随所述转子21相对于所述摄像头模组1旋转,当所述透镜组22旋转到预设位置时,触发所述摄像头模组1进行拍照。其中,所述预设位置是指所述激光雷达2的视场与所述第一摄像头11的视场全部或部分重合的位置。
具体地,当所述透镜组22旋转到所述激光雷达2的视场与所述第一摄像头11的视场全部或部分重合的位置时,触发所述第一摄像头11和所述第二摄像头12进行拍照。例如,参考图8,当所述透镜组22旋转到第一预设位置时,可以触发所述第一摄像头11和所述第二摄像头12进行拍照,参考图9,当所述透镜组22旋转到第二预设位置时,也可以触发所述第一摄像头11和所述第二摄像头12进行拍照。通过触发所述第一摄像头11和所述第二摄像头12进行拍照,完成所述激光雷达2与所述第一摄像头11和所述第二摄像头12的信息同步采集。
当信息同步采集完成后,可以通过后期参数标定,使所述第一摄像头11和所述第二摄像头12采集的图像数据与所述激光雷达2采集的点云数据融合,得到像素和点云之间的精确的坐标映射关系,从而实现空间匹配,提高了探测准确性,丰富了被探测物体的信息,可以赋予被探测物体更多的属性,包括姿态,运动状态,便于提供下一时刻可能的行为预测。
在一些实施例中,所述透镜组22可以包括发射透镜组和接收透镜组,所述发射透镜组用于出射探测光,所述接收透镜组用于接收探测光。在一个实施例中,所述发射透镜组可以包括一个发射透镜,所述接收透镜组可以包括一个接收透镜。在其它实施例中,所述发射透镜和所述接收透镜的数目不限于是一个,也可以是两个、三个或四个等。
参考图2,在一些实施例中,所述激光雷达2还包括基座23,所述激光雷达2通过所述基座23与所述摄像头支架13相连。
结合参考图3、图10和图11,所述摄像头支架13的顶端设置有第一连接部133,所述基座23上对应设置有第二连接部231,所述第一连接部133与所述第二连接部231配合连接,例如插接连接,以实现所述基座23与所述摄像头支架13之间的主定位。
所述第一连接部133的顶端设置有至少一个第一定位孔1331,所述第二连接部231的底端设置有与所述第一定位孔1331相对应的第二定位孔,所述第一定位孔1331和所述第二定位孔内穿设置有第一定位件(例如销钉),以实现所述基座23与所述摄像头支架13之间的副定位。
进一步地,所述第一连接部133与所述第二连接部231之间通过连接件3(例如紧盯螺钉)相连。需要说明的是,所述连接件3的安装方向为沿所述摄像头支架13的径向方向。
本发明实施例通过上述主定位和副定位相结合的方式,以限制所述基座23和所述摄像头支架13之间沿径向方向的相对运动,并通过所述连接件3使所述基座23与所述摄像头支架13相连,以限制所述基座23和所述摄像头支架13之间沿轴向方向的相对运动。采用这样的方式可以使所述激光雷达2与所述摄像头模组1在安装时保持独立的完整性,有利于实现模块化,方便拆装及后期维护。
结合参考图12和图13,在一些实施例中,所述系统还包括套接件4,所述套接件4设置于所述基座23的外侧。在一个实施例中,所述套接件4可以采用环状结构,在其它实施例中,所述套接件4也可以采用其他形状的结构,只要保证所述套接件4的形状与所述基座23的形状相适配即可。在一个实施例中,所述套接件4可以采用金属材质制成。在其它实施例中,所述套接件4可以采用塑料或其他材质制成。
结合参考图1、图2、图12和图13,在一些实施例中,所述系统还包括第一外罩5和第二外罩6,所述第一外罩5设置在所述激光雷达2的外侧,所述第二外罩6设置在所述摄像头模组1的外侧。所述套接件4的一端与所述第一外罩5相连,所述套接件4的另一端与所述第二外罩6相连。
在一些实施例中,所述第一外罩5和所述第二外罩6均为内部中空的圆台状结构,且所述第一外罩5和所述第二外罩6相对于所述套接件4对称设置,保证具有良好的外观效果;同时,保证所述第一外罩5和所述第二外罩6在制造时可以共用一副模具,有利于降低制造成本。
在一些实施例中,所述第一外罩5、所述第二外罩6和所述套接件4可以为一体成型。在另一些实施例中,所述第一外罩5、所述第二外罩6和所述套接件4可以为非一体成型。
本发明实施例通过布置所述第一外罩5和所述第二外罩6,保证所有元件均隐藏在所述第一外罩5和所述第二外罩6内部,使所述系统具有更好的完整性。
在一些实施例中,所述套接件4的顶端和底端分别设置有第一密封槽和第二密封槽,所述第一密封槽和所述第二密封槽中分别设置有第一密封件7和第二密封件8。
在一些实施例中,所述套接件4分别与所述第一外罩5和所述第二外罩6螺纹连接,通过螺纹旋压的方式来压紧第一密封件7和第二密封件8,能够提供合适的压紧力,有利于保证IP等级。
在一些实施例中,所述第一密封件7和所述第二密封件8可以为密封圈,根据具体情况的需要,所述密封圈可以选用O形密封圈、Y形密封圈、V形密封圈或者U形密封圈。
结合参考图2和图14,在一些实施例中,所述系统还包括底座9,所述底座9设置于所述第二外罩6的下方,且与所述摄像头支架13的底端相连。
结合参考图12,在一些实施例中,所述系统还包括第一电路板10和第二电路板11,所述第一电路板10和所述第二电路板11均设置于所述底座9的内部,且所述第二电路板11位于所述第一电路板10下方。
在一些实施例中,所述第一电路板10和所述第二电路板11均为环状结构。
本发明实施例采用将一整块大的电路板拆分成上下布置的两块电路板形式,相比于采用一整块大的电路板水平布置的形式,节约了所述底座9的安装空间。
参考图15,在一些实施例中,所述第一电路板10上设置有至少一个第三定位孔101,所述第二电路板11上设置有与所述第三定位孔101相对应的第四定位孔,所述底座9上设置有第二定位件91(例如定位柱),所述第二定位件91穿设于所述第三定位孔101和所述第四定位孔内,以实现所述第一电路板10与所述第二电路板11之间的定位,方便所述第一电路板10与所述第二电路板11之间的安装与拆卸。
在一些实施例中,所述底座9内还设置有至少一个插接件92,所述第一电路板10和所述第二电路板11分别与所述插接件92相连,以实现为所述激光雷达2和所述摄像头模组1供电以及进行数据传输及处理。
应当理解的是,本发明的上述具体实施例仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种摄像头与激光雷达融合系统,其特征在于,包括激光雷达(2)和摄像头模组(1),所述激光雷达(2)与所述摄像头模组(1)相连;
所述摄像头模组(1)包括至少一个第一摄像头(11)和至少一个第二摄像头(12),所述第一摄像头(11)用于实现360°环视图像采集,所述第二摄像头(12)用于实现前视图像采集;
所述激光雷达(2)包括转子(21)和设置于所述转子(21)上的至少一个透镜组(22),所述透镜组(22)可随所述转子(21)相对于所述摄像头模组(1)旋转;
当所述透镜组(22)旋转到预设位置时,触发所述摄像头模组(1)进行拍照。
2.根据权利要求1所述的摄像头与激光雷达融合系统,其特征在于,所述摄像头模组(1)还包括摄像头支架(13);
所述激光雷达(2)包括基座(23),所述激光雷达(2)通过所述基座(23)与所述摄像头支架(13)相连。
3.根据权利要求2所述的摄像头与激光雷达融合系统,其特征在于,所述摄像头模组(1)包括四个所述第一摄像头(11)和一个所述第二摄像头(12),所述第一摄像头(11)和所述第二摄像头(12)均设置于所述摄像头支架(13)的外壁上;
四个所述第一摄像头(11)沿所述摄像头支架(13)的外壁的周向均匀分布,用于分别采集前视、后视、左视、右视四个方位的图像;
所述第二摄像头(12)为彩色摄像头,其位于所述第一摄像头(11)中用于采集前视方位图像的摄像头的正上方或正下方,用于实现前视方位的彩色图像采集。
4.根据权利要求3所述的摄像头与激光雷达融合系统,其特征在于,所述第二摄像头(12)为彩色摄像头,其取代所述第一摄像头(11)中的用于采集前视方位图像的摄像头,用于实现前视方位的彩色图像采集。
5.根据权利要求3所述的摄像头与激光雷达融合系统,其特征在于,所述摄像头支架(13)包括第一安装筒(131)和第二安装筒(132),所述第二安装筒(132)与所述第一安装筒(131)上下布置;
所述第一安装筒(131)上设置有多个用于安装所述第一摄像头(11)的第一安装部(1311),多个所述第一安装部(1311)环向均匀分布于所述第一安装筒(131)上,所述第一安装部(1311)为第一镂空结构,所述第一镂空结构包括与所述第一摄像头(11)相配合的第一通孔;
所述第二安装筒(132)上设置有用于安装所述第二摄像头(12)的第二安装部(1321),所述第二安装部(1321)为第二镂空结构,所述第二镂空结构包括与所述第二摄像头(12)相配合的第二通孔。
6.根据权利要求5所述的摄像头与激光雷达融合系统,其特征在于,所述第一安装部(1311)和所述第二安装部(1321)上分别设置有第一切角结构(1312)和第二切角结构(1322)。
7.根据权利要求2所述的摄像头与激光雷达融合系统,其特征在于,所述摄像头支架(13)的一端设置有第一连接部(133),所述基座(23)上设置有与所述第一连接部(133)相配合的第二连接部(231),所述第一连接部(133)和所述第二连接部(231)之间通过连接件(3)相连。
8.根据权利要求7所述的摄像头与激光雷达融合系统,其特征在于,所述基座(23)的外侧设置有套接件(4),所述套接件(4)为环状结构。
9.根据权利要求8所述的摄像头与激光雷达融合系统,其特征在于,还包括底座(9),所述底座(9)与所述摄像头支架(13)相连。
10.根据权利要求9所述的摄像头与激光雷达融合系统,其特征在于,还包括第一电路板(10)和第二电路板(11),所述第一电路板(10)和所述第二电路板(11)均设置于所述底座(9)的内部,且所述第二电路板(11)位于所述第一电路板(10)下方。
11.根据权利要求8所述的摄像头与激光雷达融合系统,其特征在于,所述激光雷达(2)的外侧设置有第一外罩(5),所述摄像头模组(1)的外侧设置有第二外罩(6),所述套接件(4)的一端与所述第一外罩(5)相连,所述套接件(4)的另一端与所述第二外罩(6)相连。
12.根据权利要求11所述的摄像头与激光雷达融合系统,其特征在于,所述第一外罩(5)与所述套接件(4)之间设置有第一密封件(7),所述第二外罩(6)与所述套接件(4)之间设置有第二密封件(8)。
CN201811276492.1A 2018-10-30 2018-10-30 一种摄像头与激光雷达融合系统 Active CN109253720B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811276492.1A CN109253720B (zh) 2018-10-30 2018-10-30 一种摄像头与激光雷达融合系统
PCT/CN2019/108119 WO2020088165A1 (zh) 2018-10-30 2019-09-26 一种摄像头与激光雷达融合系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811276492.1A CN109253720B (zh) 2018-10-30 2018-10-30 一种摄像头与激光雷达融合系统

Publications (2)

Publication Number Publication Date
CN109253720A true CN109253720A (zh) 2019-01-22
CN109253720B CN109253720B (zh) 2020-04-24

Family

ID=65043117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811276492.1A Active CN109253720B (zh) 2018-10-30 2018-10-30 一种摄像头与激光雷达融合系统

Country Status (2)

Country Link
CN (1) CN109253720B (zh)
WO (1) WO2020088165A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109884617A (zh) * 2019-03-29 2019-06-14 广州文远知行科技有限公司 安全监控设备及包含其的运载工具
CN110082739A (zh) * 2019-03-20 2019-08-02 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN110261869A (zh) * 2019-05-15 2019-09-20 深圳市速腾聚创科技有限公司 目标探测系统和数据融合方法
CN110376598A (zh) * 2019-08-14 2019-10-25 深圳市镭神智能系统有限公司 一种视觉系统与激光雷达融合装置及融合系统
CN110471085A (zh) * 2019-09-04 2019-11-19 深圳市镭神智能系统有限公司 一种轨道检测系统
CN110488318A (zh) * 2019-08-16 2019-11-22 长沙行深智能科技有限公司 环视相机与雷达同步的曝光控制方法、装置、介质及设备
CN110596729A (zh) * 2019-09-12 2019-12-20 北京京东乾石科技有限公司 激光扫描仪及自动驾驶汽车
CN110753167A (zh) * 2019-11-13 2020-02-04 广州文远知行科技有限公司 时间同步方法、装置、终端设备及存储介质
WO2020088165A1 (zh) * 2018-10-30 2020-05-07 上海禾赛光电科技有限公司 一种摄像头与激光雷达融合系统
CN111435162A (zh) * 2020-03-03 2020-07-21 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质
CN112394347A (zh) * 2020-11-18 2021-02-23 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及设备
WO2023044688A1 (zh) * 2021-09-23 2023-03-30 华为技术有限公司 信号处理方法、信号传输方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522020A (zh) * 2020-06-23 2020-08-11 山东亦贝数据技术有限公司 一种园区活动要素混合定位系统及方法
CN112797990B (zh) * 2020-12-24 2023-01-31 深圳市优必选科技股份有限公司 一种存储介质、机器人及其导航位图生成方法及装置
CN113674422A (zh) * 2021-08-27 2021-11-19 中汽创智科技有限公司 一种数据同步采集方法、控制模块、系统及存储介质
CN116687386B (zh) * 2023-08-07 2023-10-31 青岛市畜牧工作站(青岛市畜牧兽医研究所) 牛体形数据综合校准的雷达探测系统及方法
CN117706942B (zh) * 2024-02-05 2024-04-26 四川大学 一种环境感知与自适应驾驶辅助电子控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170056932A1 (en) * 2015-08-26 2017-03-02 Denso Corporation Detection device cleaning apparatus having fan
CN107219533A (zh) * 2017-08-04 2017-09-29 清华大学 激光雷达点云与图像融合式探测系统
CN108332716A (zh) * 2018-02-07 2018-07-27 徐州艾特卡电子科技有限公司 一种自动驾驶汽车环境感知系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9091558B2 (en) * 2013-12-23 2015-07-28 Automotive Research & Testing Center Autonomous driver assistance system and autonomous driving method thereof
JP6698479B2 (ja) * 2016-09-06 2020-05-27 シャープ株式会社 自律走行装置
US10328934B2 (en) * 2017-03-20 2019-06-25 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles
CN206848481U (zh) * 2017-07-03 2018-01-05 百度在线网络技术(北京)有限公司 车载信息采集系统
CN107990879A (zh) * 2017-11-28 2018-05-04 佛山市安尔康姆航空科技有限公司 无人机云台的控制方法
CN109253720B (zh) * 2018-10-30 2020-04-24 上海禾赛光电科技有限公司 一种摄像头与激光雷达融合系统
CN110261869A (zh) * 2019-05-15 2019-09-20 深圳市速腾聚创科技有限公司 目标探测系统和数据融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170056932A1 (en) * 2015-08-26 2017-03-02 Denso Corporation Detection device cleaning apparatus having fan
CN107219533A (zh) * 2017-08-04 2017-09-29 清华大学 激光雷达点云与图像融合式探测系统
CN108332716A (zh) * 2018-02-07 2018-07-27 徐州艾特卡电子科技有限公司 一种自动驾驶汽车环境感知系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020088165A1 (zh) * 2018-10-30 2020-05-07 上海禾赛光电科技有限公司 一种摄像头与激光雷达融合系统
CN110082739A (zh) * 2019-03-20 2019-08-02 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN109884617A (zh) * 2019-03-29 2019-06-14 广州文远知行科技有限公司 安全监控设备及包含其的运载工具
CN110261869A (zh) * 2019-05-15 2019-09-20 深圳市速腾聚创科技有限公司 目标探测系统和数据融合方法
CN110376598A (zh) * 2019-08-14 2019-10-25 深圳市镭神智能系统有限公司 一种视觉系统与激光雷达融合装置及融合系统
CN110488318A (zh) * 2019-08-16 2019-11-22 长沙行深智能科技有限公司 环视相机与雷达同步的曝光控制方法、装置、介质及设备
CN110471085A (zh) * 2019-09-04 2019-11-19 深圳市镭神智能系统有限公司 一种轨道检测系统
CN110596729A (zh) * 2019-09-12 2019-12-20 北京京东乾石科技有限公司 激光扫描仪及自动驾驶汽车
CN110753167A (zh) * 2019-11-13 2020-02-04 广州文远知行科技有限公司 时间同步方法、装置、终端设备及存储介质
CN111435162A (zh) * 2020-03-03 2020-07-21 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质
CN111435162B (zh) * 2020-03-03 2021-10-08 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质
CN112394347A (zh) * 2020-11-18 2021-02-23 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及设备
WO2023044688A1 (zh) * 2021-09-23 2023-03-30 华为技术有限公司 信号处理方法、信号传输方法及装置

Also Published As

Publication number Publication date
WO2020088165A1 (zh) 2020-05-07
CN109253720B (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN109253720A (zh) 一种摄像头与激光雷达融合系统
CN101976460B (zh) 车载多目摄像机环视系统的虚拟视点图像生成方法
KR101030763B1 (ko) 이미지 획득 유닛, 방법 및 연관된 제어 유닛
US9369680B2 (en) Protecting roadside personnel using a camera and a projection system
EP1961613B1 (en) Driving support method and driving support device
CN109872324A (zh) 地面障碍物检测方法、装置、设备和存储介质
EP3203263B1 (de) Optoelektronischer sensor und verfahren zum erfassen von objekten
US20150009300A9 (en) Divergence ratio distance mapping camera
KR20170137102A (ko) 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터
JP2003156330A (ja) 航空機搭載地形計測装置及び方法
KR20230104298A (ko) 비-강성 스테레오 비전 카메라 시스템
CN113085896B (zh) 一种现代有轨清洁车辅助自动驾驶系统及方法
JP7259835B2 (ja) フォークリフト用の画像処理装置、および制御プログラム
EP3392152B1 (en) Method and system for aircraft taxi strike alerting
CN111750821B (zh) 一种位姿参数测量方法、装置、系统和存储介质
CN109521780B (zh) 遥控作业车辆的控制系统及控制方法
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
CN104627074A (zh) 车辆中的光学的播放及识别系统
EP3589575B1 (en) A vehicle provided with an arrangement for determining a three dimensional representation of a movable member
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
EP1936330B1 (fr) Procédé et système de traitement et de visualisation d'images de l'environnement d'un aéronef
JP4665872B2 (ja) ヘッドモーショントラッカ装置
CN207475756U (zh) 机器人红外立体视觉系统
CN109791287A (zh) 用于防止车辆事故的车辆安装式显示系统和方法
DE102015106836B4 (de) Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No.2 building, no.468 xinlai Road, Jiading District, Shanghai, 201821

Patentee after: Shanghai Hesai Technology Co., Ltd

Address before: Room j385, building 6, 1288 Yecheng Road, Jiading District, Shanghai

Patentee before: HESAI PHOTONICS TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
CP01 Change in the name or title of a patent holder

Address after: No.2 building, no.468 xinlai Road, Jiading District, Shanghai, 201821

Patentee after: Shanghai Hesai Technology Co.,Ltd.

Address before: No.2 building, no.468 xinlai Road, Jiading District, Shanghai, 201821

Patentee before: Shanghai Hesai Technology Co., Ltd

CP01 Change in the name or title of a patent holder