CN114782556B - 相机与激光雷达的配准方法、系统及存储介质 - Google Patents
相机与激光雷达的配准方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114782556B CN114782556B CN202210696008.0A CN202210696008A CN114782556B CN 114782556 B CN114782556 B CN 114782556B CN 202210696008 A CN202210696008 A CN 202210696008A CN 114782556 B CN114782556 B CN 114782556B
- Authority
- CN
- China
- Prior art keywords
- camera
- marker
- radar
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本公开涉及图像数据处理技术领域,尤其涉及一种相机与激光雷达的配准方法、系统及存储介质。所述相机与激光雷达的配准方法包括:保持相机与激光雷达的相对位姿不变;通过激光雷达获取标志场至少三个方位的标志点的雷达数据;通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据;获取世界坐标系下标志场中标志点的坐标;根据所述图像数据与所述世界坐标系下标志点的坐标获取得到相机的位姿信息;根据所述至少三个方位的雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。本公开不需要提取激光点云和图像数据中特征进行匹配,因此可以更效率和更精确的完成相机与激光雷达的配准。
Description
技术领域
本公开涉及图像数据处理技术领域,尤其涉及一种相机与激光雷达的配准方法、系统及存储介质。
背景技术
配准是同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配,完成配准一般需要找到一个旋转关系和平移关系使得两种图像中的地理坐标一一匹配,即找到两种不同成像手段得到的图像图形间的位姿关系。
现有技术中,对于激光雷达与相机的配准一般采用的是激光雷达获取激光点云数据,相机获取图像数据,通过提取激光点云和图像数据之间的特征,通过不断迭代尝试旋转矩阵和平移矩阵使得激光点云中的特征与图像数据中的同一特征一一对应,从而完成激光雷达和相机的配准。
但是现有技术需要先获取全局的点云图像以提取用于匹配的特征,但是点云图像往往存在特征不显著的问题,难以选取有效的用于匹配的特征,因此现有技术存在技术工作量大,精度低的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种相机与激光雷达的配准方法及系统,可以更效率和更精确的完成相机与激光雷达的配准。
第一方面,本公开提供了一种相机与激光雷达的配准方法,所述配准方法包括:
保持相机与激光雷达的相对位姿不变;
通过激光雷达获取标志场至少三个方位的标志点的雷达数据;
通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据;
获取世界坐标系下标志场中标志点的坐标;
根据所述标志场图像数据与所述世界坐标系下标志点的坐标获取得到相机的位姿信息;
根据所述至少三个方位的雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
可选的,所述配准方法还包括:
根据激光雷达与所述相机的安装位置,结合相机的位姿信息对所述激光雷达位姿信息进行初始估计以得到各个方位的激光雷达的位姿信息估计值;
根据所述各个方位的激光雷达的位姿信息估计值,通过预设的范围估计方程计算得到各个方位的激光雷达所扫描的标志点范围,将各个方位的雷达数据与对应方位的激光雷达所扫描的标志点范围进行比对,筛选得到各个方位的第一雷达数据,
根据至少三个方位的第一雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
可选的,所述相机的位姿信息通过张正友棋盘格标定算法根据所述标志场图像数据与世界坐标系下标志点的坐标获得。
可选的,所述预设位姿关系方程为:
其中,为激光雷达坐标系下的激光雷达第j次测量时第i个标志点的坐标,为第i个标志点在世界坐标系下的标志点坐标的四元数表示,为相机在第j次测量时相机的旋转四元数,为相机在第j次测量时相机的平移四元数,q为图像数据转换至雷达数据的旋转四元数,T为图像数据转换至雷达数据的平移四元数,所述和为相机的位姿信息,
可选的,所述相机与激光雷达在水平方向由下往上扫描以获取第一个方位的图像数据和雷达数据,所述相机与激光雷达由水平方向往左旋转第一预设角度由下往上扫描以获取第二个方位的图像数据和雷达数据,所述相机与激光雷达由水平方向往右旋转第二预设角度由下往上扫描以获取第三个方位的图像数据和雷达数据。
第二方面,本公开提供了数据采集模块,所述数据采集模块包括相机和激光雷达,所述相机和激光雷达相互固定;
标志场,包括多个标志点,所述标志点在世界坐标系下的坐标已知;
驱动模块,所述驱动模块与所述数据采集模块连接以使所述数据采集模块运动;
配准模块,包括计算机可读存储介质和处理器,所述存储介质存储有第一方面任一所述的相机与激光雷达的配准方法,所述处理器用于控制驱动模块和数据采集模块执行所述存储介质中存储的相机与激光雷达的配准方法。
可选的,所述标志场包括第一标志杆集和第二标志杆集,所述第一标志杆集和第二标志杆集相互拼合以形成夹角结构,所述第一标志杆集和第二标志杆集包括多支标志杆,每支标志杆上设置有预设范围内的标志点。
可选的,所述第一标志杆集由多支标志杆分第一预设数量的排数构成,所述第二标志杆集由多支标志杆分第二预设数量的排数构成,所述第一预设数量不等于第二预设数量。
第三方面,本公开提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述相机与激光雷达的配准方法的步骤。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开提出的一种相机与激光雷达的配准方法,通过利用激光雷达和相机相互固定的技术特征,只需要通过三个方位的相机位姿和对应方位激光雷达获取的标志点数据即可完成相机与激光雷达的配准。本公开不需要提取激光点云和图像数据中特征点进行匹配,因此可以更效率和更精确的完成相机与激光雷达的配准。
附图说明
图1为本公开实施例所述相机与激光雷达的配准方法的使用场景图;
图2为本公开实施例所述相机与激光雷达的配准方法的流程图;
图3为本公开实施例所述相机与激光雷达的配准方法的另一流程图;
图4为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之一;
图5为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之二;
图6为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之三;
图7为本公开实施例所述相机与激光雷达的配准系统的结构框图;
图8为本公开实施例所述相机与激光雷达的配准系统的标志场的结构示意图。
其中,1、数据采集模块;11、激光雷达;12相机;121、第一相机;122、第二相机;2、标志场;21、第一标志杆集;22、第二标志杆集;23、标志杆;24、标志点;3、驱动模块;4、配准模块;41、计算机可读存储介质;42、处理器。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
图1为本公开实施例所述相机与激光雷达的配准方法的使用场景图。如图1所示,所述使用场景中包括数据采集模块1和标志场2,所述数据采集模块1包括激光雷达11和相机12,所述相机12为双目相机,所述双目相机包括第一相机121和第二相机122,激光雷达11固定在第一相机121和第二相机122之间。数据采集模块1对准标志场2以使得的数据采集模块1可以获取标志场2的图像数据和雷达数据。在其他实施例中,所述数据采集模块1中的相机12可以是单目相机或是多目相机。
图2为本公开实施例所述相机与激光雷达的配准方法的流程图。如图2所示,所述相机与激光雷达的配准方法包括以下步骤:
S101保持相机与激光雷达的相对位姿不变。
在本实施例中,所述第一相机、第二相机和激光雷达固定安装在一体化的平台上,图中未示出,该一体化平台作为驱动模块通过调整自身整体的旋转和平移,以实现保持双目相机和激光雷达相对位姿不变的同时改变双目相机与激光雷达的方位。在其他实施例中,所述第一相机、第二相机和激光雷达也可以固定在刚性的连杆上以保持相对位姿不变。
图4为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之一;图5为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之二;图6为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之三。
S102通过激光雷达获取标志场至少三个方位的标志点的雷达数据。
S103通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据。
结合图4所示,保持水平方向控制安装了双目相机和激光雷达的一体化平台由下往上扫描,使得激光雷达得以获取第一个方位的标志点的雷达数据。
具体的,所述激光雷达向标志场发出多根激光线束,标志场具有多个标志点,激光线束在遇到所述标志点后反射信号会加强,激光雷达会收到强反射信号。当由下往上的逐渐扫描的过程中,当有任一线束出现了两个或以上的强反射信号后,根据两点确定一线的原理可得到激光雷达坐标系下该强反射信号出现时该标志点的俯仰角和方向角,结合激光雷达探测得到的深度信息,得到了该方向和位置的激光雷达坐标系下的标志点的坐标,即得到了第一个方位的标志点的雷达数据。
然后通过相机拍摄标志场的图像获取所述第一个方位的包含该激光雷达所记录的标志点的标志场图像数据。
在水平方向上,控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中,在完成一次方位的记录后,可以继续往上扫描以获取第一个方向上其他位置的标志点的雷达数据和包含该标志点的标志场图像数据以作为第一方位的备用雷达数据和备用图像数据。
结合图5所示,所述相机与激光雷达由水平方向往左旋转第一预设角度由下往上扫描获取第二个方位的图像数据和雷达数据。具体的,所述第一预设角度为30度。同样的,当激光雷达发出的任一激光线束出现了两个或以上的强反射信号后,记录第二个方位的标志点的雷达数据和包含该激光雷达所记录的标志点的标志场的图像数据。
在向左旋转的第一预设角度的方向上,控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中,在完成一次方位的记录后,可以继续往上扫描以获取第二个方向上其他位置的标志点的雷达数据和包含该标志点的标志场图像数据以作为第二方位的备用雷达数据和备用图像数据。
结合图6所示,所述相机与激光雷达由水平方向往右旋转第二预设角度由下往上扫描以获取第三个方位的图像数据和雷达数据。具体的,所述第二预设角度为30度。同样的,当激光雷达发出的任一激光线束出现了两个或以上的强反射信号后,记录第三个方位的标志点的雷达数据和包含该激光雷达所记录的标志点的标志场的图像数据。
在向右旋转的第二预设角度的方向上,控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中,在完成一次方位的记录后,可以继续往上扫描以获取第三个方向上其他位置的标志点的雷达数据和包含所述其他位置的标志点的标志场图像数据以作为第三方位的备用雷达数据和备用图像数据。
在其他实施例中,可以通过上述方法来改变不同的旋转角度以获取更多方位的雷达数据和图像数据,以在后续获得更多的联立方程进行联立,达到减少运算误差的效果。
S104获取世界坐标系下标志点的坐标。
具体的,建立世界坐标系,并通过全站仪精确测量标志场中所有的标志点,因此各个标志点在世界坐标系下的坐标已知。
S105根据所述图像数据与世界坐标系下标志点的坐标获取得到相机的位姿信息。
根据相机的小孔成像原理,第一相机和第二相机满足以下相机方程
表示第一相机第j次测量时图像中第i个标志点的像素坐标,表示第二相机第j次测量时图像中第i个标志点的像素坐标,表示第一相机的内参矩阵,表示第二相机的内参矩阵,为第i个标志点在世界坐标系下的齐次坐标,和为第一相机第j次测量时的旋转和平移矩阵,和为第二相机第j次测量时的旋转和平移矩阵,表示第一相机的外参矩阵,表示第二相机的外参矩阵。
在本实施例中,组成标志场的标志杆上会任意设置有6-13个标志点,而在一幅第一相机或第二相机拍摄的图像中同样会囊括6支以上的标志杆,因而对于第一相机或第二相机而言,其拍摄的图像通常会囊括大于6个以上的标志点。通过张正友棋盘格标定算法联立六组以上已知的和即可获得第j次测量时第一相机的内参和外参矩阵,即得到了第一相机的位姿信息。同样的,通过张正友棋盘格标定算法也可以得到第二相机的位姿信息。
将第一相机和第二相机的相机方程转换为四元数来表示,
其中
所述为第一相机第j次测量时的平移四元数,为第二相机第j次测量时的平移四元数,为第一相机第j次测量时的旋转四元数,为第二相机第j次测量时的旋转四元数,为第一相机第j次测量时的旋转四元数的转置,为第二相机第j次测量时的旋转四元数的转置。其中,、、、、、、、、、、、、、为构成四元数的变量,用于指代不同的数据以构成四元数的常规表示方法。
S106根据所述至少三个方位的雷达数据和对应方位相机的位姿信息获取得到图像数据与雷达数据的位姿关系。
建立雷达数据与图像数据间的位姿关系方程
其中,为激光雷达坐标系下的激光雷达第j次测量时第i个标志点的坐标,为第i个标志点在世界坐标系下的齐次坐标的四元数表示,为第j次测量时相机的旋转四元数,为第j次测量时相机的平移四元数,q为图像数据转换至雷达数据的旋转四元数,T为图像数据转换至雷达数据的平移四元数,所述和为相机的位姿信息,联立至少三个方位的激光雷达获取到的雷达数据以及对应方位的相机的位姿信息的和得到图像数据转换至雷达数据的旋转四元数q以及平移四元数T。
具体的,对于第一相机而言,所述雷达数据与第一相机获取到的图像数据间的位姿关系方程为:
联立上述第一位姿关系方程、第二位姿关系方程和第三位姿关系方程即可得到第一相机的图像数据转换至雷达数据的旋转四元数q以及平移四元数T。
最后可以将第一相机的图像数据转换至雷达数据的旋转四元数q以及平移四元数T转换回常规的旋转矩阵以及平移矩阵表示,以方便转化应用在其他的外部程序中。
对于第二相机而言,可以通过重复上述步骤获得第二相机的图像数据转换至雷达数据的位姿关系,也可以通过张正友棋盘格标定算法完成第二相机与第一相机间的标定,然后通过第一相机的图像数据与雷达数据的关系,完成第二相机与激光雷达的标定。
在另一个实施例中,如图3所示,提供了相机与激光雷达的配准方法的另一流程。
其中S201~S205与上一实施例所述的S101~S105的流程相同。
S206根据激光雷达与所述相机的相对安装位置得到激光雷达的位姿信息估计值;
由于激光雷达与相机的相对安装位置保持不变,因此对于激光雷达而言其自身的旋转四元数可以估计为相机的旋转四元数。
具体的,对于本实施例中第一相机与激光雷达刚性固定的配合组合而言,所述激光雷达的旋转四元数估计值可以估计为
S207根据所述激光雷达的位姿信息估计值,筛选出符合范围的雷达数据得到第一雷达数据。
在S202~S203的流程中,对于雷达坐标系而言其采用(距离,俯仰角,方位角)的表示方法来表示标志点,对于世界坐标系和像素坐标系而言其采用的空间坐标系(x,y,z)的表示方法来表示标志点。而在标志场中有许多标志点,由于此时激光雷达与标志点之间的相对关系并未精确确定,因此存在不能完全确定雷达坐标系和像素坐标系下描述的标志点是否是同一标志点。
本实施例根据所述激光雷达的位姿信息估计值估算出激光雷达所应扫描的标志点范围,并根据所述标志点范围验算筛选出S202~S203中的不同的标志点表述是否代表同一标志点。
具体的,建立范围估计方程
将S202获取到的每个方位的标志点的激光雷达坐标系下的坐标与其对应方位的标志点范围进行比较,若该方位的标志点的雷达数据符合该方位的标志点范围则将符合的标志点的雷达数据记为第一雷达数据。
S208根据至少三个方向第一雷达数据和对应方位相机的位姿信息得到雷达数据与图像数据的位姿关系。
所述S208的具体步骤与上述实施例中S106一致,但其使用的雷达数据经过了S207的步骤进行了验算筛选,可以减小不同的标志点表述不是代表同一标志点的概率,使得配准速度更加快捷。
在一个实施例中,如图7所示,提供了一种激光雷达与相机的配准系统,包括:
数据采集模块1,所述数据采集模块1包括相机12和激光雷达11,所述相机12和激光雷达11相互固定;
标志场2,包括多个标志点,所述标志点在世界坐标系下的坐标已知;
驱动模块3,所述驱动模块3与所述数据采集模块1连接以使所述数据采集模块1运动;
配准模块4,包括计算机可读存储介质41和处理器42,所述存储介质存储有上述各实施例所述相机与激光雷达的配准方法,所述处理器42用于控制驱动模块3和数据采集模块1执行所述存储介质中存储的相机与激光雷达的配准方法。
具体的,所述相机12为双目相机,包括第一相机121和第二相机122,所述驱动模块3为一体化平台,所述激光雷达11与双目相机固定安装在一体化平台上。配准模块4的处理器42连接至该一体化平台,通过控制旋转与平移整个一体化平台使得数据采集模块1发生运动以完成任一上述实施例所述的配准方法。
如图8所示,在本实施例中,所述标志场2包括第一标志杆集21和第二标志杆集22,所述第一标志杆集21和第二标志杆集22相互拼合以形成一个L型的夹角结构。一侧薄,另一侧厚的标志场2可以提供更多距离深度不一的标志点情况,可以增加测量时的效率。
在其他实施例中,所述标志场2可以是V型的夹角结构。
多支标志杆23分第一预设数量的排数成排构成第一标志杆集21,多支标志杆23分第二预设数量的排数成排构成第二标志杆集22,所述第一预设数量不等于第二预设数量。在优选的实施例中所述第一预设数量为5支,所述第二预设数量为7支。每个标志杆23上设置有预设范围内的标志点24,在优选的实施例中所述预设范围为6-13个。在其他实施例中,所述第一预设数量和第二预设数量可以根据场地大小进行自由设置,所述标志点24的数量也可以根据标志杆23的长短自由设置。
在另一实施例中,还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的相机与激光雷达的配准方法。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.相机与激光雷达的配准方法,其特征在于,所述配准方法包括:
保持相机与激光雷达的相对位姿不变;
通过激光雷达获取标志场至少三个方位的标志点的雷达数据;
通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据;
获取世界坐标系下标志场中标志点的坐标;
根据所述标志场图像数据与所述世界坐标系下标志点的坐标获取得到相机的位姿信息;
根据所述至少三个方位的雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系;
所述预设的位姿关系方程为:
2.根据权利要求1所述的相机与激光雷达的配准方法,其特征在于,所述配准方法还包括:
根据激光雷达与所述相机的安装位置,结合相机的位姿信息对所述激光雷达位姿信息进行初始估计以得到各个方位的激光雷达的位姿信息估计值;
根据所述各个方位的激光雷达的位姿信息估计值,通过预设的范围估计方程计算得到各个方位的激光雷达所扫描的标志点范围,将各个方位的雷达数据与对应方位的激光雷达所扫描的标志点范围进行比对,筛选得到各个方位的第一雷达数据,
根据至少三个方位的第一雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
3.根据权利要求1所述的相机与激光雷达的配准方法,其特征在于,所述相机的位姿信息通过张正友棋盘格标定算法根据所述标志场图像数据与世界坐标系下标志点的坐标获得。
5.根据权利要求1所述的相机与激光雷达的配准方法,其特征在于,所述相机与激光雷达在水平方向由下往上扫描以获取第一个方位的图像数据和雷达数据,所述相机与激光雷达由水平方向往左旋转第一预设角度由下往上扫描以获取第二个方位的图像数据和雷达数据,所述相机与激光雷达由水平方向往右旋转第二预设角度由下往上扫描以获取第三个方位的图像数据和雷达数据。
6.相机与激光雷达的配准系统,其特征在于,包括:
数据采集模块,所述数据采集模块包括相机和激光雷达,所述相机和激光雷达相互固定;
标志场,包括多个标志点,所述标志点在世界坐标系下的坐标已知;
驱动模块,所述驱动模块与所述数据采集模块连接以使所述数据采集模块运动;
配准模块,包括计算机可读存储介质和处理器,所述存储介质存储有权利要求1-5任一所述的相机与激光雷达的配准方法,所述处理器用于控制驱动模块和数据采集模块执行所述存储介质中存储的相机与激光雷达的配准方法。
7.根据权利要求6所述的相机与激光雷达的配准系统,其特征在于,所述标志场包括第一标志杆集和第二标志杆集,所述第一标志杆集和第二标志杆集相互拼合以形成夹角结构,所述第一标志杆集和第二标志杆集包括多支标志杆,每支标志杆上设置有预设范围内的标志点。
8.根据权利要求7所述的相机与激光雷达的配准系统,其特征在于,所述第一标志杆集由多支标志杆分第一预设数量的排数构成,所述第二标志杆集由多支标志杆分第二预设数量的排数构成,所述第一预设数量不等于第二预设数量。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5任一项所述相机与激光雷达的配准方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210696008.0A CN114782556B (zh) | 2022-06-20 | 2022-06-20 | 相机与激光雷达的配准方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210696008.0A CN114782556B (zh) | 2022-06-20 | 2022-06-20 | 相机与激光雷达的配准方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114782556A CN114782556A (zh) | 2022-07-22 |
CN114782556B true CN114782556B (zh) | 2022-09-09 |
Family
ID=82421772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210696008.0A Active CN114782556B (zh) | 2022-06-20 | 2022-06-20 | 相机与激光雷达的配准方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114782556B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115856849B (zh) * | 2023-02-28 | 2023-05-05 | 季华实验室 | 一种深度相机与2d激光雷达标定方法及相关设备 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018100230A1 (en) * | 2016-11-30 | 2018-06-07 | Nokia Technologies Oy | Method and apparatuses for determining positions of multi-directional image capture apparatuses |
CN109035309A (zh) * | 2018-07-20 | 2018-12-18 | 清华大学苏州汽车研究院(吴江) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 |
CN109360228A (zh) * | 2018-10-18 | 2019-02-19 | 清华大学苏州汽车研究院(吴江) | 单目摄像头与毫米波雷达间的位姿配准方法 |
CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
CN111965624A (zh) * | 2020-08-06 | 2020-11-20 | 北京百度网讯科技有限公司 | 激光雷达与相机的标定方法、装置、设备和可读存储介质 |
CN112330756A (zh) * | 2021-01-04 | 2021-02-05 | 中智行科技有限公司 | 一种相机标定方法、装置、智能车辆和存储介质 |
CN112654886A (zh) * | 2020-05-27 | 2021-04-13 | 华为技术有限公司 | 外参标定方法、装置、设备及存储介质 |
CN112734857A (zh) * | 2021-01-08 | 2021-04-30 | 香港理工大学深圳研究院 | 相机内参和相机相对激光雷达外参的标定方法及电子设备 |
CN112816949A (zh) * | 2019-11-18 | 2021-05-18 | 商汤集团有限公司 | 传感器的标定方法及装置、存储介质、标定系统 |
WO2021098448A1 (zh) * | 2019-11-18 | 2021-05-27 | 商汤集团有限公司 | 传感器标定方法及装置、存储介质、标定系统和程序产品 |
CN112907676A (zh) * | 2019-11-19 | 2021-06-04 | 浙江商汤科技开发有限公司 | 传感器的标定方法、装置、系统、车辆、设备及存储介质 |
CN113281723A (zh) * | 2021-05-07 | 2021-08-20 | 北京航空航天大学 | 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法 |
KR102309608B1 (ko) * | 2020-10-21 | 2021-10-06 | 주식회사 노바테크 | 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법 |
CN113625288A (zh) * | 2021-06-15 | 2021-11-09 | 中国科学院自动化研究所 | 基于点云配准的相机与激光雷达位姿标定方法和装置 |
CN114200430A (zh) * | 2021-12-10 | 2022-03-18 | 上海西井信息科技有限公司 | 激光雷达与相机的标定方法、系统、设备及存储介质 |
CN114371472A (zh) * | 2021-12-15 | 2022-04-19 | 中电海康集团有限公司 | 一种激光雷达和相机的自动化联合标定装置及方法 |
WO2022077190A1 (zh) * | 2020-10-12 | 2022-04-21 | 深圳市大疆创新科技有限公司 | 数据处理方法、控制设备及存储介质 |
CN114612348A (zh) * | 2022-05-11 | 2022-06-10 | 季华实验室 | 激光点云运动畸变校正方法、装置、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100204964A1 (en) * | 2009-02-09 | 2010-08-12 | Utah State University | Lidar-assisted multi-image matching for 3-d model and sensor pose refinement |
US11067693B2 (en) * | 2018-07-12 | 2021-07-20 | Toyota Research Institute, Inc. | System and method for calibrating a LIDAR and a camera together using semantic segmentation |
DE102020123920B3 (de) * | 2020-09-15 | 2021-08-19 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren und System zum automatischen Labeling von Radardaten |
CN114578329A (zh) * | 2022-03-01 | 2022-06-03 | 亿咖通(湖北)技术有限公司 | 多传感器联合标定方法、设备、存储介质及程序产品 |
-
2022
- 2022-06-20 CN CN202210696008.0A patent/CN114782556B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018100230A1 (en) * | 2016-11-30 | 2018-06-07 | Nokia Technologies Oy | Method and apparatuses for determining positions of multi-directional image capture apparatuses |
CN109035309A (zh) * | 2018-07-20 | 2018-12-18 | 清华大学苏州汽车研究院(吴江) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 |
CN109360228A (zh) * | 2018-10-18 | 2019-02-19 | 清华大学苏州汽车研究院(吴江) | 单目摄像头与毫米波雷达间的位姿配准方法 |
CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
CN112816949A (zh) * | 2019-11-18 | 2021-05-18 | 商汤集团有限公司 | 传感器的标定方法及装置、存储介质、标定系统 |
WO2021098448A1 (zh) * | 2019-11-18 | 2021-05-27 | 商汤集团有限公司 | 传感器标定方法及装置、存储介质、标定系统和程序产品 |
CN112907676A (zh) * | 2019-11-19 | 2021-06-04 | 浙江商汤科技开发有限公司 | 传感器的标定方法、装置、系统、车辆、设备及存储介质 |
CN112654886A (zh) * | 2020-05-27 | 2021-04-13 | 华为技术有限公司 | 外参标定方法、装置、设备及存储介质 |
CN111965624A (zh) * | 2020-08-06 | 2020-11-20 | 北京百度网讯科技有限公司 | 激光雷达与相机的标定方法、装置、设备和可读存储介质 |
WO2022077190A1 (zh) * | 2020-10-12 | 2022-04-21 | 深圳市大疆创新科技有限公司 | 数据处理方法、控制设备及存储介质 |
KR102309608B1 (ko) * | 2020-10-21 | 2021-10-06 | 주식회사 노바테크 | 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법 |
CN112330756A (zh) * | 2021-01-04 | 2021-02-05 | 中智行科技有限公司 | 一种相机标定方法、装置、智能车辆和存储介质 |
CN112734857A (zh) * | 2021-01-08 | 2021-04-30 | 香港理工大学深圳研究院 | 相机内参和相机相对激光雷达外参的标定方法及电子设备 |
CN113281723A (zh) * | 2021-05-07 | 2021-08-20 | 北京航空航天大学 | 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法 |
CN113625288A (zh) * | 2021-06-15 | 2021-11-09 | 中国科学院自动化研究所 | 基于点云配准的相机与激光雷达位姿标定方法和装置 |
CN114200430A (zh) * | 2021-12-10 | 2022-03-18 | 上海西井信息科技有限公司 | 激光雷达与相机的标定方法、系统、设备及存储介质 |
CN114371472A (zh) * | 2021-12-15 | 2022-04-19 | 中电海康集团有限公司 | 一种激光雷达和相机的自动化联合标定装置及方法 |
CN114612348A (zh) * | 2022-05-11 | 2022-06-10 | 季华实验室 | 激光点云运动畸变校正方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
Recent development of hyperspectral LiDAR using supercontinuum laser;Wang Zhen et al;《PROCEEDINGS OF SPIE》;20161231;1-7 * |
Also Published As
Publication number | Publication date |
---|---|
CN114782556A (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110021046B (zh) | 相机与激光雷达组合传感器的外参数标定方法及系统 | |
CN109035320B (zh) | 基于单目视觉的深度提取方法 | |
CN109146980B (zh) | 基于单目视觉的优化的深度提取和被动测距方法 | |
US10060739B2 (en) | Method for determining a position and orientation offset of a geodetic surveying device and such a surveying device | |
CN109269430B (zh) | 基于深度提取模型的多株立木胸径被动测量方法 | |
CN111627072B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
JP4885584B2 (ja) | レンジファインダ校正方法及び装置 | |
CN109801333B (zh) | 体积测量方法、装置、系统及计算设备 | |
JP4926127B2 (ja) | 移動体搭載用前方撮像制御装置 | |
CN104574406B (zh) | 一种360度全景激光与多个视觉系统间的联合标定方法 | |
CN111815707B (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
WO2021016854A1 (zh) | 一种标定方法、设备、可移动平台及存储介质 | |
DE112010002843T5 (de) | Oberflächenverfolgung auf Bildbasis | |
CN113096183B (zh) | 一种基于激光雷达与单目相机的障碍物检测与测量方法 | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
CN111220120B (zh) | 一种动平台双目测距自校准方法及装置 | |
CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
CN109255818B (zh) | 一种新型标靶及其亚像素级角点的提取方法 | |
CN113592957A (zh) | 一种多激光雷达和多相机联合标定方法及系统 | |
CN112132908A (zh) | 一种基于智能检测技术的相机外参数标定方法及设备 | |
CN114782556B (zh) | 相机与激光雷达的配准方法、系统及存储介质 | |
CN111127613A (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
Barrile et al. | 3D modeling with photogrammetry by UAVs and model quality verification | |
CN113658279A (zh) | 相机内参和外参估算方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |