CN116630444A - 一种相机与激光雷达融合校准的优化方法 - Google Patents

一种相机与激光雷达融合校准的优化方法 Download PDF

Info

Publication number
CN116630444A
CN116630444A CN202310906555.1A CN202310906555A CN116630444A CN 116630444 A CN116630444 A CN 116630444A CN 202310906555 A CN202310906555 A CN 202310906555A CN 116630444 A CN116630444 A CN 116630444A
Authority
CN
China
Prior art keywords
camera
calibration
matrix
calibration plate
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310906555.1A
Other languages
English (en)
Other versions
CN116630444B (zh
Inventor
李伟
胡炳帅
潘禄
刘中冠
张博
朱劲松
李贝贝
刘庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Fenghuo Intelligent Technology Co ltd
China University of Mining and Technology CUMT
Original Assignee
Xuzhou Fenghuo Intelligent Technology Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Fenghuo Intelligent Technology Co ltd, China University of Mining and Technology CUMT filed Critical Xuzhou Fenghuo Intelligent Technology Co ltd
Priority to CN202310906555.1A priority Critical patent/CN116630444B/zh
Publication of CN116630444A publication Critical patent/CN116630444A/zh
Application granted granted Critical
Publication of CN116630444B publication Critical patent/CN116630444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种相机与激光雷达融合校准的优化方法,包括以下步骤:S1、获取激光雷达的点云数据和相机的图像数据,并对相机进行标定获得内参矩阵;S2、根据步骤S1中获取的激光雷达点云数据得到标定板点云信息;S3、基于相机与激光雷达之间的相对位置约束随机生成外参矩阵;S4、根据外参矩阵和相机内参矩阵将标定板点云信息投影到图像上,并根据投影图像中标定板的重合度以及匹配误差来选择生成的最优矩阵,本申请结构合理,标定的准确性高,能够突破对于标定的场景存在的限制。

Description

一种相机与激光雷达融合校准的优化方法
技术领域
本申请涉及摄像机校准,具体地,涉及一种相机与激光雷达融合校准的优化方法。
背景技术
相机和激光雷达在自动驾驶、机器人等领域运用广泛,越来越多的方案使用多相机、多雷达的方法来实现相应的功能,多传感器的校准是系统正常运行的前提,但是目前多传感器校准的方案仍然比较麻烦,最为关键的校准就是相机与激光雷达的之间的校准,因此,完成相机和激光雷达之间的校准,是传感器融合技术的关键。
现有技术中,申请号CN202211262616.7的专利公开了一种基于标靶的激光雷达与相机标定方法、系统、电子设备,该方法基于预设的所述标靶与所述相机转换的多组外参,将所述激光雷达坐标系与相机坐标系下的两组标靶三维信息转换至同一坐标系下,计算转换后的两组标靶三维信息的重合度,获取最大重合度对应的第一外参,但是该专利是利用的预设的多组外参,如果预设的外参都不满足重合度要求则对标定的准确性可能无法保证;
申请号CN202210262838.2的专利公开了一种全自动激光雷达与相机标定方法,将标定板固定在机械臂上,在机器人的平台上配置的激光雷达和相机,通过机械臂使标定板的位姿变化,通过矩形识别算法识别标定板的四个顶点,再检测标定板的角点,与结合标定板的尺寸先验解算出来的四个顶点,最终完成标定,该专利利用了机械臂来辅助标定,限制了标定的环境,对于标定的场景可能存在一定的限制,因此,急需一种相机与激光雷达融合校准的优化方法来解决上述出现的问题。
发明内容
针对现有技术存在的不足,本申请目的是提供一种相机与激光雷达融合校准的优化方法,以解决上述背景技术中提出的问题。
为了实现上述目的,本申请提供了一种相机与激光雷达融合校准的优化方法,包括以下步骤:
S1、获取激光雷达的点云数据和相机的图像数据,并对相机采用张正友标定法标定获得内参矩阵;
S2、根据步骤S1中获取的激光雷达的点云数据得到标定板点云信息;
S3、基于相机与激光雷达之间的相对位置约束随机生成外参矩阵;
S4、根据外参矩阵和相机的内参矩阵将标定板点云信息投影到图像上,并根据投影图像中标定板的重合度以及匹配误差来选择生成的最优外参矩阵。
优选的,步骤S1中,采用张正友标定法获取内参矩阵。
优选的,根据步骤S1中的对相机进行的标定为单目标定,并通过单目标定获取内参矩阵的步骤为:
步骤S11、设相机坐标系为
步骤S12、设相机坐标系下一点的坐标系为
步骤S13、设像素坐标系为
步骤S14、在像素坐标下的投影点为/>
步骤S15、根据步骤S12和步骤S14中的参数,基于
,得到相机坐标系到像素坐标系的转换关系即内参矩阵,其中/>和/>分别为单个像素在图像平面的长和宽,/>为相机的焦距,/>,/>为像素坐标系的中心点,/>为内参矩阵,即单目标定的结果。
优选的,步骤S2中根据激光雷达的点云数据得到标定板点云信息的具体步骤为:
步骤S21、将标定板固定在激光雷达前方某一区域,首先对激光雷达的点云数据进行滤波处理,即判断点云坐标/>中每个值是否在该区域内,若是就保留、滤波后得到点云信息为/>,n为标点板点云的个数,并代入线性模型对平面进行拟合如下式所示:
,其中,A,B,C,D分别表示平面方程的系数,x,y,z表示点云数据的坐标,拟合后得到标定板的点云信息/>,n为标点板点云的个数。
优选的,步骤S3中,利用蒙特卡洛算法随机生成外参矩阵。
优选的,蒙特卡洛算法随机生成外参矩阵的具体步骤为:
步骤S31、设激光雷达坐标系到相机坐标系的旋转矩阵为
步骤S32、设激光雷达坐标系到相机坐标系的平移矩阵为T;
步骤S33、为外参矩阵,其中R为3X3旋转矩阵,T为3X1的平移矩阵,对于旋转矩阵R,在/>内随机生成旋转矩阵R中的每个参数;
步骤S34、通过测量得到相机和激光雷达x,y,z方向上的最大距离分别为,对于平移矩阵T,根据测量得到的相对位置分别在/>附近随机生成平移矩阵T中的每个参数,从而得到/>外参矩阵。
优选的,步骤S4中的选择生成的最优矩阵的具体步骤为:
S41、设雷达坐标系下一点的坐标为
S42、将步骤S3中的参数代入公式中并结合步骤S1中的相机内参矩阵和步骤S3中的外参矩阵可以得到雷达坐标系下一点/>转换到相机像素坐标系下一点/>的公式:/>,其中/>为外参矩阵,/>为内参矩阵数;
步骤S43、将步骤S2中得到的标定板点云信息转代入根据步骤S42中的转换公式,得到标定板的像素信息,其中/>分别为/>水平和竖直方向像素值,n为标定板点云的个数,其像素面积为,其中/>分别为/>中水平和竖直方向像素值的最大值,/>分别为/>中水平和竖直方向像素值最小值,然后对投影得到的标定板像素信息/>进行Canny算子边缘检测,从而得到投影出的标定板角点信息为,n为检测到的角点个数;
S44、通过Canny算子边缘检测获得相机图像中的标定板面积为
S45、通过Canny算子边缘检测获得相机图像中的标定板的边缘角点信息为,n为检测到的角点个数;
S46、计算重合面积,其中(x1,y1)和(x2,y2)为标定板的边缘角点信息/>中左上角点坐标和右下角点坐标,(a1,b1)和(a2,b2)为标定板角点信息/>中左上角点坐标和右下角点坐标;
S47、将步骤S43中的像素面积、步骤S44标定板面积/>和步骤S46重合面积/>代入公式/>计算出面积重合度/>
S48、通过公式计算标定板边缘的角点坐标的匹配误差/>,其中/>,/>表示标定板的边缘角点信息中图像中标定板的边缘角点坐标,/>,/>表示标定板角点信息/>中投影出的标定板边缘角点坐标,/>表示边缘角点坐标的数量;
S49、根据面积重合度的大小和标定板边缘角点坐标的匹配误差/>来评价校准的效果,根据步骤S33、S34随机生成的旋转矩阵和平移矩阵分别计算标定板的像素信息,从而获得面积重合度/>和标定板边缘的角点坐标的匹配误差/>,首先判断是否在/>内以及/>是否在/>以内,当满足以上条件后,再计算最优等级,其中/>分别为/>中的最大值和最小值,n为标定板边缘角点坐标的个数,选择F最大的值对应的外参矩阵来得到最优的外参矩阵。
根据本申请的一种相机与激光雷达融合校准的优化方法,分别通过相机和激光雷达获得相机图像数据和激光雷达点云数据,对相机进行单目标定得到内参矩阵,然后通过对激光雷达点云数据处理得到标定板的点云信息,根据内参矩阵将标定板点云投影成像素图像,然后基于相机与雷达之间的位置约束根据蒙特卡洛算法随机生成外参矩阵,然后将标定板点云投影到相机图像上,根据投影图像中标定板的重合度以及边缘像素坐标的匹配误差来选择生成的最优矩阵,从而完成校准优化,避免了现有技术的在外参都不满足重合度要求的情况下出现对标定的准确性无法保证的情况,从而提高了标定的准确性,同时避免了现有技术利用机械臂来辅助标定限制了标定的环境导致对于标定的场景可能存在一定的限制,从而使得突破了对于标定的场景存在的限制。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为根据本申请一实施例的一种相机与激光雷达融合校准的流程示意图;
图2为根据本申请一实施例的一种相机与激光雷达融合校准的优化方法在距离5米的标定板融合效果图;
图3为根据本申请一实施例的一种相机与激光雷达融合校准的优化方法在距离10米的标定板融合效果图;
图4为根据本申请一实施例的一种相机与激光雷达融合校准的优化方法在距离15米的标定板融合效果图;
图5为根据本申请一实施例的一种相机与激光雷达融合校准的优化方法在距离20米的标定板融合效果图;
图6为根据本申请一实施例的一种相机与激光雷达融合校准的优化方法中相机和激光雷达在线匹配的效果图;
具体实施方式
为使本申请实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本申请。
如图1所示,本申请提供一种技术方案:一种相机与激光雷达融合校准的优化方法,包括以下步骤:
S1、获取激光雷达的点云数据和相机的图像数据,并对相机采用张正友标定法标定获得内参矩阵;
S2、根据步骤S1中获取的激光雷达的点云数据处理得到标定板点云信息;
S3、基于相机与激光雷达之间的相对位置约束随机生成外参矩阵;
S4、根据外参矩阵和相机的内参矩阵将标定板点云信息投影到图像上并根据投影图像中标定板的重合度以及匹配误差来选择生成的最优外参矩阵。
优选的,步骤S1中,张正友标定法获取内参矩阵,此标定法为现有技术中已有方法。
优选的,根据步骤S1中的对相机进行的标定为单目标定,并通过所述单目标定获取内参矩阵的步骤为:
步骤S11、设相机坐标系为
步骤S12、设相机坐标系下一点的坐标为
步骤S13、设像素坐标系为
步骤S14、在像素坐标下的投影点为/>
步骤S15、根据步骤S12和步骤S14中的参数,基于
,得到相机坐标系到像素坐标系的转换关系即内参矩阵,其中/>和/>分别为单个像素在图像平面的长和宽,/>为相机的焦距,/>,/>为像素坐标系的中心点,/>为内参矩阵,即单目标定的结果。
优选的,步骤S2中根据激光雷达的点云数据得到标定板点云信息的具体步骤为:
步骤S21、将标定板固定在激光雷达前方某一区域,首先对激光雷达的点云数据进行滤波处理,即判断点云坐标/>中每个值是否在该区域内,若是就保留、滤波后得到点云信息为/>,n为标点板点云的个数,并代入线性模型对平面进行拟合如下式所示:
,其中,A,B,C,D分别表示平面方程的系数,x,y,z表示点云数据的坐标,拟合后得到标定板的点云信息/>,n为标点板点云的个数。
优选的,步骤S3中,利用蒙特卡洛算法随机生成外参矩阵。
优选的,蒙特卡洛算法随机生成外参矩阵的具体步骤为:
步骤S31、设激光雷达坐标系到相机坐标系的旋转矩阵为
步骤S32、设激光雷达坐标系到相机坐标系的平移矩阵为T;
步骤S33、为外参矩阵,其中R为3X3旋转矩阵,T为3X1的平移矩阵,对于旋转矩阵R,在/>内随机生成旋转矩阵R中的每个参数;
步骤S34、通过测量得到相机和激光雷达x,y,z方向上的最大距离,分别为,对于平移矩阵T,根据测量得到的相对位置分别在/>附近随机生成平移矩阵T中的每个参数,从而得到/>外参矩阵。
优选的,步骤S4中的选择生成的最优外参矩阵的具体步骤为:
S41、设雷达坐标系下一点的坐标为
S42、将步骤S3中的参数代入公式中并结合步骤S1中的相机内参矩阵和步骤S3中的外参矩阵可以得到雷达坐标系下一点/>转换到相机像素坐标系下一点/>的公式:/>,其中/>为外参矩阵,/>为内参矩阵数;
步骤S43、将步骤S2中得到的标定板点云信息转代入根据步骤S42中的转换公式,得到标定板的像素信息,此处标定板的点云信息是雷达坐标系下的,每个标定板的点云信息都是雷达坐标系下的点,所以可以代入S42中的公式转换成像素坐标信息,其中/>分别为/>水平和竖直方向像素值,n为标定板点云的个数,其像素面积为/>,其中分别为/>中水平和竖直方向像素值的最大值,/>分别为/>中水平和竖直方向像素值最小值,然后对投影得到的标定板像素信息/>进行Canny算子边缘检测,从而得到投影出的标定板角点信息为/>,n为检测到的角点个数;
S44、通过Canny算子边缘检测获得相机图像中的标定板面积为
S45、通过Canny算子边缘检测获得相机图像中的标定板的边缘角点信息为,通过Canny算子边缘检测获得,n为检测到的角点个数,其中Canny算子边缘检测为已知现有技术;
S46、计算重合面积,其中(x1,y1)和(x2,y2)为标定板的边缘角点信息/>中左上角点坐标和右下角点坐标,(a1,b1)和(a2,b2)为标定板角点信息/>中左上角点坐标和右下角点坐标,此处坐标从、/>可得到;
S47、将步骤S43中的像素面积、步骤S44标定板面积/>和步骤S46重合面积/>代入公式/>计算出面积重合度/>
S48、通过公式计算标定板边缘的角点坐标的匹配误差/>,其中/>,/>表示标定板的边缘角点信息/>中图像中标定板的边缘角点坐标,/>,/>表示标定板角点信息/>中投影出的标定板边缘角点坐标,/>表示边缘角点坐标的数量;
S49、根据面积重合度的大小和标定板边缘角点坐标的匹配误差/>来评价校准的效果,根据步骤S33、S34随机生成的旋转矩阵和平移矩阵分别计算标定板的像素信息,从而获得面积重合度/>和标定板边缘的角点坐标的匹配误差/>,首先判断/>是否在/>内以及/>是否在/>以内,当满足以上条件后,再计算最优等级,其中/>分别为/>中的最大值和最小值,n为标定板边缘角点坐标的个数,选择F最大的值对应的外参矩阵来得到最优的外参矩阵。
参照图1-图6,作为本申请的一个实施例:
S1、获取激光雷达的点云数据和相机的图像数据,并对相机采用张正友标定法进行单目标定获得内参矩阵,通过设相机坐标系为、设相机坐标系下一点的坐标为、设像素坐标系为/>、/>在像素坐标下的投影点为/>,将/>和/>,代入公式
中,得到相机坐标系到像素坐标系的转换关系即内参矩阵,其中/>和/>分别为单个像素在图像平面的长和宽,/>为相机的焦距,/>,/>为像素坐标系的中心点,/>为内参矩阵,即单目标定的结果;
S2、将获取的激光雷达的点云数据进行滤波等处理得到标定板的点云信息即标定板的三维信息,具体如下:将标定板固定在激光雷达前方某一区域,首先对激光雷达点云数据进行滤波处理,即判断点云坐标/>中每个值是否在该区域内,若是就保留、滤波后得到点云信息为,n为标点板点云的个数,并代入线性模型对平面进行拟合如下式所示:
,其中,A,B,C,D分别表示平面方程的系数,x,y,z表示点云数据的坐标,拟合后得到标定板的点云信息/>,n为标点板点云的个数;
S3、基于相机与激光雷达之间的相对位置约束利用蒙特卡洛算法随机生成外参矩阵,通过设激光雷达坐标系到相机坐标系的旋转矩阵为、设激光雷达坐标系到相机坐标系的平移矩阵为T,并将旋转矩阵为/>、平移矩阵为T代入公式外参矩阵为,其中R为3X3旋转矩阵,T为3X1的平移矩阵,对于旋转矩阵R, 在/>内随机生成旋转矩阵R中的每个参数,通过测量得到相机和激光雷达x,y,z方向上的最大距离分别为/>,测量可通过人工测量,对于平移矩阵T,根据测量得到的相对位置分别在/>附近随机生成平移矩阵T中的每个参数,从而得到外参矩阵;
S4、通过设雷达坐标系下一点的坐标为,将步骤S3中的参数代入公式/>中并结合步骤S1中的相机内参矩阵和步骤S3中的外参矩阵可以得到雷达坐标系下一点/>转换到相机像素坐标系下一点/>的公式:
,其中为外参矩阵,/>为内参矩阵数,然后将步骤S2中得到的标定板点云信息转代入根据步骤S42中的转换公式,得到标定板的像素信息/>,其中/>分别为/>水平和竖直方向像素值,n为标定板点云的个数,其像素面积为,其中/>分别为/>中水平和竖直方向像素值的最大值,/>分别为/>中水平和竖直方向像素值最小值,然后对投影得到的标定板像素信息/>进行Canny算子边缘检测,从而得到投影出的标定板角点信息为,n为检测到的角点个数;
通过Canny算子边缘检测获得相机图像中的标定板面积为,通过Canny算子边缘检测获得相机图像中的标定板的边缘角点信息为,n为检测到的角点个数,计算重合面积,其中(x1,y1)和(x2,y2)为标定板的边缘角点信息/>中左上角点坐标和右下角点坐标,(a1,b1)和(a2,b2)为标定板角点信息/>中左上角点坐标和右下角点坐标;
接着将步骤S43中的像素面积、步骤S44标定板面积/>和步骤S46重合面积/>代入公式/>计算出面积重合度/>,通过公式计算标定板边缘的角点坐标的匹配误差/>,其中/>,/>表示标定板的边缘角点信息/>中图像中标定板的边缘角点坐标,/>,/>表示标定板角点信息/>中投影出的标定板边缘角点坐标,/>表示边缘角点坐标的数量;
最后根据面积重合度的大小和标定板边缘角点坐标的匹配误差/>来评价校准的效果,根据步骤S33、S34随机生成的旋转矩阵和平移矩阵分别计算标定板的像素信息,从而获得面积重合度/>和标定板边缘的角点坐标的匹配误差/>,首先判断/>是否在/>内以及/>是否在/>以内,当满足以上条件后,再计算最优等级,其中/>分别为/>中的最大值和最小值,n为标定板边缘角点坐标的个数,选择F最大的值对应的外参矩阵来得到最优的外参矩阵,从而使得本申请分别通过相机和激光雷达获得相机图像数据和激光雷达点云数据,对相机进行单目标定得到内参矩阵,然后通过对激光雷达点云数据处理得到标定板的点云信息,根据内参矩阵将标定板点云投影成像素图像,然后基于相机与雷达之间的位置约束根据蒙特卡洛算法随机生成外参矩阵,然后将标定板点云投影到相机图像上,根据投影图像中标定板的重合度以及边缘像素坐标的匹配误差来选择生成的最优矩阵,从而完成校准优化,避免了现有技术的在外参都不满足重合度要求的情况下出现对标定的准确性无法保证的情况,从而提高了标定的准确性,同时避免了现有技术利用机械臂来辅助标定限制了标定的环境导致对于标定的场景可能存在一定的限制,从而使得突破了对于标定的场景存在的限制,另外,本申请的相机设置在激光雷达上方,且相机与激光雷达的照射方向相同,激光雷达可以为固态激光雷达。
以上显示和描述了本申请的基本原理和主要特征和本申请的优点,对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种相机与激光雷达融合校准的优化方法,其特征在于,包括以下步骤:
S1、获取激光雷达的点云数据和相机的图像数据,并对相机采用张正友标定法标定获得内参矩阵;
S2、根据步骤S1中获取的激光雷达的点云数据得到标定板点云信息;
S3、基于相机与激光雷达之间的相对位置约束随机生成外参矩阵;
S4、根据外参矩阵和相机的内参矩阵将标定板点云信息投影到图像上,并根据投影图像中标定板的重合度以及匹配误差来选择生成的最优外参矩阵。
2.根据权利要求1所述的一种相机与激光雷达融合校准的优化方法,其特征在于,所述步骤S1中的对相机进行的标定为单目标定,并通过所述单目标定获取内参矩阵的步骤为:
步骤S11、设相机坐标系为
步骤S12、设相机坐标系下一点的坐标为
步骤S13、设像素坐标系为
步骤S14、在像素坐标下的投影点为/>
步骤S15、根据步骤S12和步骤S14中的参数,基于
,得到相机坐标系到像素坐标系的转换关系即内参矩阵,其中/>和/>分别为单个像素在图像平面的长和宽,/>为相机的焦距,/>,/>为像素坐标系的中心点,/>为内参矩阵。
3.根据权利要求2所述的一种相机与激光雷达融合校准的优化方法,其特征在于,所述步骤S2中根据激光雷达的点云数据得到标定板点云信息的具体步骤为:
步骤S21、将标定板固定在激光雷达前方某一区域,首先对激光雷达的点云数据进行滤波处理,即判断点云坐标/>中每个值是否在该区域内,若是就保留,滤波后得到点云信息为/>,n为标点板点云的个数,并代入线性模型对平面进行拟合如下式所示:
,其中,A,B,C,D分别表示平面方程的系数,x,y,z表示点云数据的坐标,拟合后得到标定板的点云信息/>,n为标点板点云的个数。
4.根据权利要求3所述的一种相机与激光雷达融合校准的优化方法,其特征在于,所述步骤S3中,利用蒙特卡洛算法随机生成外参矩阵。
5.根据权利要求4所述的一种相机与激光雷达融合校准的优化方法,其特征在于,所述蒙特卡洛算法随机生成外参矩阵的具体步骤为:
步骤S31、设激光雷达坐标系到相机坐标系的旋转矩阵为
步骤S32、设激光雷达坐标系到相机坐标系的平移矩阵为T;
步骤S33、为外参矩阵,其中R为3X3旋转矩阵,T为3X1的平移矩阵,对于旋转矩阵R,在/>内随机生成旋转矩阵R中的每个参数;
步骤S34、通过测量得到相机和激光雷达x,y,z方向上的最大距离,分别为,对于平移矩阵T,根据测量得到的相对位置分别在/>附近随机生成平移矩阵T中的每个参数,从而得到/>外参矩阵。
6.根据权利要求5所述的一种相机与激光雷达融合校准的优化方法,其特征在于,步骤S4中所述的选择生成的最优矩阵的具体步骤为:
S41、设雷达坐标系下一点的坐标为
S42、将步骤S3中的参数代入公式中并结合步骤S1中的相机内参矩阵和步骤S3中的外参矩阵可以得到雷达坐标系下一点/>转换到相机像素坐标系下一点的公式:/>,其中为外参矩阵,/>为内参矩阵数;
步骤S43、将步骤S2中得到的标定板点云信息转代入根据步骤S42中的转换公式,得到标定板的像素信息,其中/>分别为/>水平和竖直方向像素值,n为标定板点云的个数,其像素面积为/>,其中/>分别为/>中水平和竖直方向像素值的最大值,/>分别为/>中水平和竖直方向像素值最小值,然后对投影得到的标定板像素信息/>进行Canny算子边缘检测,从而得到投影出的标定板角点信息为/>,n为检测到的角点个数;
S44、通过Canny算子边缘检测获得相机图像中的标定板面积为
S45、通过Canny算子边缘检测获得相机图像中的标定板的边缘角点信息为,n为检测到的角点个数;
S46、计算重合面积,其中(x1,y1)和(x2,y2)为标定板的边缘角点信息/>中左上角点坐标和右下角点坐标,(a1,b1)和(a2,b2)为标定板角点信息/>中左上角点坐标和右下角点坐标;
S47、将步骤S43中的像素面积、步骤S44标定板面积/>和步骤S46重合面积/>代入公式/>计算出面积重合度/>
S48、通过公式计算标定板边缘的角点坐标的匹配误差/>,其中/>,/>表示标定板的边缘角点信息中图像中标定板的边缘角点坐标,/>,/>表示标定板角点信息/>中投影出的标定板边缘角点坐标,/>表示边缘角点坐标的数量;
S49、根据面积重合度的大小和标定板边缘角点坐标的匹配误差/>来评价校准的效果,根据步骤S33、S34随机生成的旋转矩阵和平移矩阵分别计算标定板的像素信息,从而获得面积重合度/>和标定板边缘的角点坐标的匹配误差/>,首先判断/>是否在/>内以及/>是否在/>以内,当满足以上条件后,再计算最优等级,其中/>分别为/>中的最大值和最小值,n为标定板边缘角点坐标的个数,选择F最大的值对应的外参矩阵来得到最优的外参矩阵。
CN202310906555.1A 2023-07-24 2023-07-24 一种相机与激光雷达融合校准的优化方法 Active CN116630444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310906555.1A CN116630444B (zh) 2023-07-24 2023-07-24 一种相机与激光雷达融合校准的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310906555.1A CN116630444B (zh) 2023-07-24 2023-07-24 一种相机与激光雷达融合校准的优化方法

Publications (2)

Publication Number Publication Date
CN116630444A true CN116630444A (zh) 2023-08-22
CN116630444B CN116630444B (zh) 2023-09-29

Family

ID=87636940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310906555.1A Active CN116630444B (zh) 2023-07-24 2023-07-24 一种相机与激光雷达融合校准的优化方法

Country Status (1)

Country Link
CN (1) CN116630444B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117406185A (zh) * 2023-12-14 2024-01-16 深圳市其域创新科技有限公司 雷达与相机间的外参标定方法、装置、设备及存储介质
CN117541662A (zh) * 2024-01-10 2024-02-09 中国科学院长春光学精密机械与物理研究所 一种同时标定相机内参和导出相机坐标系的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
WO2020233443A1 (zh) * 2019-05-21 2020-11-26 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置
CN113936198A (zh) * 2021-11-22 2022-01-14 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN115345944A (zh) * 2022-08-10 2022-11-15 腾讯科技(深圳)有限公司 外参标定参数确定方法、装置、计算机设备和存储介质
CN116071434A (zh) * 2023-01-13 2023-05-05 北京理工大学 基于bp神经网络的双目相机与激光雷达空间外参标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233443A1 (zh) * 2019-05-21 2020-11-26 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN113936198A (zh) * 2021-11-22 2022-01-14 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN115345944A (zh) * 2022-08-10 2022-11-15 腾讯科技(深圳)有限公司 外参标定参数确定方法、装置、计算机设备和存储介质
CN116071434A (zh) * 2023-01-13 2023-05-05 北京理工大学 基于bp神经网络的双目相机与激光雷达空间外参标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘今越;唐旭;贾晓辉;杨冬;李铁军;: "三维激光雷达-相机间外参的高效标定方法", 仪器仪表学报, no. 11 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117406185A (zh) * 2023-12-14 2024-01-16 深圳市其域创新科技有限公司 雷达与相机间的外参标定方法、装置、设备及存储介质
CN117406185B (zh) * 2023-12-14 2024-02-23 深圳市其域创新科技有限公司 雷达与相机间的外参标定方法、装置、设备及存储介质
CN117541662A (zh) * 2024-01-10 2024-02-09 中国科学院长春光学精密机械与物理研究所 一种同时标定相机内参和导出相机坐标系的方法
CN117541662B (zh) * 2024-01-10 2024-04-09 中国科学院长春光学精密机械与物理研究所 一种同时标定相机内参和导出相机坐标系的方法

Also Published As

Publication number Publication date
CN116630444B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN116630444B (zh) 一种相机与激光雷达融合校准的优化方法
EP3033875B1 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN111383279B (zh) 外参标定方法、装置及电子设备
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
JP5322789B2 (ja) モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
CN102376089B (zh) 一种标靶校正方法及系统
CN109855568B (zh) 自动驾驶传感器的检测方法、装置、电子设备及存储介质
US20130113897A1 (en) Process and arrangement for determining the position of a measuring point in geometrical space
CN110940312A (zh) 一种结合激光设备的单目相机测距方法及系统
CN109118537B (zh) 一种画面匹配方法、装置、设备和存储介质
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN111508027A (zh) 摄像机外参标定的方法和装置
WO2023035301A1 (en) A camera calibration method
CN112102387B (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
JP2009276233A (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN113610929B (zh) 一种相机与多线激光的联合标定方法
JP2005140547A (ja) 3次元計測方法、3次元計測装置、及びコンピュータプログラム
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
CN114814865A (zh) 用于车辆测距的方法和系统、车辆及程序产品
CN114724104A (zh) 一种视认距离检测的方法、装置、电子设备、系统及介质
CN114693807A (zh) 一种输电线路图像与点云的映射数据重构方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant