CN113034615A - 一种用于多源数据融合的设备标定方法及相关装置 - Google Patents

一种用于多源数据融合的设备标定方法及相关装置 Download PDF

Info

Publication number
CN113034615A
CN113034615A CN202110341504.XA CN202110341504A CN113034615A CN 113034615 A CN113034615 A CN 113034615A CN 202110341504 A CN202110341504 A CN 202110341504A CN 113034615 A CN113034615 A CN 113034615A
Authority
CN
China
Prior art keywords
calibration
laser
image
laser radar
panoramic camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110341504.XA
Other languages
English (en)
Other versions
CN113034615B (zh
Inventor
黄炎
苏启奖
王柯
钟力强
麦晓明
吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Power Technology Co Ltd
Original Assignee
China Southern Power Grid Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Power Technology Co Ltd filed Critical China Southern Power Grid Power Technology Co Ltd
Priority to CN202110341504.XA priority Critical patent/CN113034615B/zh
Publication of CN113034615A publication Critical patent/CN113034615A/zh
Application granted granted Critical
Publication of CN113034615B publication Critical patent/CN113034615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了一种用于多源数据融合的设备标定方法及相关装置，方法包括：分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面；根据距离约束方程对全景相机和激光雷达进行标定；根据全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子；计算第一标定图像和第二标定图像之间的图像偏移量；根据图像尺度因子和图像偏移量对全景相机和红外热成像仪进行标定；采用标定后的全景相机、激光雷达和红外热成像仪进行数据采集，得到融合点云图。本申请解决了现有多源数据融合处理装置中缺乏对红外图像的集成，且设备之间缺乏准确度较高的标定方法，导致融合数据的可视化效果较差的技术问题。

Description

一种用于多源数据融合的设备标定方法及相关装置
技术领域
本申请涉及设备标定技术领域，尤其涉及一种用于多源数据融合的设备标定方法及相关装置。
背景技术
现有的多源数据融合处理装置，能将多种传感器，如多线激光雷达、全景相机、惯导集成在平台上，采集空间地理信息数据，并在内业环境中对采集得到的数据进行进一步加工处理，生成着色后的点云数据及全景图。该系统能够快速采集特定环境的实景三维模型，系统构成如图4所示。常见的全景激光移动测量系统为背包式，由定位定姿测量分系统、采集控制分系统、供电分系统和背负分系统组成。如图5所示为外观图，背负式全景激光移动测量系统只有可见光和激光的融合功能，缺少对红外图像的集成，且设备之间缺乏准确度较高的标定，导致融合数据的可视化效果较差。
发明内容
本申请提供了一种用于多源数据融合的设备标定方法及相关装置，用于解决现有多源数据融合处理装置中缺乏对红外图像的集成，且设备之间缺乏准确度较高的标定方法，导致融合数据的可视化效果较差的技术问题。
有鉴于此，本申请第一方面提供了一种用于多源数据融合的设备标定方法，包括：
分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面；
以所述可见光平面和所述激光平面的距离差为零构建距离约束方程，并根据所述距离约束方程对所述全景相机和所述激光雷达进行标定；
根据所述全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子；
根据像素差原理计算所述第一标定图像和所述第二标定图像之间的图像偏移量；
根据图像尺度因子和所述图像偏移量对所述全景相机和所述红外热成像仪进行标定；
采用标定后的所述全景相机、所述激光雷达和所述红外热成像仪进行数据采集，得到融合点云图。
可选的，所述根据像素差原理计算所述第一标定图像和所述第二标定图像之间的图像偏移量，之后还包括：
采用预置配准误差公式对所述全景相机和所述红外热成像仪的双目配置进行图像配准操作，所述预置配准误差公式为：
Figure BDA0002999234450000021
其中，f为焦距，Ipix为像素大小，dx为基线长度，Doptimal为目标距离，Dtarget为实际距离，σx为配准误差值。
可选的，所述以所述可见光平面和所述激光平面的距离差为零构建距离约束方程，并根据所述距离约束方程对所述全景相机和所述激光雷达进行标定，之后还包括：
分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两个标定激光平面，所述激光雷达包括所述第一激光雷达和所述第二激光雷达；
以所述两个标定激光平面的距离差构建激光标定约束方程，并根据所述激光标定约束方程对所述第一激光雷达和所述第二激光雷达进行标定。
可选的，所述分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两个标定激光平面，包括：
通过单点交互的方式分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两套激光平面点；
分别根据所述两套激光平面点进行平面拟合，并进行随机一致性验证，得到两个标定激光平面。
本申请第二方面提供了一种用于多源数据融合的设备标定装置，包括：
第一获取模块，用于分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面；
第一标定模块，用于以所述可见光平面和所述激光平面的距离差为零构建距离约束方程，并根据所述距离约束方程对所述全景相机和所述激光雷达进行标定；
第二获取模块，用于根据所述全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子；
计算模块，用于根据像素差原理计算所述第一标定图像和所述第二标定图像之间的图像偏移量；
第二标定模块，用于根据图像尺度因子和所述图像偏移量对所述全景相机和所述红外热成像仪进行标定；
采集模块，用于采用标定后的所述全景相机、所述激光雷达和所述红外热成像仪进行数据采集，得到融合点云图。
可选的，还包括：
配准模块，用于采用预置配准误差公式对所述全景相机和所述红外热成像仪的双目配置进行图像配准操作，所述预置配准误差公式为：
Figure BDA0002999234450000031
其中，f为焦距，Ipix为像素大小，dx为基线长度，Doptimal为目标距离，Dtarget为实际距离，σx为配准误差值。
可选的，还包括：
第三获取模块，用于分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两个标定激光平面，所述激光雷达包括所述第一激光雷达和所述第二激光雷达；
第三标定模块，用于以所述两个标定激光平面的距离差构建激光标定约束方程，并根据所述激光标定约束方程对所述第一激光雷达和所述第二激光雷达进行标定。
可选的，所述第三获取模块具体包括：
获取子模块，用于通过单点交互的方式分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两套激光平面点；
拟合验证模块，用于分别根据所述两套激光平面点进行平面拟合，并进行随机一致性验证，得到两个标定激光平面。
本申请第三方面提供了一种用于多源数据融合的设备标定设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所述的用于多源数据融合的设备标定方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的用于多源数据融合的设备标定方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了一种用于多源数据融合的设备标定方法，包括：分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面；以可见光平面和激光平面的距离差为零构建距离约束方程，并根据距离约束方程对全景相机和激光雷达进行标定；根据全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子；根据像素差原理计算第一标定图像和第二标定图像之间的图像偏移量；根据图像尺度因子和图像偏移量对全景相机和红外热成像仪进行标定；采用标定后的全景相机、激光雷达和红外热成像仪进行数据采集，得到融合点云图。
本申请提供的用于多源数据融合的设备标定方法，将全景相机与激光雷达以约束方程进行标定，能够得到更加可靠地对设备进行标定，通过标定后的设备进行图像采集，能够得到高精度的全景激光点云图；再将全景相机与红外热成像仪进行标定，同时就能够获取到全景激光点云图中的红外目标图像；而标定都是根据计算结果进行操作，使得标定更加可靠，继而使得获取的融合点云图中叠加的图层更加精准。因此，本申请能够解决现有多源数据融合处理装置中缺乏对红外图像的集成，且设备之间缺乏准确度较高的标定方法，导致融合数据的可视化效果较差的技术问题。
附图说明
图1为本申请实施例提供的一种用于多源数据融合的设备标定方法的一个流程示意图；
图2为本申请实施例提供的一种用于多源数据融合的设备标定方法的另一个流程示意图；
图3为本申请实施例提供的一种用于多源数据融合的设备标定装置的结构示意图；
图4为本申请背景技术提供的现有多源数据融合处理装置系统结构示意图；
图5为本申请背景技术提供的背包式全景激光移动测量装置外观图；
图6为本申请实施例提供的全景相机单镜头可见光图像示例图；
图7为本申请实施例提供的图像尺度因子计算过程的圆心距离示意图；
图8为本申请实施例提供的多源数据融合采集处理系统结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种用于多源数据融合的设备标定方法的实施例一，包括：
步骤101、分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面。
需要说明的是，多线激光与单线激光最大的不同是前者的激光数据是立体三维的，后者是平面二维的，全景相机与单线激光雷达的标定是找到棋盘格标定板在全景相机中的平面和单线激光坐标系中的直线，然后根据二者约束求外参。本实施例中是要找到棋盘格标定板在全景坐标系中的平面和在激光雷达中的平面，全景相机中的平面称为可见光平面，激光雷达中的平面称为激光平面。
步骤102、以可见光平面和激光平面的距离差为零构建距离约束方程，并根据距离约束方程对全景相机和激光雷达进行标定。
可见光平面与激光平面的距离差为零即表明第一预置棋盘格标定板在两个设备中的精确度一致，获取同一个目标图像的位置是完全重合的。根据这一原理构建坐标系上的距离约束方程，根据距离约束方程就可以对全景相机和激光雷达进行标定，能够保证层级图像重合度。
步骤103、根据全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子。
由于红外热成像仪和全景相机的焦距不一样，导致空间物体在两种图像上成像大小不一样，同时红外热成像仪与全景相机的硬件系统光心在Y方向上存在偏差，即使根据焦距大小对图像进行缩放也并不能使得同一物体在不同图像上的成像大小相同。所以需要通过另外的方法获取图像尺度因子，具体图像尺度因子确定方法可以根据实际情况选取，在此不作限定。
步骤104、根据像素差原理计算第一标定图像和第二标定图像之间的图像偏移量。
图像偏移量可以采用坐标(x,y)表示，原理同样是采用标定板中圆的坐标为止在不同设备中的像素坐标进行计算，得到像素差，作为图像偏移量。
步骤105、根据图像尺度因子和图像偏移量对全景相机和红外热成像仪进行标定。
图像尺度因子可以将不同的两个设备的图像按照同等比例缩放，使得图像在同一标准条件下，而图像偏移量则可以将不同两个设备的图像进行对齐，从而将全景相机的可见光图像和红外成像仪的红外图像进行准确的重叠，以此实现设备的标定。
步骤106、采用标定后的全景相机、激光雷达和红外热成像仪进行数据采集，得到融合点云图。
全景相机分别与激光雷达和红外热成像仪完成了标定，获取的图像能够达到较精准的重叠，因此，最终得到的融合点云图实质是全景激光点云图，其中包括可见光全景图、激光雷达点云图和红外图像，三种图像重叠展示同一目标区域，信息量更加完整，数据可视化程度更高。
本实施例提供的用于多源数据融合的设备标定方法，将全景相机与激光雷达以约束方程进行标定，能够得到更加可靠地对设备进行标定，通过标定后的设备进行图像采集，能够得到高精度的全景激光点云图；再将全景相机与红外热成像仪进行标定，同时就能够获取到全景激光点云图中的红外目标图像；而标定都是根据计算结果进行操作，使得标定更加可靠，继而使得获取的融合点云图中叠加的图层更加精准。因此，本实施例能够解决现有多源数据融合处理装置中缺乏对红外图像的集成，且设备之间缺乏准确度较高的标定方法，导致融合数据的可视化效果较差的技术问题。
以上为本申请提供的一种用于多源数据融合的设备标定方法的一个实施例，以下为本身请提供的一种用于多源数据融合的设备标定方法的另一个实施例。
为了便于理解，请参阅图2，本申请提供了一种用于多源数据融合的设备标定方法的实施例二，包括：
步骤201、分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面。
步骤202、以可见光平面和激光平面的距离差为零构建距离约束方程，并根据距离约束方程对全景相机和激光雷达进行标定。
由可见光平面和激光平面进行设备标定可以确定两个设备的外参，外参主要包括六个自由度，可以设为(α,β,r,x,y,z)，(α,β,r)是沿x轴、y轴和z轴旋转的欧拉角，(x,y,z)是x轴、y轴和z轴三个方向上的平移量，具体得到的约束方程为：
(α,β,r,x,y,z)*＝argmin∑∑((R(α,β,r)·pi+T(x,y,z)-qi,j)·(R(α,β,r)·ni))2；
其中，pi是第i个预置棋盘格标定板在全景相机坐标系下的平面位置，ni是第i个预置棋盘格标定板在全景相机坐标系下的平面法向量位置，qi,j是第i个预置棋盘格标定板在激光雷达坐标系下的第j个点的位置。采用不同的坐标数据进行迭代优化，最终可以得到最优的外参值。
标定中选取的单帧标定数据，请参阅图6，为全景相机中的棋盘格图像，通过角点检测算法和棋盘格物理长度换算等方法可以提取到棋盘格在镜头坐标系中的具体位置。同样激光雷达也可以根据其3D点云坐标获取到棋盘格在其对应坐标系中的位置。
步骤203、通过单点交互的方式分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两套激光平面点。
步骤204、分别根据两套激光平面点进行平面拟合，并进行随机一致性验证，得到两个标定激光平面。
步骤205、以两个标定激光平面的距离差构建激光标定约束方程，并根据激光标定约束方程对第一激光雷达和第二激光雷达进行标定。
此处是对不同的激光设备进行两两标定，同样是为了确定多个激光雷达之间的标定外参。首先需要获取两个或者多个激光雷达同一时刻的点云数据，然后通过单点交互的方式标记出标定板在每个激光点云图中的位置，接着获取不同激光雷达的激光平面点，根据这些激光平面点可以拟合出两个不同的平面，最后需要对两个得到的平面进行随机一致性验证，通过验证才能得到标定激光平面。
激光雷达之间标定是为了对激光雷达继续拿给你配准，从而使得激光雷达获取的点云数据更加准确可靠。
步骤206、根据全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子。
本实施例中获取图像尺度因子的原理是计算标定板两两圆心在红外热成像仪的红外图像和全景相机的可见光图像间的像素差，得到图像的缩放比例，从而将空间物体在两种图像上的尺寸统一。具体可以通过公式表达为：
Figure BDA0002999234450000081
其中，ThermalPoint和VisiblePoint为圆心n红外和可见光图像上的x或者y像素坐标值，具体的请参阅图7；scalefator即为最后求得的图像尺度因子。
步骤207、根据像素差原理计算第一标定图像和第二标定图像之间的图像偏移量。
计算图像偏移量的方法是根据标定板中圆形的坐标位置在红外和可见光图像的像素坐标位置，计算对应点的像素差。具体可以通过公式表达为：
Figure BDA0002999234450000082
其中，X和Y分别为同一个圆心n分别在红外和可见光图像中的像素坐标值。
步骤208、采用预置配准误差公式对全景相机和红外热成像仪的双目配置进行图像配准操作，预置配准误差公式为：
Figure BDA0002999234450000091
其中，f为焦距，Ipix为像素大小，dx为基线长度，Doptimal为目标距离，Dtarget为实际距离，σx为配准误差值。
对于上述不同指标的获取好计算，还可以通过最终图像的对齐精度进行校验分析，如果给出一组硬件平台的参数如下表1：
表1 硬件平台参数列表
Figure BDA0002999234450000092
根据上述预置配准误差公式可以进行计算，即当Doptimal＝50，对距离设备25m处的物体在图像上的对齐误差为：
Figure BDA0002999234450000093
即如果应用场景的可接受对齐误差为±1piexl，对于设备的有效目标距离即为25m至无限远，可以发现除了目标距离之外，配准误差还与双目的基线dx、像素大小Ipix和焦距f有关。同时还表明，对于相同的目标距离，将相机配置为大的视场角(短焦距)，对齐误差将会变小。
步骤209、根据图像尺度因子和图像偏移量对全景相机和红外热成像仪进行标定。
步骤210、采用标定后的全景相机、激光雷达和红外热成像仪进行数据采集，得到融合点云图。
后续的标定和数据采集过程与步骤105和步骤106相同，在此不再赘述。
为了便于理解，本申请还提供了多源数据融合采集处理系统，具体实物图如图8所示，主要包括全景相机、激光雷达和红外热成像仪，将采集的融合数据集成在一个巡检机器上，可以调整激光雷达的位置，通过该器件执行上述用于多源数据融合的设备标定方法，应用效果较佳，更够在一定程度上缓解背包式全景激光装置带来的沉重感，以及对人力成本的需求。
以上为本申请提供的一种用于多源数据融合的设备标定方法的一个实施例，以下为本身请提供的一种用于多源数据融合的设备标定装置的一个实施例。
为了便于理解，请参阅图3，本申请还提供了一种用于多源数据融合的设备标定装置的实施例，包括：
第一获取模块301，用于分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面；
第一标定模块302，用于以可见光平面和激光平面的距离差为零构建距离约束方程，并根据距离约束方程对全景相机和激光雷达进行标定；
第二获取模块303，用于根据全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子；
计算模块304，用于根据像素差原理计算第一标定图像和第二标定图像之间的图像偏移量；
第二标定模块305，用于根据图像尺度因子和图像偏移量对全景相机和红外热成像仪进行标定；
采集模块306，用于采用标定后的全景相机、激光雷达和红外热成像仪进行数据采集，得到融合点云图。
进一步地，还包括：
配准模块307，用于采用预置配准误差公式对全景相机和红外热成像仪的双目配置进行图像配准操作，预置配准误差公式为：
Figure BDA0002999234450000101
其中，f为焦距，Ipix为像素大小，dx为基线长度，Doptimal为目标距离，Dtarget为实际距离，σx为配准误差值。
进一步地，还包括：第三获取模块308，用于分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两个标定激光平面，激光雷达包括第一激光雷达和第二激光雷达；
第三标定模块309，用于以两个标定激光平面的距离差构建激光标定约束方程，并根据激光标定约束方程对第一激光雷达和第二激光雷达进行标定。
进一步地，第三获取模块308具体包括：
获取子模块3081，用于通过单点交互的方式分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两套激光平面点；
拟合验证模块3082，用于分别根据两套激光平面点进行平面拟合，并进行随机一致性验证，得到两个标定激光平面。
以上为本申请提供的一种用于多源数据融合的设备标定装置的一个实施例，以下为本身请提供的一种用于多源数据融合的设备标定设备的一个实施例。
本申请还提供了一种用于多源数据融合的设备标定设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行上述方法实施例中的用于多源数据融合的设备标定方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例中的用于多源数据融合的设备标定方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种用于多源数据融合的设备标定方法，其特征在于，包括：
分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面；
以所述可见光平面和所述激光平面的距离差为零构建距离约束方程，并根据所述距离约束方程对所述全景相机和所述激光雷达进行标定；
根据所述全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子；
根据像素差原理计算所述第一标定图像和所述第二标定图像之间的图像偏移量；
根据图像尺度因子和所述图像偏移量对所述全景相机和所述红外热成像仪进行标定；
采用标定后的所述全景相机、所述激光雷达和所述红外热成像仪进行数据采集，得到融合点云图。
2.根据权利要求1所述的用于多源数据融合的设备标定方法，其特征在于，所述根据像素差原理计算所述第一标定图像和所述第二标定图像之间的图像偏移量，之后还包括：
采用预置配准误差公式对所述全景相机和所述红外热成像仪的双目配置进行图像配准操作，所述预置配准误差公式为：
Figure FDA0002999234440000011
其中，f为焦距，Ipix为像素大小，dx为基线长度，Doptimal为目标距离，Dtarget为实际距离，σx为配准误差值。
3.根据权利要求1所述的用于多源数据融合的设备标定方法，其特征在于，所述以所述可见光平面和所述激光平面的距离差为零构建距离约束方程，并根据所述距离约束方程对所述全景相机和所述激光雷达进行标定，之后还包括：
分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两个标定激光平面，所述激光雷达包括所述第一激光雷达和所述第二激光雷达；
以所述两个标定激光平面的距离差构建激光标定约束方程，并根据所述激光标定约束方程对所述第一激光雷达和所述第二激光雷达进行标定。
4.根据权利要求3所述的用于多源数据融合的设备标定方法，其特征在于，所述分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两个标定激光平面，包括：
通过单点交互的方式分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两套激光平面点；
分别根据所述两套激光平面点进行平面拟合，并进行随机一致性验证，得到两个标定激光平面。
5.一种用于多源数据融合的设备标定装置，其特征在于，包括：
第一获取模块，用于分别获取第一预置棋盘格标定板在全景相机和激光雷达中的可见光平面和激光平面；
第一标定模块，用于以所述可见光平面和所述激光平面的距离差为零构建距离约束方程，并根据所述距离约束方程对所述全景相机和所述激光雷达进行标定；
第二获取模块，用于根据所述全景相机第一标定图像和红外热成像仪第二标定图像获取缩放的图像尺度因子；
计算模块，用于根据像素差原理计算所述第一标定图像和所述第二标定图像之间的图像偏移量；
第二标定模块，用于根据图像尺度因子和所述图像偏移量对所述全景相机和所述红外热成像仪进行标定；
采集模块，用于采用标定后的所述全景相机、所述激光雷达和所述红外热成像仪进行数据采集，得到融合点云图。
6.根据权利要求5所述的用于多源数据融合的设备标定装置，其特征在于，还包括：
配准模块，用于采用预置配准误差公式对所述全景相机和所述红外热成像仪的双目配置进行图像配准操作，所述预置配准误差公式为：
Figure FDA0002999234440000021
其中，f为焦距，Ipix为像素大小，dx为基线长度，Doptimal为目标距离，Dtarget为实际距离，σx为配准误差值。
7.根据权利要求5所述的用于多源数据融合的设备标定装置，其特征在于，还包括：
第三获取模块，用于分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两个标定激光平面，所述激光雷达包括所述第一激光雷达和所述第二激光雷达；
第三标定模块，用于以所述两个标定激光平面的距离差构建激光标定约束方程，并根据所述激光标定约束方程对所述第一激光雷达和所述第二激光雷达进行标定。
8.根据权利要求7所述的用于多源数据融合的设备标定装置，其特征在于，所述第三获取模块具体包括：
获取子模块，用于通过单点交互的方式分别获取第二预置棋盘格标定板在第一激光雷达和第二激光雷达中的两套激光平面点；
拟合验证模块，用于分别根据所述两套激光平面点进行平面拟合，并进行随机一致性验证，得到两个标定激光平面。
9.一种用于多源数据融合的设备标定设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的用于多源数据融合的设备标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的用于多源数据融合的设备标定方法。
CN202110341504.XA 2021-03-30 2021-03-30 一种用于多源数据融合的设备标定方法及相关装置 Active CN113034615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341504.XA CN113034615B (zh) 2021-03-30 2021-03-30 一种用于多源数据融合的设备标定方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341504.XA CN113034615B (zh) 2021-03-30 2021-03-30 一种用于多源数据融合的设备标定方法及相关装置

Publications (2)

Publication Number Publication Date
CN113034615A true CN113034615A (zh) 2021-06-25
CN113034615B CN113034615B (zh) 2023-05-23

Family

ID=76453253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341504.XA Active CN113034615B (zh) 2021-03-30 2021-03-30 一种用于多源数据融合的设备标定方法及相关装置

Country Status (1)

Country Link
CN (1) CN113034615B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744349A (zh) * 2021-08-31 2021-12-03 湖南航天远望科技有限公司 一种红外光谱图像测量对准方法、装置及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567818A (zh) * 2014-12-31 2015-04-29 浙江工业大学 一种便携式全天候主动全景视觉传感器
US20170287166A1 (en) * 2016-03-29 2017-10-05 Institut National D'optique Camera calibration method using a calibration target
CN108662987A (zh) * 2018-04-23 2018-10-16 西南交通大学 2d摄像式激光测量头的标定方法
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN109583383A (zh) * 2018-11-30 2019-04-05 湖南华诺星空电子技术有限公司 一种基于多源传感器的无人机生命探测方法及系统
CN110232655A (zh) * 2019-06-13 2019-09-13 浙江工业大学 一种用于煤场的红外-可见光双光图像拼接与融合方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN111145269A (zh) * 2019-12-27 2020-05-12 武汉大学 一种鱼眼相机与单线激光雷达的外方位元素的标定方法
CN111627072A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN112215905A (zh) * 2020-10-22 2021-01-12 北京易达恩能科技有限公司 移动式红外测温系统的自动标定方法
CN112308927A (zh) * 2020-10-26 2021-02-02 南昌智能新能源汽车研究院 一种全景相机与激光雷达的融合装置及其标定方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567818A (zh) * 2014-12-31 2015-04-29 浙江工业大学 一种便携式全天候主动全景视觉传感器
US20170287166A1 (en) * 2016-03-29 2017-10-05 Institut National D'optique Camera calibration method using a calibration target
CN108662987A (zh) * 2018-04-23 2018-10-16 西南交通大学 2d摄像式激光测量头的标定方法
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN109583383A (zh) * 2018-11-30 2019-04-05 湖南华诺星空电子技术有限公司 一种基于多源传感器的无人机生命探测方法及系统
CN110232655A (zh) * 2019-06-13 2019-09-13 浙江工业大学 一种用于煤场的红外-可见光双光图像拼接与融合方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN111145269A (zh) * 2019-12-27 2020-05-12 武汉大学 一种鱼眼相机与单线激光雷达的外方位元素的标定方法
CN111627072A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN112215905A (zh) * 2020-10-22 2021-01-12 北京易达恩能科技有限公司 移动式红外测温系统的自动标定方法
CN112308927A (zh) * 2020-10-26 2021-02-02 南昌智能新能源汽车研究院 一种全景相机与激光雷达的融合装置及其标定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744349A (zh) * 2021-08-31 2021-12-03 湖南航天远望科技有限公司 一种红外光谱图像测量对准方法、装置及介质

Also Published As

Publication number Publication date
CN113034615B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
CN110021046B (zh) 相机与激光雷达组合传感器的外参数标定方法及系统
CN107223269B (zh) 三维场景定位方法和装置
Zhang et al. A robust and rapid camera calibration method by one captured image
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
CN108288292A (zh) 一种三维重建方法、装置及设备
CN105654547B (zh) 三维重建方法
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN100417231C (zh) 立体视觉半实物仿真系统及方法
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN109141226A (zh) 单相机多角度的空间点坐标测量方法
CN109559349A (zh) 一种用于标定的方法和装置
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN102072706A (zh) 一种多相机定位与跟踪方法及系统
Feng et al. Inertial measurement unit aided extrinsic parameters calibration for stereo vision systems
Niu et al. Calibration method for the relative orientation between the rotation axis and a camera using constrained global optimization
Jiang et al. An accurate and flexible technique for camera calibration
CN114926538A (zh) 单目激光散斑投影系统的外参数标定方法和装置
Sahin Comparison and calibration of mobile phone fisheye lens and regular fisheye lens via equidistant model
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN113034615B (zh) 一种用于多源数据融合的设备标定方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant