CN115856797A - 一种传感器标定方法及装置 - Google Patents

一种传感器标定方法及装置 Download PDF

Info

Publication number
CN115856797A
CN115856797A CN202211466739.2A CN202211466739A CN115856797A CN 115856797 A CN115856797 A CN 115856797A CN 202211466739 A CN202211466739 A CN 202211466739A CN 115856797 A CN115856797 A CN 115856797A
Authority
CN
China
Prior art keywords
coordinate system
camera
coordinate
calibration block
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211466739.2A
Other languages
English (en)
Inventor
江建文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202211466739.2A priority Critical patent/CN115856797A/zh
Publication of CN115856797A publication Critical patent/CN115856797A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本申请实施例提供了一种传感器标定方法及装置，涉及计算机技术领域，包括：获得相机采集的包含各标定块的第一图像和雷达采集的包含各标定块的第二图像；基于第一图像计算各标定块在相机的坐标系中的第一位姿信息；基于第二图像计算各标定块在雷达的坐标系中的第二位姿信息；基于各标定块在相机的坐标系中的第一位姿信息、各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系；基于各标定块在雷达的坐标系中的第二位姿信息和在电子设备的坐标系中的参考位姿信息，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系，可以提高传感器标定的效率。

Description

一种传感器标定方法及装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种传感器标定方法及装置。
背景技术
扫地机器人在对目标场景进行打扫时，通过扫地机器人中的多个传感器采集目标场景的地图数据，为了采集到准确的地图数据，需要对扫地机器人中的多个传感器进行标定，也就是确定多个传感器的坐标系之间的转换关系。例如，扫地机器人中的传感器包括：相机和雷达，则需要确定相机坐标系与雷达坐标系之间的转换关系。
相关技术中，在对多个传感器进行标定时，技术人员将棋盘格标定板放置于第一位置，分别通过多个传感器获取棋盘格标定板放置于第一位置时的位姿信息。然后，技术人员将棋盘格标定板移动至第二位置，分别通过多个传感器获取棋盘格标定板放置于第二位置时的位姿信息，以此类推，由技术人员多次移动棋盘格标定板，使得多个传感器获取到棋盘格标定板的多组位姿信息，进而，根据通过多个传感器获取的棋盘格标定板的多组位姿信息，确定多个传感器的坐标系之间的坐标转换关系。
然而，上述过程中，需要多次移动棋盘格标定板的位置，以获取棋盘格标定板在不同位置时的位姿信息，需要较大的时间成本和人工成本，降低对传感器进行标定的效率。
发明内容
本申请实施例的目的在于提供一种传感器标定方法及装置，以提高对传感器进行标定的效率。具体技术方案如下：
第一方面，为了达到上述目的，本申请实施例提供了一种传感器标定方法，所述方法应用于电子设备，所述电子设备包括多个传感器，所述多个传感器包括相机和雷达，所述方法包括：
获得所述相机采集的包含多个标定块的第一图像和所述雷达采集的包含所述多个标定块的第二图像，其中，各标定块固定放置于所述相机和所述雷达的公共视野范围内；
基于所述第一图像，计算所述各标定块在所述相机的坐标系中的第一位姿信息；以及基于所述第二图像，计算所述各标定块在所述雷达的坐标系中的第二位姿信息；
基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，各参考位姿信息是预先基于所述各标定块的固定位置测量得到的；
基于所述各标定块在所述雷达的坐标系中的第二位姿信息和在所述电子设备的坐标系中的参考位姿信息，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系。
可选的，所述基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系，包括：
基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系。
可选的，所述相机为双目相机，所述相机包括左目相机和右目相机，所述基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，包括：
基于所述各标定块在指定相机的坐标系中的第一位姿信息、在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述指定相机为所述左目相机和所述右目相机中的任一个相机；
所述基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系，包括：
基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系。
可选的，在所述基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系之后，所述方法还包括：
根据所述各标定块在所述左目相机的坐标系中的位姿信息，以及在所述右目相机的坐标系中的位姿信息，计算所述左目相机的坐标系与所述右目相机的坐标系之间的第四坐标转换关系。
可选的，所述基于所述各标定块在指定相机的坐标系中的第一位姿信息、在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，包括：
基于所述各标定块的中心点在所述指定相机的坐标系中的三维坐标、在所述电子设备的坐标系中的三维坐标、在世界坐标系中的三维坐标和第一预设公式，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述第一预设公式为：
Figure BDA0003956523300000031
Pri1表示第i个标定块的中心点在所述电子设备的坐标系中的三维坐标；r表示所述电子设备的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Pci表示第i个标定块的中心点在所述指定相机的坐标系中的三维坐标；c表示所述指定相机的坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure BDA0003956523300000032
表示Trw的逆矩阵。/>
可选的，所述基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系，包括：
基于所述各标定块的中心点在所述世界坐标系中的三维坐标、所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系和第二预设公式，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，所述第二预设公式为：
Figure BDA0003956523300000033
Trc表示所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；r表示所述电子设备的坐标系；c表示所述指定相机的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure BDA0003956523300000034
表示Trw的逆矩阵。
可选的，所述基于所述各标定块在所述雷达的坐标系中的第二位姿信息和所述各标定块在所述电子设备的坐标系中的参考位姿信息，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系，包括：
基于所述各标定块的中心点在所述雷达的坐标系中的二维坐标、在所述电子设备的坐标系中的二维坐标和第三预设公式，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系；其中，所述雷达的坐标系与所述电子设备的坐标系之间的转换关系为：所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵和平移矩阵；所述第三预设公式为：
Figure BDA0003956523300000041
Pri2表示第i个标定块的中心点在所述电子设备的坐标系中的二维坐标；r表示所述电子设备的坐标系；
Figure BDA0003956523300000042
表示Pri2的转置矩阵；θ表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转角；/>
Figure BDA0003956523300000043
表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵；Pli表示第i个标定块的中心点在所述雷达的坐标系中的二维坐标；l表示所述雷达的坐标系；trl表示所述雷达的坐标系与所述电子设备的坐标系之间的平移矩阵。
可选的，所述获得所述相机采集的包含多个标定块的第一图像和所述雷达采集的包含所述多个标定块的第二图像，包括：
从所述相机采集的包含多个标定块的图像中，选取一帧图像，得到第一图像；
从所述雷达采集的包含多个标定块的图像中，获取时间戳与所述第一图像的时间戳的差值小于预设阈值的图像，得到第二图像。
可选的，所述电子设备为移动机器人；所述移动机器人固定放置于垫高块上，以使所述移动机器人与所述各标定块位于同一高度；所述电子设备的坐标系的原点为：所述移动机器人的底盘的中心点；所述电子设备的坐标系的第一坐标轴和第二坐标轴位于水平面内，且第一坐标轴与第二坐标轴垂直；所述电子设备的坐标系的第三坐标轴为竖直方向；
所述世界坐标系的原点与所述电子设备的坐标系的原点在竖直方向的距离为：基于所述移动机器人的底盘的高度和所述垫高块的高度确定的；所述世界坐标系中的三个坐标轴分别与所述电子设备的坐标系中对应的坐标轴的方向一致。
第二方面，为了达到上述目的，本申请实施例提供了一种传感器标定装置，所述装置应用于电子设备，所述电子设备包括多个传感器，所述多个传感器包括相机和雷达，所述装置包括：
图像获取模块，用于获得所述相机采集的包含多个标定块的第一图像和所述雷达采集的包含所述多个标定块的第二图像，其中，各标定块固定放置于所述相机和所述雷达的公共视野范围内；
位姿信息获取模块，用于基于所述第一图像，计算所述各标定块在所述相机的坐标系中的第一位姿信息；以及基于所述第二图像，计算所述各标定块在所述雷达的坐标系中的第二位姿信息；
第一坐标转换关系确定模块，用于基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，各参考位姿信息是预先基于所述各标定块的固定位置测量得到的；
第二坐标转换关系确定模块，用于基于所述各标定块在所述雷达的坐标系中的第二位姿信息和在所述电子设备的坐标系中的参考位姿信息，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系。
可选的，所述第一坐标转换关系确定模块，具体用于基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系。
可选的，所述相机为双目相机，所述相机包括左目相机和右目相机，所述第一坐标转换关系确定模块，具体用于基于所述各标定块在指定相机的坐标系中的第一位姿信息、在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述指定相机为所述左目相机和所述右目相机中的任一个相机；
所述第一坐标转换关系确定模块，具体用于基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系。
可选的，所述装置还包括：
第四坐标转换关系确定模块，用于在所述第一坐标转换关系确定模块执行基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系之后，执行根据所述各标定块在所述左目相机的坐标系中的位姿信息，以及在所述右目相机的坐标系中的位姿信息，计算所述左目相机的坐标系与所述右目相机的坐标系之间的第四坐标转换关系。
可选的，所述第一坐标转换关系确定模块，具体用于基于所述各标定块的中心点在所述指定相机的坐标系中的三维坐标、在所述电子设备的坐标系中的三维坐标、在世界坐标系中的三维坐标和第一预设公式，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述第一预设公式为：
Figure BDA0003956523300000061
Pri1表示第i个标定块的中心点在所述电子设备的坐标系中的三维坐标；r表示所述电子设备的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Pci表示第i个标定块的中心点在所述指定相机的坐标系中的三维坐标；c表示所述指定相机的坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure BDA0003956523300000062
表示Trw的逆矩阵。
可选的，所述第一坐标转换关系确定模块，具体用于基于所述各标定块的中心点在所述世界坐标系中的三维坐标、所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系和第二预设公式，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，所述第二预设公式为：
Figure BDA0003956523300000063
Trc表示所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；r表示所述电子设备的坐标系；c表示所述指定相机的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure BDA0003956523300000064
表示Trw的逆矩阵。
可选的，所述第二坐标转换关系确定模块，具体用于基于所述各标定块的中心点在所述雷达的坐标系中的二维坐标、在所述电子设备的坐标系中的二维坐标和第三预设公式，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系；其中，所述雷达的坐标系与所述电子设备的坐标系之间的转换关系为：所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵和平移矩阵；所述第三预设公式为：
Figure BDA0003956523300000065
Pri2表示第i个标定块的中心点在所述电子设备的坐标系中的二维坐标；r表示所述电子设备的坐标系；
Figure BDA0003956523300000071
表示Pri2的转置矩阵；θ表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转角；/>
Figure BDA0003956523300000072
表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵；Pli表示第i个标定块的中心点在所述雷达的坐标系中的二维坐标；l表示所述雷达的坐标系；trl表示所述雷达的坐标系与所述电子设备的坐标系之间的平移矩阵。
可选的，所述图像获取模块，具体用于从所述相机采集的包含多个标定块的图像中，选取一帧图像，得到第一图像；
从所述雷达采集的包含多个标定块的图像中，获取时间戳与所述第一图像的时间戳的差值小于预设阈值的图像，得到第二图像。
可选的，所述电子设备为移动机器人；所述移动机器人固定放置于垫高块上，以使所述移动机器人与所述各标定块位于同一高度；所述电子设备的坐标系的原点为：所述移动机器人的底盘的中心点；所述电子设备的坐标系的第一坐标轴和第二坐标轴位于水平面内，且第一坐标轴与第二坐标轴垂直；所述电子设备的坐标系的第三坐标轴为竖直方向；
所述世界坐标系的原点与所述电子设备的坐标系的原点在竖直方向的距离为：基于所述移动机器人的底盘的高度和所述垫高块的高度确定的；所述世界坐标系中的三个坐标轴分别与所述电子设备的坐标系中对应的坐标轴的方向一致。
本申请实施例还提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的传感器标定方法。
本申请实施例还提供了一种移动机器人系统，包括图像采集模块和处理器；所述图像采集模块包括多个传感器，所述多个传感器包括相机和雷达；
所述图像采集模块，用于采集包含多个标定块的第一图像和第二图像；
所述处理器，用于执行上述任一所述的传感器标定方法步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的传感器标定方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的传感器标定方法。
本申请实施例有益效果：
本申请实施例提供的一种传感器标定方法，获得相机采集的包含多个标定块的第一图像和雷达采集的包含多个标定块的第二图像，其中，各标定块固定放置于相机和雷达的公共视野范围内；基于第一图像，计算各标定块在相机的坐标系中的第一位姿信息；以及基于第二图像，计算各标定块在雷达的坐标系中的第二位姿信息；基于各标定块在相机的坐标系中的第一位姿信息，以及各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系；各参考位姿信息是预先基于各标定块的固定位置测量得到的；基于各标定块在雷达的坐标系中的第二位姿信息和在电子设备的坐标系中的参考位姿信息，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系。
基于上述处理，在相机和雷达的公共视野范围内固定放置多个标定块，电子设备可以获取到各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息。进而，电子设备可以基于各标定块在相机的坐标系中的第一位姿信息、在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系，并基于各标定块在雷达的坐标系中的第二位姿信息和在电子设备的坐标系中的参考位姿信息，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系，无需多次移动棋盘格标定板的位置以获取棋盘格标定板在不同位置时的位姿信息，可以降低时间成本和人工成本，提高对传感器进行标定的效率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的传感器标定方法的第一种流程图；
图2为本申请实施例提供中进行传感器标定的第一种原理示意图；
图3为本申请实施例提供的传感器标定方法的第二种流程图；
图4为本申请实施例提供中进行传感器标定的第二种原理示意图；
图5为本申请实施例中扫地机器人的底盘侧面的示意图；
图6为本申请实施例提供的传感器标定方法的第三种流程图；
图7为本申请实施例提供的传感器标定方法的第四种流程图；
图8为本申请实施例中雷达获取包含各标定块的图像的原理示意图；
图9为本申请实施例提供的传感器标定方法的第五种流程图；
图10为本申请实施例提供的传感器标定装置的一种结构图；
图11为本申请实施例提供的电子设备的一种结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，在对多个传感器进行标定时，需要由技术人员多次移动棋盘格标定板的位置，以使得传感器获取到棋盘格标定板在不同位置时的位姿信息。进而，根据通过多个传感器获取的棋盘格标定板的多组位姿信息，确定多个传感器的坐标系之间的坐标转换关系。然而，上述过程中，需要较大的时间成本和人工成本，降低对传感器进行标定的效率。
为了解决上述问题，本申请实施例提供了一种传感器标定方法，该方法应用于电子设备，电子设备可以车辆，电子设备也可以为移动机器人，例如，扫地机器人，电子设备包含多个传感器，多个传感器包括相机和雷达。相机和雷达的公共视野范围内放置有多个标定块，电子设备可以基于各标定块在相机的坐标系中的第一位姿信息、在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系，并基于各标定块在雷达的坐标系中的第二位姿信息和在电子设备的坐标系中的参考位姿信息，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系，可以降低时间成本和人工成本，提高对传感器进行标定的效率。后续，电子设备可以通过标定后的各传感器采集目标场景的地图数据，可以提高获取到的地图数据的准确性。
参见图1，图1为本申请实施例提供的传感器标定方法的一种流程图，该方法应用于电子设备，电子设备包括多个传感器，多个传感器包括相机和雷达。该方法可以包括以下步骤：
S101：获得相机采集的包含多个标定块的第一图像和雷达采集的包含多个标定块的第二图像。
其中，各标定块固定放置于相机和雷达的公共视野范围内。
S102：基于第一图像，计算各标定块在相机的坐标系中的第一位姿信息；以及基于第二图像，计算各标定块在雷达的坐标系中的第二位姿信息。
S103：基于各标定块在相机的坐标系中的第一位姿信息，以及各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系。
其中，各参考位姿信息是预先基于各标定块的固定位置测量得到的。
S104：基于各标定块在雷达的坐标系中的第二位姿信息和在电子设备的坐标系中的参考位姿信息，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系。
基于本申请实施例提供的传感器标定方法，在相机和雷达的公共视野范围内固定放置多个标定块，电子设备可以获取到各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息。进而，电子设备可以基于各标定块在相机的坐标系中的第一位姿信息、在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系，并基于各标定块在雷达的坐标系中的第二位姿信息和在电子设备的坐标系中的参考位姿信息，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系，无需多次移动棋盘格标定板的位置以获取棋盘格标定板在不同位置时的位姿信息，可以降低时间成本和人工成本，提高对进行传感器标定的效率。
针对步骤S101，电子设备可以为车辆，或者电子设备也可以为移动机器人，例如，扫地机器人，电子设备中的多个传感器包括相机和雷达。其中，相机可以为单目相机，或者也可以为双目相机。雷达可以为2D(二维)雷达，或者也可以为3D(三维)雷达。
多个标定块固定放置于相机和雷达的公共视野范围内，并且每两个标定块之间不完全遮挡，则相机和雷达均可以采集到该多个标定块的图像。该多个标定块可以为AprilTag(四月标签)方块，AprilTag方块为表面包含二维码图像的正方体。
示例性的，电子设备可以为扫地机器人，扫地机器人中的传感器包括双目相机和雷达，参见图2，扫地机器人包括多个传感器21和底盘22，多个传感器21包括双目相机211和雷达212。双目相机211和雷达212的公共视野范围内放置有4个标定块23，该4个标定块23分别为：标定块231、标定块232、标定块233和标定块234。并且每两个标定块23之间不完全遮挡，则双目相机211和雷达212均可以采集到该4标定块23的图像。
相应的，电子设备可以获取相机采集的包含多个标定块的第一图像，以及雷达采集的包含多个标定块的第二图像。
一种实现方式中，相机按照固定的帧率采集包含多个标定块的图像，则电子设备可以从相机采集的多帧图像中，选择一帧图像，作为第一图像。雷达按照固定的扫描频率采集包含多个标定块的图像，则电子设备可以从雷达采集的多帧图像中，选择一帧图像，作为第二图像。
另一种实现方式中，在图1的基础上，参见图3，步骤S101可以包括以下步骤：
S1011：从相机采集的包含多个标定块的图像中，选取一帧图像，得到第一图像。
S1012：从雷达采集的包含多个标定块的图像中，获取时间戳与第一图像的时间戳的差值小于预设阈值的图像，得到第二图像。
由于雷达采集图像的扫描频率与相机采集图像的帧率可能不一致，如果获取到的第一图像和第二图像不是相机和雷达在同一时刻采集的，由于光照等因素的影响，第一图像与第二图像中包含的同一个标定块的图像可能存在差异，则会导致后续确定的该标定块的位姿信息的准确性较低。
为了获取到相机与雷达在同一时刻采集的图像，进一步提高确定的位姿信息的准确性，电子设备可以从相机采集的包含多个标定块的图像中选取一帧图像，作为第一图像。进而，电子设备可以从雷达采集的包含多个标定块的图像中，获取时间戳与第一图像的时间戳的差值小于预设阈值的图像，作为第二图像。
基于上述处理，获取时间戳与第一图像的时间戳的差值小于预设阈值的图像，作为第二图像，也就是可以获取到相机与雷达在同一时刻采集的图像，可以避免采集图像的时刻不同对后续确定位姿信息的影响，提高确定的位姿信息的准确性，进而提高传感器标定的准确性。
针对步骤S102，针对每一标定块，该标定块在一个坐标系中的位姿信息包括：该标定块中的指定点(例如，中心点)在该坐标系中的坐标。
相机的坐标系的原点为相机的光心，相机的坐标系的X轴与相机成像的图像坐标系的X轴平行，相机的坐标系的Y轴与相机成像的图像坐标系的Y轴平行，相机的坐标系的Z轴为相机的光轴。相机的光轴与相机成像的平面垂直。
在获取到第一图像之后，针对每一标定块，电子设备可以确定该标定块中的指定点在第一图像中的二维坐标，并基于该标定块中的指定点在第一图像中的二维坐标和相机的内参，计算该标定块中的指定点在相机的坐标系中的三维坐标，得到该标定块在相机的坐标系中的第一位姿信息。其中，相机的内参可以基于张正友标定法计算得到。
如果雷达为2D雷达，雷达的坐标系的原点为雷达发射激光的出射口，雷达的坐标系的X轴和Y轴位于水平面内。2D雷达采集的第二图像为二维的点云图像，则第二图像中包含多个二维点。针对每一标定块，电子设备可以确定该标定块中的指定点在第二图像中对应的二维点，并根据该二维点在第二图像中的二维坐标、雷达在相邻的两个时刻发射至该二维点的激光之间的夹角，以及雷达与该标定块中的指定点之间的距离，计算该标定块中的指定点在雷达的坐标系中的二维坐标，得到该标定块在雷达的坐标系中的第二位姿信息。
如果雷达为3D雷达，雷达的坐标系的原点为雷达发射激光的出射口，雷达的坐标系的X轴和Y轴位于水平面内，雷达的坐标系的Z轴为竖直方向。3D雷达采集的第二图像为三维的点云图像，则第二图像中包含多个三维点。针对每一标定块，电子设备可以确定该标定块中的指定点在第二图像中对应的三维点，并根据该三维点在第二图像中的三维坐标，计算该标定块中的指定点在雷达的坐标系中的三维坐标，得到该标定块在雷达的坐标系中的第二位姿信息。
针对步骤S103，各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息是预先基于各标定块的固定位置测量得到的。
在一些实施例中，电子设备可以为移动机器人；移动机器人可以固定放置于垫高块上，以使移动机器人与各标定块处于同一高度；这种情况下，电子设备的坐标系的原点为：移动机器人的底盘的中心点；电子设备的坐标系的第一坐标轴(即X轴)和第二坐标轴(即Y轴)位于水平面内，且第一坐标轴与第二坐标轴垂直；电子设备的坐标系的第三坐标轴(即Z轴)为竖直方向。
在对各传感器进行标定过程中，不需要移动各标定块的位置，也不需要对移动机器人的位置进行调整，在已知移动机器人的底盘的机械尺寸(例如，高度和半径)、各传感器的机械尺寸(例如，高度)和各标定块的边长的情况下，针对每一标定块，基于该标定块与移动机器人的相对位置，可以测量得到该标定块在电子设备的坐标系中的三维坐标，也就是可以测量得到该标定块在电子设备的坐标系中的参考位姿信息。
例如，电子设备为扫地机器人，扫地机器人固定放置于垫高块上，使得扫地机器人与各标定块处于同一高度，则针对每一标定块，根据扫地机器人底盘的高度、该标定块的边长，以及各传感器的高度，可以测量得到该标定块在电子设备的坐标系中Z轴方向上与扫地机器人的距离；根据扫地机器人的底盘的半径和该标定块的边长，可以测量得到该标定块在电子设备的坐标系中X轴方向上与扫地机器人的距离，以及该标定块在电子设备的坐标系中Y轴方向上与扫地机器人的距离，可以得到该标定块在电子设备的坐标系中的三维坐标。该标定块与扫地机器人的距离可以用该标定块的中心点与扫地机器人的底盘的中心点之间的距离表示。
世界坐标系的原点与电子设备的坐标系的原点在竖直方向的距离为：基于移动机器人的底盘的高度和垫高块的高度确定的；世界坐标系中的三个坐标轴分别与电子设备的坐标系中对应的坐标轴的方向一致。
由于世界坐标系中的三个坐标轴分别与电子设备的坐标系中对应的坐标轴的方向一致，针对每一标定块，该标定块在世界坐标系的X轴上的坐标值与在电子设备的坐标系的X轴上的坐标值相同，该标定块在世界坐标系的Y轴上的坐标值与在电子设备的坐标系的Y轴上的坐标值相同。在测量得到该标定块在电子设备的坐标系中的三维坐标之后，也就可以得到该标定块在世界坐标系的X轴上的坐标值，以及在世界坐标系的Y轴上的坐标值。
并且，世界坐标系的原点与电子设备的坐标系的原点在竖直方向的距离为：基于移动机器人的底盘的高度和垫高块的高度确定的，针对每一标定块，该标定块在世界坐标系的Z轴上的坐标值与在电子设备的坐标系的Z轴上的坐标值之间差值为：基于移动机器人的底盘的高度和垫高块的高度确定的。相应的，根据移动机器人的底盘的高度、垫高块的高度，该标定块在电子设备的坐标系的Z轴上的坐标值，可以确定该标定块在世界坐标系的Z轴上的坐标值，也就可以得到该标定块在世界坐标系中的三维坐标，也就是可以得到该标定块在世界坐标系中的参考位姿信息。
示例性的，参见图4和图5，电子设备为扫地机器人，扫地机器人中的传感器21包括双目相机211和雷达212，扫地机器人的底盘22的半径记为r，高度记为d，雷达212的高度记为∈。各个标定块23为正方体，各标定块的边长均记为a。
电子设备的坐标系如图4所示，电子设备的坐标系的原点(即Or)为扫地机器人底盘22的中心点。在图4中，标定块231的中心点与标定块232的中心点之间的线段可以称为第一线段，电子设备的坐标系的Y轴与第一线段的交点为第一线段的中点；标定块233的中心点与标定块234的中心点之间的线段可以称为第二线段，电子设备的坐标系的Y轴与第二线段的交点为第二线段的中点。
相应的，根据各标定块23与扫地机器人的相对位置，可以得到各标定块在电子设备的坐标系中的参考位姿信息。具体的，标定块231在电子设备的坐标系的X轴上的坐标为
Figure BDA0003956523300000131
在Y轴上的坐标为/>
Figure BDA0003956523300000132
标定块232在电子设备的坐标系的X轴上的坐标为
Figure BDA0003956523300000141
在Y轴上的坐标为/>
Figure BDA0003956523300000142
标定块233在电子设备的坐标系的X轴上的坐标为
Figure BDA0003956523300000143
在Y轴上的坐标为/>
Figure BDA0003956523300000144
标定块234在电子设备的坐标系的X轴上的坐标为
Figure BDA0003956523300000145
在Y轴上的坐标为/>
Figure BDA0003956523300000146
由于世界坐标系中的三个坐标轴分别与电子设备的坐标系中对应的坐标轴的方向一致，针对每一标定块23，该标定块23在世界坐标系的X轴上的坐标值与在电子设备的坐标系的X轴上的坐标值相同，该标定块23在世界坐标系的Y轴上的坐标值与在电子设备的坐标系的Y轴上的坐标值相同。
参见图5，扫地机器人可以放置于高为ΔH的垫高块24上，并将各个标定块23放置于高度为h的平台上，h为垫高块的高度与扫地机器人的底盘的高度的和值，则可以使扫地机器人与各标定块23处于同一高度。相应的，各个标定块23在电子设备的坐标系的Z轴上的坐标值相同，图5中以标定块231为例进行说明，图5中Ow表示世界坐标系的原点，则世界坐标系的原点与电子设备的坐标系的原点在竖直方向上的距离为：
Figure BDA0003956523300000147
由于雷达212发射激光的出射口位于雷达212的上表面，为了使得标定块231在雷达212的视野范围内，也就是使得雷达212发射的激光可以照射至标定块231上，则需要使得标定块231不超过雷达212的高度。相应的，标定块231的中心点在电子设备的坐标系的Z轴上的坐标值取决于雷达212的高度和扫地机器人的底盘22的高度，图5中，标定块231中的中心点在电子设备的坐标系的Z轴上的坐标值为轴的值为
Figure BDA0003956523300000148
扫地机器人放置于高为ΔH的垫高块24上，则标定块231中的中心点在世界坐标系的Z轴上的坐标值为d+∈+ΔH。
上述过程中，各标定块无特殊材质和特殊几何关系等要求，也不需要标定块有任何的倾角或旋转，仅将各标定块放置于相机和雷达的公共视野范围内的固定位置，可以测量得到各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息。后续，基于各参考位姿信息对相机和雷达进行标定，可以提高对相机和雷达进行标定的效率。
在一些实施例中，在图1的基础上，参见图6，步骤S103可以包括以下步骤：
S1031：基于各标定块在相机的坐标系中的第一位姿信息，以及各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算相机的坐标系与世界坐标系之间的第三坐标转换关系。
S1032：基于各标定块在世界坐标系中的参考位姿信息，以及相机的坐标系与世界坐标系之间的第三坐标转换关系，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系。
相机的坐标系与世界坐标系之间的第三坐标转换关系表示：物体在相机的坐标系中的坐标与该物体在世界坐标系中的坐标之间的标转换关系。例如，在已知物体在相机的坐标系中的坐标时，根据相机的坐标系与世界坐标系之间的第三坐标转换关系，可以得到该物体在世界坐标系中的坐标。
相机的坐标系与电子设备的坐标系之间的第一坐标转换关系表示：物体在相机的坐标系中的坐标与该物体在电子设备的坐标系中的坐标之间的标转换关系。例如，在已知物体在相机的坐标系中的坐标时，根据相机的坐标系与电子设备的坐标系之间的第一坐标转换关系，可以得到该物体在电子设备的坐标系中的坐标。
并且，相机的坐标系与世界坐标系之间的第三坐标转换关系为刚体变换，相机的坐标系与电子设备的坐标系之间的第一坐标转换关系也为刚体变换。刚体变换是指对物体进行平移、旋转等改变物体位置的操作，不改变物体的大小和形状。
基于上述处理，电子设备可以基于各标定块在相机的坐标系中的三维坐标、在电子设备的坐标系中的三维坐标和在世界坐标系中的三维坐标，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系，无需多次移动棋盘格标定板的位置以获取棋盘格标定板在不同位置时的位姿信息，可以降低时间成本和人工成本，提高对传感器进行标定的效率。
在一些实施例中，相机为双目相机，相机包括左目相机和右目相机，在图6的基础上，参见图7，步骤S1031可以包括以下步骤：
S10311：基于各标定块在指定相机的坐标系中的第一位姿信息、在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算指定相机的坐标系与世界坐标系之间的第三坐标转换关系。
其中，指定相机为左目相机和右目相机中的任一个相机。
相应的，步骤S1032可以包括以下步骤：
S10321：基于各标定块在世界坐标系中的参考位姿信息，以及指定相机的坐标系与世界坐标系之间的第三坐标转换关系，计算指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系。
电子设备中的相机为双目相机，双目相机包括左目相机和右目相机，由于厂商已对左目相机和右目相机进行标定，则左目相机的坐标系与右目相机的坐标系之间的坐标转换关系是已知的，电子设备计算出指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系之后，也就可以得到双目相机与电子设备的坐标系之间的坐标转换关系。
相应的，为了提高对传感器进行标定的效率，电子设备可以仅对左目相机和右目相机中的任一个相机(即指定相机)进行标定，也就是仅计算指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系。
电子设备可以基于各标定块在指定相机的坐标系中的第一位姿信息、在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算指定相机的坐标系与世界坐标系之间的第三坐标转换关系。针对每一标定块，该标定块在指定相机的坐标系中的第一位姿信息为：该标定块在指定相机的坐标系中的三维坐标。电子设备可以基于该标定块在指定相机采集的图像中的二维坐标和指定相机的内参，计算该标定块在指定相机的坐标系中的三维坐标。
进而，电子设备基于各标定块在世界坐标系中的参考位姿信息，以及指定相机的坐标系与世界坐标系之间的第三坐标转换关系，计算指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系。
基于上述方式，由于左目相机的坐标系与右目相机的坐标系之间的转换关系是已知的，在得到指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系后，也就完成了对双目相机的标定。
在一些实施例中，电子设备计算指定相机的坐标系与世界坐标系之间的第三坐标转换关系的方式包括以下步骤：
基于各标定块的中心点在指定相机的坐标系中的三维坐标、在电子设备的坐标系中的三维坐标、在世界坐标系中的三维坐标和第一预设公式，计算指定相机的坐标系与世界坐标系之间的第三坐标转换关系。
其中，第一预设公式为：
Figure BDA0003956523300000161
Pri1表示第i个标定块的中心点在电子设备的坐标系中的三维坐标，也就是第i个标定块在电子设备的坐标系中的参考位姿信息；r表示电子设备的坐标系；Pwi表示第i个标定块的中心点在世界坐标系中的三维坐标，也就是第i个标定块在世界坐标系中的参考位姿信息；w表示世界坐标系；Pci表示第i个标定块的中心点在指定相机的坐标系中的三维坐标，也就是第i个标定块在指定相机的坐标系中的第一位姿信息；c表示指定相机的坐标系；Trw表示指定相机的坐标系与世界坐标系之间的第三坐标转换关系；
Figure BDA0003956523300000162
表示Trw的逆矩阵。
各标定块的中心点在电子设备的坐标系中的三维坐标与在世界坐标系中的三维坐标具有如下转换关系：
Figure BDA0003956523300000171
其中，Pri1表示第i个标定块的中心点在电子设备的坐标系中的三维坐标；r表示电子设备的坐标系；Pwi表示第i个标定块的中心点在世界坐标系中的三维坐标；w表示世界坐标系；
Figure BDA0003956523300000172
表示世界坐标系的基向量。
例如，针对图5的实施例，由于电子设备的坐标系的原点与世界坐标系的原点的相对位置是已知的，电子设备的坐标系的原点Or在电子设备的坐标系中的坐标记为：POr＝(xor，yor，zor)，xor表示电子设备的坐标系的原点Or在指定相机的坐标系的X轴的坐标值，yor表示电子设备的坐标系的原点Or在指定相机的坐标系的Y轴的坐标值，zor表示电子设备的坐标系的原点Or在指定相机的坐标系的Z轴的坐标值，电子设备的坐标系的原点Or在世界坐标系中的坐标为：
Figure BDA0003956523300000173
则POr可以表示为：
Figure BDA0003956523300000174
指定相机的坐标系经过旋转、平移之后，可以得到世界坐标系，则指定相机的坐标系与世界坐标系之间的第三坐标关系可以表示为：Trw＝(Rrw，trw)。Rrw表示指定相机的坐标系与世界坐标系之间的旋转矩阵，Rrw为3×3的矩阵，trw表示指定相机的坐标系与世界坐标系之间的平移矩阵，trw为3×1的矩阵。
各标定块的中心点在指定相机的坐标系中的三维坐标可以表示为：
Figure BDA0003956523300000175
Pci表示第i个标定块的中心点在指定相机的坐标系中的三维坐标，xci表示第i个标定块的中心点在指定相机的坐标系的X轴的坐标值，yci表示第i个标定块的中心点在指定相机的坐标系的Y轴的坐标值，zci表示第i个标定块的中心点在指定相机的坐标系的Z轴的坐标值；c表示指定相机的坐标系，
Figure BDA0003956523300000176
表示世界坐标系的基向量。
基于上述公式(2)和上述公式(4)，可以得到上述公式(1)。根据P3P(Perspective-3-Point，3点透视)原理，已知各标定块的中心点在指定相机的坐标系中的三维坐标、在电子设备的坐标系中的三维坐标和在世界坐标系中的三维坐标，基于上述公式(1)，可以计算得到指定相机的坐标系与世界坐标系之间的第三坐标转换关系。
另外，本实施例中标定块的数目可以为4，在进行标定时，可以将其中的3个标定块用于进行标定，将第4个标定块用于验证。具体的，首先，基于其中的3个标定块在各个坐标系中的位姿信息，计算得到指定相机的坐标系与世界坐标系之间的第三坐标转换关系。然后，电子设备可以基于第4个标定块在各个坐标系中的位姿信息，对计算出的指定相机的坐标系与世界坐标系之间的第三坐标转换关系进行验证，以保证计算出的第三转换关系的准确性，进一步保证计算得到的指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系的准确性。
如果验证得到第三坐标转换关系的准确性较低，则可以基于其他标定块的位姿信息，重新对指定相机进行标定。例如，在对指定相机进行标定时，基于第1个至第3个标定块的位姿信息进行标定，并基于第4个标定块的位姿信息进行验证。如果验证得到第三坐标转换关系的准确性较低，则可以基于第2个至第4个标定块的位姿信息进行标定，综合基于第1个至第3个标定块的位姿信息进行标定的标定结果，以及基于第2个至第4个标定块的位姿信息进行标定的标定结果，确定第三坐标转换关系。然后，基于第1个标定块的位姿信息进行验证，以保证计算出的第三转换关系的准确性。
可以理解的是，为了进一步提高计算得到的第一坐标转换关系的准确性，也可以采用更多的标定块进行标定，以及采用更多的标定块对确定的坐标转换关系进行验证。
在一些实施例中，电子设备计算指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系的方式包括以下步骤：
基于各标定块的中心点在世界坐标系中的三维坐标、指定相机的坐标系与世界坐标系之间的第三坐标转换关系和第二预设公式，计算指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系。
其中，第二预设公式为：
Figure BDA0003956523300000181
Trc表示指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系；r表示电子设备的坐标系；c表示指定相机的坐标系；Pwi表示第i个标定块的中心点在世界坐标系中的三维坐标，也就是第i个标定块的中心点在世界坐标系中的参考位姿信息；w表示世界坐标系；Trw表示指定相机的坐标系与世界坐标系之间的第三坐标转换关系；
Figure BDA0003956523300000191
表示Trw的逆矩阵。
在一些实施例中，由于厂商提供的左目相机的坐标系与右目相机的坐标系之间的坐标转换关系的准确性较低，为了提高多传感器进行标定的准确性，电子设备还可以对除指定相机外的另一个相机进行标定，例如，电子设备可以计算该相机的坐标系与电子设备的坐标系之间的坐标转换关系。基于上述方式，可以得到左目相机的坐标系与电子设备的坐标系之间的坐标转换关系，以及右目相机的坐标系与电子设备的坐标系之间的坐标转换关系，也就完成了对双目相机的标定。
在一些实施例中，由于厂商提供的左目相机的坐标系与右目相机的坐标系之间的坐标转换关系的准确性较低，为了提高多传感器进行标定的准确性，电子设备还可以计算左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系。
相应的，在步骤S10321之后，该方法还可以包括以下步骤：
根据各标定块在左目相机的坐标系中的位姿信息，以及在右目相机的坐标系中的位姿信息，计算左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系。
一种实现方式中，电子设备还可以根据各标定块在左目相机的坐标系中的位姿信息、在右目相机的坐标系中的位姿信息，以及各标定块在世界坐标系中的参考位姿信息，计算左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系。
电子设备根据各标定块在左目相机的坐标系中的位姿信息，以及各标定块在世界坐标系中的参考位姿信息，计算左目相机的坐标系与世界坐标系之间的坐标转换关系，并根据各标定块在右目相机的坐标系中的位姿信息，以及各标定块在世界坐标系中的参考位姿信息，计算右目相机的坐标系与世界坐标系之间的坐标转换关系。进而，基于各标定块在世界坐标系中的参考位姿信息、左目相机的坐标系与世界坐标系之间的坐标转换关系，以及右目相机的坐标系与世界坐标系之间的坐标转换关系，计算左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系。
另一种实现方式中，电子设备可以根据各标定块在左目相机的坐标系中的位姿信息、在右目相机的坐标系中的位姿信息，以及指定相机(即左目相机与右目相机中的任一个相机)的坐标系与电子设备的坐标系之间的第一坐标转换关系，计算左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系。
基于上述方式，可以得到指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系，以及左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系，也就完成了对双目相机的标定。
针对步骤S104，雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系表示：物体在雷达的坐标系中的坐标与该物体在电子设备的坐标系中的坐标之间的标转换关系。例如，在已知物体在雷达的坐标系中的坐标时，根据雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系，可以得到该物体在电子设备的坐标系中的坐标。并且，雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系为刚体变换。
一种实现方式中，如果雷达为3D雷达，电子设备可以基于标定块的中心点在雷达的坐标系中的三维坐标和在电子设备的坐标系中的三维坐标，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系。
另一种实现方式中，电子设备为扫地机器人，雷达2D雷达。雷达位于移动机器人的底盘的上方，雷达发射激光的出射口位于雷达的上表面，则雷达的坐标系的原点与电子设备的坐标系的原点在竖直方向上的距离为：基于移动机器人的底盘的高度和雷达的高度确定的。例如，图5中，雷达的坐标系的原点与电子设备的坐标系的原点在竖直方向上的距离为
Figure BDA0003956523300000201
也就是说，雷达的坐标系与电子设备的坐标系在Z轴方向上的坐标转换关系是已知的，因此，可以仅计算2D平面(即XOlY平面)下雷达的坐标系与电子设备的坐标系之间的坐标转换关系(即第二坐标转换关系)，Ol为雷达的坐标系的原点。在2D平面下，雷达的坐标系绕Z轴旋转θ角度，并沿X轴平移Δx距离，沿Y轴平移Δy距离，可以得到电子设备的坐标系。
相应的，步骤S104可以包括以下步骤：
基于各标定块的中心点在雷达的坐标系中的二维坐标、在电子设备的坐标系中的二维坐标和第三预设公式，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系。
其中，雷达的坐标系与电子设备的坐标系之间的转换关系为：雷达的坐标系与电子设备的坐标系之间的旋转矩阵和平移矩阵；第三预设公式为：
Figure BDA0003956523300000202
Pri2表示第i个标定块的中心点在电子设备的坐标系中的二维坐标，即第i个标定块在电子设备的坐标系中的参考位姿信息；r表示电子设备的坐标系；
Figure BDA0003956523300000203
表示Pri2的转置矩阵；θ表示雷达的坐标系与电子设备的坐标系之间的旋转角；/>
Figure BDA0003956523300000204
表示雷达的坐标系与电子设备的坐标系之间的旋转矩阵；Pli表示第i个标定块的中心点在雷达的坐标系中的二维坐标，即第i个标定块在雷达的坐标系中的第二位姿信息；l表示雷达的坐标系；trl表示雷达的坐标系与电子设备的坐标系之间的平移矩阵。
示例性的，参见图8，电子设备为扫地机器人，扫地机器人中的雷达212在对各个标定块23进行扫描时，由于各个标定块23的位置不同，扫描得到的图像数据也不同，例如，标定块231和标定块232与雷达212的距离较远，则标定块231与标定块232的点云图像(即前述实施例中的第二图像)包含一条由多个点组成的线段，而标定块233和标定块234与雷达212的距离相对较近，则标定块233和标定块234的点云图像(即前述实施例中的第二图像)包含两条由多个点组成的，且相互垂直的线段。在确定各标定块23的中心点在雷达的坐标系中的二维坐标时，针对每一标定块23，如果该标定块23的点云图像包含一条线段，则用线段的中心点表示该标定块23的中心点；如果该标定块23的点云图像包含两条相互垂直的线段，则用平行于雷达的坐标系的X轴的线段的中心点表示该标定块23的中心点。
图8中雷达为2D雷达，2D雷达采集的第二图像为二维的点云图像，针对每一标定块，电子设备可以确定该标定块的中心点在第二图像中对应的二维点，并根据该二维点在第二图像中的二维坐标、雷达在相邻的两个时刻发射至该二维点的激光之间的夹角，以及雷达与该标定块的中心点之间的距离，计算该标定块的中心点在雷达的坐标系中的二维坐标。
针对每一标定块，电子设备可以获取该标定块的中心点在电子设备的坐标系中的三维坐标(即Pri1)，并从该标定块的中心点在电子设备的坐标系中的三维坐标中，提取该标定块的中心点在电子设备的坐标系的X轴的坐标值和Y轴的坐标值，得到该标定块的中心点在电子设备的坐标系中的二维坐标(即Pri2)。例如，Pri1＝(xri，yri，zri)，则Pri2＝(xri，yri)，xri表示第i个标定块的中心点在电子设备的坐标系的X轴的坐标值，yri表示第i个标定块的中心点在电子设备的坐标系的Y轴的坐标值，zri表示第i个标定块的中心点在电子设备的坐标系的Z轴的坐标值。
上述公式(6)中，trl为2×1的平移矩阵，
Figure BDA0003956523300000211
由于/>
Figure BDA0003956523300000212
和Pli是已知的，则上述公式(6)中包含三个未知数(即Δx，Δy，θ)，基于4个标定块的中心点在电子设备的坐标系中的二维坐标，以及在雷达的坐标系中的二维坐标，可以得到4个关于未知数(即Δx，Δy，θ)的方程，基于三角几何方法计算该4个方程的解，可以得到雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系。
雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系可以记为Trl，则Trl＝(Rrl，trl)，其中，Rrl为雷达的坐标系与电子设备的坐标系之间的旋转矩阵，
Figure BDA0003956523300000221
trl表示雷达的坐标系与电子设备的坐标系之间的平移矩阵。
基于上述方式，可以得到雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系，也就是完成了对雷达的标定。相应的，在确定双目相机中的指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系、左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系，以及雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系之后，也就完成了对电子设备中的各个传感器的标定。
基于上述处理，可以基于各标定块在雷达的坐标系中的二维坐标和在电子设备的坐标系中的二维坐标，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系，无需多次移动棋盘格标定板的位置以获取棋盘格标定板在不同位置时的位姿信息，可以降低时间成本和人工成本，提高对传感器进行标定的效率。
参见图9，图9为本申请实施例提供的一种传感器标定方法的流程图，该方法应用于扫地机器人，扫地机器人包含多个传感器，多个传感器包括双目相机和2D雷达，扫地机器人的底盘中配有逻辑运算模块，逻辑运算模块用于执行以下步骤：
S901：判断是否开始标定。
扫地机器人中的逻辑运算模块可以接收用户的标定指令，在接收到标定指令时，可以开始对扫地机器人中的各个传感器进行标定，也就是由逻辑运算模块执行对扫地机器人中的各个传感器进行标定的过程。如果未接收到标定指令，则可以不做处理。
S902：获取一帧雷达数据和双目图像数据。
雷达和双目相机的公共视野范围内固定放置多个标定块，雷达可以对各个标定块进行扫描，得到多帧雷达数据，雷达数据为点云图像。相机可以拍摄包含各个标定块的图像，得到多帧图像。进而，从多帧雷达数据中获取一帧雷达数据，以及从多帧图像中选取一帧图像(即双目图像数据)。
S903：判断是否已同步，如果是，执行步骤S904和步骤S906；如果否，执行步骤S902。
根据雷达数据的时间戳和图像的时间戳，判断雷达数据与双目图像数据是否已同步，也就是计算雷达数据的时间戳与双目图像数据的时间戳的差值，如果计算得到的差值不小于预设阈值，则表示雷达数据和双目图像数据未同步，即雷达数据和双目图像数据不是同一时刻采集的。相应的，则可以重新获取一帧雷达数据和双目图像数据。
如果计算得到的差值小于预设阈值，则表示雷达数据和双目图像数据已同步，也就是雷达数据和双目图像数据是同一时刻采集的，则可以基于雷达数据和双目图像数据对各个传感器进行标定。在雷达数据和双目图像数据已同步的情况下，雷达数据为前述实施例中的第二图像，双目图像数据为前述实施例中的第一图像。
S904：根据雷达数据计算出标定块在雷达坐标系下的2D(二维)坐标。
标定块在雷达坐标系下的2D坐标也就是前述实施例中的标定块在雷达坐标系中的二维坐标，在获取到雷达数据之后，电子设备基于雷达数据，计算标定块在雷达坐标系中的2D坐标。
雷达数据为点云图像，由于扫地机器人中的雷达为2D雷达，2D雷达采集的点云图像中包含多个二维点，针对每一标定块，电子设备可以确定该标定块的中心点在点云图像中对应的二维点，并根据该二维点在第二图像中的二维坐标、雷达在相邻的两个时刻发射至该二维点的激光之间的夹角，以及雷达与该标定块的中心点之间的距离，计算该标定块的中心点在雷达坐标系中的二维坐标。
S905：基于已知的底盘与标定块之间的坐标系转换，计算雷达与底盘之间的位姿变换。
底盘与标定块之间的坐标系转换也就是标定块在电子设备的坐标系中的三维坐标，各标定块在电子设备的坐标系中的三维坐标是预先基于各标定块的固定位置测量得到的。
相应的，可以基于各标定块在电子设备的坐标系中的三维坐标，确定各标定块在电子设备的坐标系中的二维坐标，并基于各标定块在雷达的坐标系中的二维坐标、在电子设备的坐标系中的二维坐标和前述实施例中的公式(6)，确定雷达与底盘之间的位姿变换，也就可以得到雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系。
S906：根据相机数据计算出标定块在相机坐标系下的3D(三维)坐标。
相机数据也就是前述实施例中的第一图像，标定块在相机坐标系下的3D坐标也就是标定块的中心点在相机坐标系下中的三维坐标。在获取到第一图像之后，针对每一标定块，可以基于该标定块的中心点在第一图像中的二维坐标和相机的内参，计算该标定块的中心点在相机的坐标系中的三维坐标。
S907：基于已知的底盘与标定块之间的坐标系转换，计算相机与底盘之间的位姿变换。
底盘与标定块之间的坐标系转换也就是标定块在电子设备的坐标系中的三维坐标，各标定块在电子设备的坐标系中的三维坐标是预先基于各标定块的固定位置测量得到的。相机与底盘之间的位姿变换也就是前述实施例中相机的坐标系与电子设备的坐标系之间的第一坐标转换关系。
相应的，则可以基于各标定块在相机的坐标系中的三维坐标，以及各标定块在电子设备的坐标系中的三维坐标、在世界坐标系中的三维坐标、前述实施例中的公式(1)和公式(5)，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系。
S908：得到底盘、相机、雷达三者之间的位姿变换。
底盘、相机、雷达三者之间的位姿变换包括：相机的坐标系与电子设备的坐标系之间的第一坐标转换关系、左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系，以及雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系。
相应的，在确定指定相机的坐标系与电子设备的坐标系之间的第一坐标转换关系、左目相机的坐标系与右目相机的坐标系之间的第四坐标转换关系，以及雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系之后，也就完成了对电子设备中的各个传感器的标定，也就是可以将多传感器检测到的标定块的位姿(即坐标)都转换到电子设备的坐标系中，即可以统一多个传感器之间的位姿变换。
基于上述处理，不需要多次移动标定块的位置，不需要将各个标定块放置于不同的角度，也不需要对包含多个传感器的电子设备(例如，车辆、扫地机器人等)进行旋转或移动，仅将标定块固定放置于多个传感器的公共视野范围内，就可以实现对多个传感器进行标定，可以提高对传感器进行标定的效率。也就是可以快速、直接的一次性完成对多个传感器的标定，并且实现原理简单。因此，本申请实施例提供的传感器标定方法可以适用于大规模、大范围和流水线式的传感器标定流程，不需要人工进行额外的干预。同时，本申请提供的传感器标定方法还可以适用于各种包含各个多传感器的使用场景中，只要能检测到各个标定块的固定位置，即可一次性完成对多个传感器的标定，具有适应性强、成本低、且灵活性高的特点。
与图1的方法实施例相对应，参见图10，图10为本申请实施例提供的一种传感器标定装置的结构图，所述装置应用于电子设备，所述电子设备包括多个传感器，所述多个传感器包括相机和雷达，所述装置包括：
图像获取模块1001，用于获得所述相机采集的包含多个标定块的第一图像和所述雷达采集的包含所述多个标定块的第二图像，其中，各标定块固定放置于所述相机和所述雷达的公共视野范围内；
位姿信息获取模块1002，用于基于所述第一图像，计算所述各标定块在所述相机的坐标系中的第一位姿信息；以及基于所述第二图像，计算所述各标定块在所述雷达的坐标系中的第二位姿信息；
第一坐标转换关系确定模块1003，用于基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，各参考位姿信息是预先基于所述各标定块的固定位置测量得到的；
第二坐标转换关系确定模块1004，用于基于所述各标定块在所述雷达的坐标系中的第二位姿信息和在所述电子设备的坐标系中的参考位姿信息，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系。
可选的，所述第一坐标转换关系确定模块1003，具体用于基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系。
可选的，所述相机为双目相机，所述相机包括左目相机和右目相机，所述第一坐标转换关系确定模块1003，具体用于基于所述各标定块在指定相机的坐标系中的第一位姿信息、在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述指定相机为所述左目相机和所述右目相机中的任一个相机；
所述第一坐标转换关系确定模块1003，具体用于基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系。
可选的，所述装置还包括：
第四坐标转换关系确定模块，用于在所述第一坐标转换关系确定模块1003执行基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系之后，执行根据所述各标定块在所述左目相机的坐标系中的位姿信息，以及在所述右目相机的坐标系中的位姿信息，计算所述左目相机的坐标系与所述右目相机的坐标系之间的第四坐标转换关系。
可选的，所述第一坐标转换关系确定模块1003，具体用于基于所述各标定块的中心点在所述指定相机的坐标系中的三维坐标、在所述电子设备的坐标系中的三维坐标、在世界坐标系中的三维坐标和第一预设公式，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述第一预设公式为：
Figure BDA0003956523300000261
Pri1表示第i个标定块的中心点在所述电子设备的坐标系中的三维坐标；r表示所述电子设备的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Pci表示第i个标定块的中心点在所述指定相机的坐标系中的三维坐标；c表示所述指定相机的坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure BDA0003956523300000262
表示Trw的逆矩阵。
可选的，所述第一坐标转换关系确定模块1003，具体用于基于所述各标定块的中心点在所述世界坐标系中的三维坐标、所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系和第二预设公式，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，所述第二预设公式为：
Figure BDA0003956523300000263
Trc表示所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；r表示所述电子设备的坐标系；c表示所述指定相机的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure BDA0003956523300000264
表示Trw的逆矩阵。
可选的，所述第二坐标转换关系确定模块1004，具体用于基于所述各标定块的中心点在所述雷达的坐标系中的二维坐标、在所述电子设备的坐标系中的二维坐标和第三预设公式，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系；其中，所述雷达的坐标系与所述电子设备的坐标系之间的转换关系为：所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵和平移矩阵；所述第三预设公式为：
Figure BDA0003956523300000265
Pri2表示第i个标定块的中心点在所述电子设备的坐标系中的二维坐标；r表示所述电子设备的坐标系；
Figure BDA0003956523300000266
表示Pri2的转置矩阵；θ表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转角；/>
Figure BDA0003956523300000267
表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵；Pli表示第i个标定块的中心点在所述雷达的坐标系中的二维坐标；l表示所述雷达的坐标系；trl表示所述雷达的坐标系与所述电子设备的坐标系之间的平移矩阵。
可选的，所述图像获取模块1001，具体用于从所述相机采集的包含多个标定块的图像中，选取一帧图像，得到第一图像；
从所述雷达采集的包含多个标定块的图像中，获取时间戳与所述第一图像的时间戳的差值小于预设阈值的图像，得到第二图像。
可选的，所述电子设备为移动机器人；所述移动机器人固定放置于垫高块上，以使所述移动机器人与所述各标定块位于同一高度；所述电子设备的坐标系的原点为：所述移动机器人的底盘的中心点；所述电子设备的坐标系的第一坐标轴和第二坐标轴位于水平面内，且第一坐标轴与第二坐标轴垂直；所述电子设备的坐标系的第三坐标轴为竖直方向；
所述世界坐标系的原点与所述电子设备的坐标系的原点在竖直方向的距离为：基于所述移动机器人的底盘的高度和所述垫高块的高度确定的；所述世界坐标系中的三个坐标轴分别与所述电子设备的坐标系中对应的坐标轴的方向一致。
基于本申请实施例提供的传感器标定装置，在相机和雷达的公共视野范围内固定放置多个标定块，电子设备可以获取到各标定块在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息。进而，电子设备可以基于各标定块在相机的坐标系中的第一位姿信息、在电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算相机的坐标系与电子设备的坐标系之间的第一坐标转换关系，并基于各标定块在雷达的坐标系中的第二位姿信息和在电子设备的坐标系中的参考位姿信息，计算雷达的坐标系与电子设备的坐标系之间的第二坐标转换关系，无需多次移动棋盘格标定板的位置以获取棋盘格标定板在不同位置时的位姿信息，可以降低时间成本和人工成本，提高对传感器进行标定的效率。
本申请实施例还提供了一种电子设备，如图11所示，包括:
存储器1101，用于存放计算机程序；
处理器1102，用于执行存储器1101上所存放的程序时，实现如下步骤：
获得所述相机采集的包含多个标定块的第一图像和所述雷达采集的包含所述多个标定块的第二图像，其中，各标定块固定放置于所述相机和所述雷达的公共视野范围内；
基于所述第一图像，计算所述各标定块在所述相机的坐标系中的第一位姿信息；以及基于所述第二图像，计算所述各标定块在所述雷达的坐标系中的第二位姿信息；
基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，各参考位姿信息是预先基于所述各标定块的固定位置测量得到的；
基于所述各标定块在所述雷达的坐标系中的第二位姿信息和在所述电子设备的坐标系中的参考位姿信息，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系。
并且上述电子设备还可以包括通信总线和/或通信接口，处理器1102、通信接口、存储器1101通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一传感器标定方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一传感器标定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、移动机器人系统、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种传感器标定方法，其特征在于，所述方法应用于电子设备，所述电子设备包括多个传感器，所述多个传感器包括相机和雷达，所述方法包括：
获得所述相机采集的包含多个标定块的第一图像和所述雷达采集的包含所述多个标定块的第二图像，其中，各标定块固定放置于所述相机和所述雷达的公共视野范围内；
基于所述第一图像，计算所述各标定块在所述相机的坐标系中的第一位姿信息；以及基于所述第二图像，计算所述各标定块在所述雷达的坐标系中的第二位姿信息；
基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，各参考位姿信息是预先基于所述各标定块的固定位置测量得到的；
基于所述各标定块在所述雷达的坐标系中的第二位姿信息和在所述电子设备的坐标系中的参考位姿信息，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系。
2.根据权利要求1所述的方法，其特征在于，所述基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系，包括：
基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系。
3.根据权利要求2所述的方法，其特征在于，所述相机为双目相机，所述相机包括左目相机和右目相机，所述基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，包括：
基于所述各标定块在指定相机的坐标系中的第一位姿信息、在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述指定相机为所述左目相机和所述右目相机中的任一个相机；
所述基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系，包括：
基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系。
4.根据权利要求3所述的方法，其特征在于，在所述基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系之后，所述方法还包括：
根据所述各标定块在所述左目相机的坐标系中的位姿信息，以及在所述右目相机的坐标系中的位姿信息，计算所述左目相机的坐标系与所述右目相机的坐标系之间的第四坐标转换关系。
5.根据权利要求3所述的方法，其特征在于，所述基于所述各标定块在指定相机的坐标系中的第一位姿信息、在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，包括：
基于所述各标定块的中心点在所述指定相机的坐标系中的三维坐标、在所述电子设备的坐标系中的三维坐标、在世界坐标系中的三维坐标和第一预设公式，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述第一预设公式为：
Figure FDA0003956523290000021
Pri1表示第i个标定块的中心点在所述电子设备的坐标系中的三维坐标；r表示所述电子设备的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Pci表示第i个标定块的中心点在所述指定相机的坐标系中的三维坐标；c表示所述指定相机的坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure FDA0003956523290000022
表示Trw的逆矩阵。
6.根据权利要求3所述的方法，其特征在于，所述基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系，包括：
基于所述各标定块的中心点在所述世界坐标系中的三维坐标、所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系和第二预设公式，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，所述第二预设公式为：
Figure FDA0003956523290000031
Trc表示所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；r表示所述电子设备的坐标系；c表示所述指定相机的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure FDA0003956523290000032
表示Trw的逆矩阵。
7.根据权利要求1所述的方法，其特征在于，所述基于所述各标定块在所述雷达的坐标系中的第二位姿信息和所述各标定块在所述电子设备的坐标系中的参考位姿信息，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系，包括：
基于所述各标定块的中心点在所述雷达的坐标系中的二维坐标、在所述电子设备的坐标系中的二维坐标和第三预设公式，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系；其中，所述雷达的坐标系与所述电子设备的坐标系之间的转换关系为：所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵和平移矩阵；所述第三预设公式为：
Figure FDA0003956523290000033
Pri2表示第i个标定块的中心点在所述电子设备的坐标系中的二维坐标；r表示所述电子设备的坐标系；
Figure FDA0003956523290000034
表示Pri2的转置矩阵；θ表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转角；/>
Figure FDA0003956523290000035
表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵；Pli表示第i个标定块的中心点在所述雷达的坐标系中的二维坐标；l表示所述雷达的坐标系；trl表示所述雷达的坐标系与所述电子设备的坐标系之间的平移矩阵。
8.根据权利要求1所述的方法，其特征在于，所述获得所述相机采集的包含多个标定块的第一图像和所述雷达采集的包含所述多个标定块的第二图像，包括：
从所述相机采集的包含多个标定块的图像中，选取一帧图像，得到第一图像；
从所述雷达采集的包含多个标定块的图像中，获取时间戳与所述第一图像的时间戳的差值小于预设阈值的图像，得到第二图像。
9.根据权利要求1所述的方法，其特征在于，所述电子设备为移动机器人；所述移动机器人固定放置于垫高块上，以使所述移动机器人与所述各标定块处于同一高度；所述电子设备的坐标系的原点为：所述移动机器人的底盘的中心点；所述电子设备的坐标系的第一坐标轴和第二坐标轴位于水平面内，且第一坐标轴与第二坐标轴垂直；所述电子设备的坐标系的第三坐标轴为竖直方向；
所述世界坐标系的原点与所述电子设备的坐标系的原点在竖直方向的距离为：基于所述移动机器人的底盘的高度和所述垫高块的高度确定的；所述世界坐标系中的三个坐标轴分别与所述电子设备的坐标系中对应的坐标轴的方向一致。
10.一种传感器标定装置，其特征在于，所述装置应用于电子设备，所述电子设备包括多个传感器，所述多个传感器包括相机和雷达，所述装置包括：
图像获取模块，用于获得所述相机采集的包含多个标定块的第一图像和所述雷达采集的包含所述多个标定块的第二图像，其中，各标定块固定放置于所述相机和所述雷达的公共视野范围内；
位姿信息获取模块，用于基于所述第一图像，计算所述各标定块在所述相机的坐标系中的第一位姿信息；以及基于所述第二图像，计算所述各标定块在所述雷达的坐标系中的第二位姿信息；
第一坐标转换关系确定模块，用于基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，各参考位姿信息是预先基于所述各标定块的固定位置测量得到的；
第二坐标转换关系确定模块，用于基于所述各标定块在所述雷达的坐标系中的第二位姿信息和在所述电子设备的坐标系中的参考位姿信息，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系。
11.根据权利要求10所述的装置，其特征在于，所述第一坐标转换关系确定模块，具体用于基于所述各标定块在所述相机的坐标系中的第一位姿信息，以及所述各标定块在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；
所述相机为双目相机，所述相机包括左目相机和右目相机，所述第一坐标转换关系确定模块，具体用于基于所述各标定块在指定相机的坐标系中的第一位姿信息、在所述电子设备的坐标系中的参考位姿信息和在世界坐标系中的参考位姿信息，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述指定相机为所述左目相机和所述右目相机中的任一个相机；
所述第一坐标转换关系确定模块，具体用于基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；
所述装置还包括：
第四坐标转换关系确定模块，用于在所述第一坐标转换关系确定模块执行基于所述各标定块在所述世界坐标系中的参考位姿信息，以及所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系之后，执行根据所述各标定块在所述左目相机的坐标系中的位姿信息，以及在所述右目相机的坐标系中的位姿信息，计算所述左目相机的坐标系与所述右目相机的坐标系之间的第四坐标转换关系；
所述第一坐标转换关系确定模块，具体用于基于所述各标定块的中心点在所述指定相机的坐标系中的三维坐标、在所述电子设备的坐标系中的三维坐标、在世界坐标系中的三维坐标和第一预设公式，计算所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；其中，所述第一预设公式为：
Figure FDA0003956523290000051
Pri1表示第i个标定块的中心点在所述电子设备的坐标系中的三维坐标；r表示所述电子设备的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Pci表示第i个标定块的中心点在所述指定相机的坐标系中的三维坐标；c表示所述指定相机的坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure FDA0003956523290000052
表示Trw的逆矩阵；
所述第一坐标转换关系确定模块，具体用于基于所述各标定块的中心点在所述世界坐标系中的三维坐标、所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系和第二预设公式，计算所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；其中，所述第二预设公式为：
Figure FDA0003956523290000061
Trc表示所述指定相机的坐标系与所述电子设备的坐标系之间的第一坐标转换关系；r表示所述电子设备的坐标系；c表示所述指定相机的坐标系；Pwi表示第i个标定块的中心点在所述世界坐标系中的三维坐标；w表示所述世界坐标系；Trw表示所述指定相机的坐标系与所述世界坐标系之间的第三坐标转换关系；
Figure FDA0003956523290000062
表示Trw的逆矩阵；/>
所述第二坐标转换关系确定模块，具体用于基于所述各标定块的中心点在所述雷达的坐标系中的二维坐标、在所述电子设备的坐标系中的二维坐标和第三预设公式，计算所述雷达的坐标系与所述电子设备的坐标系之间的第二坐标转换关系；其中，所述雷达的坐标系与所述电子设备的坐标系之间的转换关系为：所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵和平移矩阵；所述第三预设公式为：
Figure FDA0003956523290000063
Pri2表示第i个标定块的中心点在所述电子设备的坐标系中的二维坐标；r表示所述电子设备的坐标系；
Figure FDA0003956523290000064
表示Pri2的转置矩阵；θ表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转角；/>
Figure FDA0003956523290000065
表示所述雷达的坐标系与所述电子设备的坐标系之间的旋转矩阵；Pii表示第i个标定块的中心点在所述雷达的坐标系中的二维坐标；l表示所述雷达的坐标系；trl表示所述雷达的坐标系与所述电子设备的坐标系之间的平移矩阵；
所述图像获取模块，具体用于从所述相机采集的包含多个标定块的图像中，选取一帧图像，得到第一图像；
从所述雷达采集的包含多个标定块的图像中，获取时间戳与所述第一图像的时间戳的差值小于预设阈值的图像，得到第二图像；
所述电子设备为移动机器人；所述移动机器人固定放置于垫高块上，以使所述移动机器人与所述各标定块位于同一高度；所述电子设备的坐标系的原点为：所述移动机器人的底盘的中心点；所述电子设备的坐标系的第一坐标轴和第二坐标轴位于水平面内，且第一坐标轴与第二坐标轴垂直；所述电子设备的坐标系的第三坐标轴为竖直方向；
所述世界坐标系的原点与所述电子设备的坐标系的原点在竖直方向的距离为：基于所述移动机器人的底盘的高度和所述垫高块的高度确定的；所述世界坐标系中的三个坐标轴分别与所述电子设备的坐标系中对应的坐标轴的方向一致。
12.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法。
13.一种移动机器人系统，其特征在于，包括图像采集模块和处理器；所述图像采集模块包括多个传感器，所述多个传感器包括相机和雷达；
所述图像采集模块，用于采集包含多个标定块的第一图像和第二图像；
所述处理器，用于执行权利要求1-9任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法。
CN202211466739.2A 2022-11-22 2022-11-22 一种传感器标定方法及装置 Pending CN115856797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211466739.2A CN115856797A (zh) 2022-11-22 2022-11-22 一种传感器标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211466739.2A CN115856797A (zh) 2022-11-22 2022-11-22 一种传感器标定方法及装置

Publications (1)

Publication Number Publication Date
CN115856797A true CN115856797A (zh) 2023-03-28

Family

ID=85664915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211466739.2A Pending CN115856797A (zh) 2022-11-22 2022-11-22 一种传感器标定方法及装置

Country Status (1)

Country Link
CN (1) CN115856797A (zh)

Similar Documents

Publication Publication Date Title
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
US6915008B2 (en) Method and apparatus for multi-nodal, three-dimensional imaging
US20090268214A1 (en) Photogrammetric system and techniques for 3d acquisition
US20150279016A1 (en) Image processing method and apparatus for calibrating depth of depth sensor
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
CN105066962B (zh) 一种多分辨率大视场角高精度摄影测量装置
JPH11118425A (ja) キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法
CN113034612B (zh) 一种标定装置、方法及深度相机
KR101926953B1 (ko) 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
CN111256628A (zh) 墙面平整度检测方法、装置、计算机设备和存储介质
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
JP2005322128A (ja) ステレオ３次元計測用キャリブレーション方法及び３次元位置算出方法
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
KR101735325B1 (ko) 점군 정합 장치
CN113781576A (zh) 多自由度位姿实时调整的双目视觉检测系统、方法、装置
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
CN114078163A (zh) 激光雷达与可见光相机的精确标定方法
CN115856797A (zh) 一种传感器标定方法及装置
CN113483669B (zh) 一种基于立体靶标的多传感器位姿标定方法及装置
CN115147495A (zh) 一种针对车载系统的标定方法、装置以及系统
CN112150553B (zh) 一种车载相机的标定方法和装置
Ribeiro et al. Photogrammetric Multi-Camera Calibration Using An Industrial Programmable Robotic Arm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination