CN113284197A - Agv的tof相机外参标定方法及装置、电子设备 - Google Patents

Agv的tof相机外参标定方法及装置、电子设备 Download PDF

Info

Publication number
CN113284197A
CN113284197A CN202110828007.2A CN202110828007A CN113284197A CN 113284197 A CN113284197 A CN 113284197A CN 202110828007 A CN202110828007 A CN 202110828007A CN 113284197 A CN113284197 A CN 113284197A
Authority
CN
China
Prior art keywords
plane
point cloud
agv
coordinate system
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110828007.2A
Other languages
English (en)
Other versions
CN113284197B (zh
Inventor
高炳舒
余冬冬
李华玉
李承远
卢维
王政
李铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Huaray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaray Technology Co Ltd filed Critical Zhejiang Huaray Technology Co Ltd
Priority to CN202110828007.2A priority Critical patent/CN113284197B/zh
Publication of CN113284197A publication Critical patent/CN113284197A/zh
Application granted granted Critical
Publication of CN113284197B publication Critical patent/CN113284197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种AGV的飞行时间（TOF，Time of Flight）相机外参标定方法及装置、电子设备，所述方法包括：获取标定平面的点云数据；基于点云数据分别确定标定平面的平面方程；基于平面方程确定第一平面及第二平面的法向向量；基于法向向量确定TOF相机的旋转矩阵，根据旋转矩阵确定TOF相机相对于AGV坐标系的翻滚角、俯仰角、偏航角；并确定TOF相机坐标系相对于AGV坐标系的Z、X、Y轴偏移量，实现TOF相机的外参的标定。本发明排除外界可能引入的各种误差，标定结果更准确并且多车外参一致性更好。

Description

AGV的TOF相机外参标定方法及装置、电子设备
技术领域
本发明涉及TOF相机外参标定技术，尤其涉及一种自动导引小车（AGV，AutomatedGuided Vehicle）的飞行时间（TOF，Time of Flight）相机外参标定方法及装置、电子设备、存储介质。
背景技术
为了增强AGV对周围环境的感知能力和感知范围，AGV通常会配置TOF相机，TOF相机的坐标系与AGV坐标系统之间的参数标定，对于AGV感知周围环境的能力至关重要。
现有TOF相机的外参标定方法，一般是通过TOF相机进行图像采集点云数据，对点云数据进行分割，获取叉齿末端挡板平面、地面和叉齿平面的点云，计算挡板平面、地面和叉齿平面的平面方程，利用挡板平面、地面和叉齿平面的平面方程，获得叉齿坐标系与TOF相机坐标系的坐标变换关系。这种技术方案，需要每个挡板要相对于叉齿中心线对称，挡板安装需垂直于叉齿平面，两挡板要相对于车体中心线对称且中心连线要平行于两车轮中心的连线。这些限定在实际应用中难以满足，AGV上的挡板安装精度极高且条件繁多、操作复杂。
发明内容
本发明提供一种基于视觉的激光切割方法及装置、电子设备、存储介质，以至少解决现有技术中存在的以上技术问题。
本发明一方面提供一种AGV的飞行时间相机外参标定方法，所述方法包括：
获取包含第一平面的第一点云数据，以及获取包含第二平面及位于AGV的第三平面的第二点云数据；
基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；
基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在TOF相机坐标系及所述AGV坐标系下的法向向量；
基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；
确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；
确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；
将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。
可选地，所述基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程，包括：
对所述第一点云数据采用随机抽样一致RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；
采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。
可选地，在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，所述方法还包括：
遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。
可选地，所述确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段，包括：
对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；
将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。
可选地，提取第二平面及第三平面之后，所述方法还包括：
检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。
本发明另一方面提供一种AGV的飞行时间相机外参标定装置，所述装置包括：
获取单元，用于获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；
第一确定单元，用于基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；
第二确定单元，用于基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；
第三确定单元，用于基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；
第四确定单元，用于确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；
第五确定单元，用于确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；
第六确定单元，用于将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。
可选地，所述第一确定单元，还用于：
对所述第一点云数据采用RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；
采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。
可选地，所述第六确定单元在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，还用于：
遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。
可选地，所述第六确定单元，还用于：
对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；
将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。
可选地，所述第一确定单元在提取第二平面及第三平面之后，还用于：
检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。
本发明另一方面提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现所述的AGV的飞行时间相机外参标定方法的步骤。
本发明再一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述的AGV的飞行时间相机外参标定方法的步骤。
本发明对于TOF相机外参的标定，不依赖于任何的工装辅助，通过本发明的外参标定方式进行标定，所标定的参数准确且操作简单；本发明巧用叉取型搬运AGV自身的结构特性，计算TOF到车体物理中心的外参变换，排除外界可能引入的各种误差，标定结果更准确并且多车外参一致性更好。
附图说明
图1示出了本发明实施例的AGV的飞行时间相机外参标定方法的流程图；
图2示出了本发明实施例的AGV的结构示意图；
图3示出了本发明实施例的AGV的TOF相机外参标定流程示意图；
图4示出了本发明实施例的AGV的飞行时间相机外参标定装置的组成结构示意图；
图5示出了本发明实施例的电子设备的结构图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例的AGV的飞行时间相机外参标定方法的流程图，如图1所示，本发明实施例的AGV的飞行时间相机外参标定方法包括以下处理步骤：
步骤101，获取包含第一平面的第一点云数据，以及获取包含第二平面及位于AGV的第三平面的第二点云数据。
本发明实施例中，通过TOF相机中的激光器发射激光的反射光，来获取包含第一平面的第一点云数据，以及包含第二平面及位于AGV的第三平面的第二点云数据。
这里的第一平面，可以是位于空旷地带的地面，第二平面可以是位于空旷地带的墙面，这里，第二平面可以是与地面垂直且对激光束反射较佳的平面，也可以是墙面之外的其他平面。第三平面可以是AGV的叉齿平面。图2示出了本发明实施例的AGV的结构示意图，如图2所示，AGV包括左叉齿和右叉齿，每个叉齿下安装有车轮，TOF相机安装于AGV车头。图中L1和L2的交点即为车体中心，也可称为运动中心或者旋转中心。
本发明实施例中，采集第二平面及第三平面的第二点云数据时，将AGV移至墙面附近，保证周围环境相对空旷没有其他竖直平面的干扰，使两个叉齿末端分别紧贴墙面，采集点云数据。
步骤102，基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程。
本发明实施例中，对所述第一点云数据采用随机抽样一致RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。
在提取第二平面及第三平面之后，还包括：检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。
步骤103，基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在TOF相机坐标系及所述AGV坐标系下的法向向量。
本发明实施例中，可以利用平面提取算法，基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在TOF相机坐标系及所述AGV坐标系下的法向向量。
步骤104，基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角。
本发明实施例中，当确定出所述第一平面和所述第二平面的法向向量后，即可确定两法向向量之间的旋转矩阵。
步骤105，确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量。
步骤106，确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量。
步骤107，将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。
本发明实施例中，在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，还包括：遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。对应地，确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段，包括：
对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；
将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。
以下通过具体示例，进一步阐明本发明实施例的技术方案的本质。
本发明实施例旨在标定TOF相机到车体中心的外参，其中，z方向以地面为基准。首先采集地面、墙面和叉齿平面的点云数据；采用RANSAC算法分别对地面、叉齿平面以及墙面的点云进行粗提取；本发明实施例中，墙面也可以采用其他与地面有交叉的平面如点云采集的挡板等平面。本发明实施例中，需要保证三平面对应的法向量两两不平行即可，如三平面相互垂直等，本领域技术人员应当理解，上述三平面即使不必相互垂直，也可实现对TOF相机到车体中心的外参的标定。随后采用最小二乘法拟合上述三个平面得到平面方程；最后利用三个平面点云数据计算TOF外参。以下结合附图，详细阐述本发明技术方案的本质。
图3示出了本发明实施例的AGV的TOF相机外参标定流程示意图，如图3所示，本发明实施例的AGV的TOF相机外参标定流程包括以下步骤：
采集点云数据。
将AGV移至空旷区域，采集一帧点云数据
Figure 658795DEST_PATH_IMAGE001
。
将AGV移至墙边，保证周围环境相对空旷没有其他干扰，使两个叉齿末端分别紧贴 墙面，采集一帧点云数据
Figure 372673DEST_PATH_IMAGE002
。
提取地面、墙面、叉齿平面的点云数据，并求解地面、墙面、叉齿平面的平面方程。若点云数据提取失败，则重新提取相关点云数据并进行平面提取。
具体地，包括以下处理：
点云过滤：过滤
Figure 824514DEST_PATH_IMAGE001
中的无效数据。
粗提取平面：对
Figure 626248DEST_PATH_IMAGE001
采用RANSAC算法结合三点确定平面的方法粗提取平面。
拟合平面：采用最小二乘方法最小化点到平面距离，构建如下残差方程：
Figure 971778DEST_PATH_IMAGE003
(1)
求解上述残差方程即可得到地面方程
Figure 466345DEST_PATH_IMAGE004
和地面点云
Figure 405482DEST_PATH_IMAGE005
。
提取墙面和叉齿平面的点云数据，并对点云进行过滤：过滤中的无效数据。
粗提取墙面和叉齿平面：对
Figure 338803DEST_PATH_IMAGE002
采用RANSAC算法结合三点确定平面的方法粗循环提 取平面，直至提取到两个平面。检测每个平面的点云数量：如果任一平面点云数量少于1000 个点，则提取平面失败需重新采集点云。
拟合平面：采用最小二乘方法最小化点到平面距离，构建如下残差方程
Figure 679785DEST_PATH_IMAGE006
(2)
Figure 220619DEST_PATH_IMAGE007
(3)
求解式(2)、式(3)可得墙面方程
Figure 912632DEST_PATH_IMAGE008
、墙面点云
Figure 333466DEST_PATH_IMAGE009
、叉齿平面 方程
Figure 653589DEST_PATH_IMAGE010
和叉齿平面点云
Figure 755537DEST_PATH_IMAGE011
。
计算TOF相机的外参旋转矩阵。
具体地，确定地面和墙面在TOF相机坐标系下的平面法向量：
地面在TOF相机坐标系下的法向量为
Figure 934846DEST_PATH_IMAGE012
；
墙面在TOF相机坐标系下的法向量为
Figure 147653DEST_PATH_IMAGE013
；
确定地面和墙面在车体坐标系即AGV坐标系下的平面法向量：
地面在车体中心坐标系下的法向量为
Figure 728807DEST_PATH_IMAGE014
；
墙面在车体中心坐标系下的法向量为
Figure 736077DEST_PATH_IMAGE015
。
计算旋转矩阵，如下：
Figure 12469DEST_PATH_IMAGE016
(4)
对H进行SVD分解，如下：
Figure 560125DEST_PATH_IMAGE017
(5)
则旋转矩阵
Figure 995785DEST_PATH_IMAGE018
(6)
根据旋转矩阵到欧拉角的转换求得roll、pitch、yaw三个角度。
求解TOF相机相对于车体中心坐标系外参偏移量Z，如下：
求地面点云的中心点：
Figure DEST_PATH_IMAGE019
其中，
Figure 377219DEST_PATH_IMAGE020
为地面点云数据中点的数量。
用外参旋转矩阵
Figure 999961DEST_PATH_IMAGE021
将
Figure 820150DEST_PATH_IMAGE022
投影至车体坐标系，
Figure 703792DEST_PATH_IMAGE022
变为
Figure 52865DEST_PATH_IMAGE023
Figure 287537DEST_PATH_IMAGE024
(8)
可得
Figure 380258DEST_PATH_IMAGE025
(9)
其中，
Figure 524932DEST_PATH_IMAGE026
为该点在
Figure 169540DEST_PATH_IMAGE027
方向的分量。
求解TOF相机相对于车体中心坐标系外参偏移量X，如下：
求墙面点云的中心点：
Figure 501295DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE029
为墙面点云数据中点的数量。
用外参旋转矩阵
Figure 194445DEST_PATH_IMAGE021
把
Figure 662466DEST_PATH_IMAGE030
投影至车体坐标系，
Figure 477975DEST_PATH_IMAGE030
变为
Figure 562606DEST_PATH_IMAGE031
Figure 262709DEST_PATH_IMAGE032
(11)
可得：
Figure 975450DEST_PATH_IMAGE033
(12)
其中，
Figure 571648DEST_PATH_IMAGE034
为该点在X方向的分量
Figure 143574DEST_PATH_IMAGE035
为叉齿末端到车后轮中心的距离，当车型固定 时该距离也是固定的，因此可以当作先验信息来用。
求解TOF相机相对于车体中心坐标系外参偏移量Y，如下：
将叉齿点云数据投影至车体坐标系：
Figure 506423DEST_PATH_IMAGE036
(13)
剔除
Figure 214616DEST_PATH_IMAGE037
中的孤立点。因为叉齿为金属材质比较光滑，TOF相机采集到的叉齿平 面的点云数据噪声会相对多一些，因此需要对孤立点进行剔除，否则对后续提取叉齿内边 缘的线段造成较大的干扰。具体地，遍历
Figure 106348DEST_PATH_IMAGE037
中的每个点，如果以该点为圆心，如以2cm半 径范围内，确定没有其他点，若无其他点云，则该点为孤立点应剔除。这里的半径可根据需 要及经验而设置，也可以设置为其他值如3cm、5cm、1cm、1.5cm等。
用K聚类算法（k-means）对剩余点云进行二分类：因为左右叉齿的点云是分居于车 体坐标系X轴两侧的，因此可以根据
Figure 899992DEST_PATH_IMAGE037
中每个点的y坐标进行k-means分类，得到左叉齿 的点云数据
Figure 941897DEST_PATH_IMAGE038
和右叉齿点云数据
Figure 363651DEST_PATH_IMAGE039
。
确定左叉齿内侧边缘线段：将左叉齿点云按照
Figure 832810DEST_PATH_IMAGE040
从小到大的顺序进行排序
Figure 972804DEST_PATH_IMAGE041
，采用滑窗的方式搜索边缘点，其中滑窗宽度为0.5cm；
初始化
Figure 818400DEST_PATH_IMAGE042
（从
Figure 235606DEST_PATH_IMAGE040
最小的点开始，即左叉齿最内侧的点）
while
Figure 300DEST_PATH_IMAGE043
选取基准点
Figure 502957DEST_PATH_IMAGE044
，遍历
Figure 745719DEST_PATH_IMAGE045
搜索
Figure 271292DEST_PATH_IMAGE046
的点构成集
Figure 816674DEST_PATH_IMAGE047
，该集合含有
Figure 196840DEST_PATH_IMAGE048
个点；
if
Figure 853080DEST_PATH_IMAGE049
Figure 510458DEST_PATH_IMAGE050
，则跳入下一循环
Else， 跳出循环
直至搜索边缘点结束，根据边缘点集
Figure 351375DEST_PATH_IMAGE047
计算边缘线段方程：
Figure 94203DEST_PATH_IMAGE051
其中，
Figure 678768DEST_PATH_IMAGE052
为该点在y方向的分量。
确定右叉齿内侧边缘线段：将右叉齿点云按照y从大到小的顺序进行排序
Figure DEST_PATH_IMAGE053
，采用滑窗的方式搜索边缘点，其中滑窗宽度为0.5cm。
初始化
Figure 66018DEST_PATH_IMAGE042
（从
Figure 218782DEST_PATH_IMAGE040
最大的点开始，即右叉齿最内侧的点）
while
Figure 183327DEST_PATH_IMAGE054
选取基准点
Figure 571583DEST_PATH_IMAGE044
，遍历
Figure 672394DEST_PATH_IMAGE055
搜索
Figure 120693DEST_PATH_IMAGE056
的点构成集
Figure 572534DEST_PATH_IMAGE057
，该集合含有
Figure 498902DEST_PATH_IMAGE058
个点
if
Figure 719799DEST_PATH_IMAGE059
Figure 479944DEST_PATH_IMAGE050
，跳入下一循环
Else，跳出循环
直至搜索边缘点结束，根据边缘点集
Figure 278136DEST_PATH_IMAGE057
计算边缘线段方程：
Figure 149140DEST_PATH_IMAGE060
其中，
Figure 958964DEST_PATH_IMAGE052
为该点在y方向的分量。
根据
Figure 155590DEST_PATH_IMAGE061
和
Figure 706657DEST_PATH_IMAGE062
可以计算得到：
Figure DEST_PATH_IMAGE063
(16)
到此为止，TOF相对于车体中心的6自由度外参计算完毕，经过上述的计算过程得 到最终的外参
Figure 522298DEST_PATH_IMAGE064
。
本发明对于TOF相机外参的标定，不依赖于任何的工装辅助，通过本发明的外参标定方式进行标定，所标定的参数准确且操作简单；本发明巧用叉取型搬运AGV自身的结构特性，计算TOF到车体物理中心的外参变换，排除外界可能引入的各种误差，标定结果更准确并且多车外参一致性更好。
图4示出了本发明实施例的AGV的飞行时间相机外参标定装置的组成结构示意图，如图4所示，本发明实施例的AGV的飞行时间相机外参标定装置包括：
获取单元40，用于获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；
第一确定单元41，用于基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；
第二确定单元42，用于基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；
第三确定单元43，用于基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；
第四确定单元44，用于确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；
第五确定单元45，用于确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；
第六确定单元46，用于将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。
作为一种实现方式，所述第一确定单元41，还用于：
对所述第一点云数据采用RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；
采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。
作为一种实现方式，所述第六确定单元46在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，还用于：
遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。
作为一种实现方式，所述第六确定单元46，还用于：
对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；
将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。
作为一种实现方式，所述第一确定单元41在提取第二平面及第三平面之后，还用于：
检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。
在示例性实施例中，获取单元40、第一确定单元41、第二确定单元42、第三确定单元43、第四确定单元44、第五确定单元45和第五确定单元46等可以被一个或多个中央处理器（CPU，Central Processing Unit）、图形处理器（GPU，Graphics Processing Unit）、基带处理器（BP，Base Processor）、应用专用集成电路（ASIC，Application SpecificIntegrated Circuit）、数字信号处理器（Digital Signal Processor，DSP）、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）、通用处理器、控制器、微控制器（MCU，Micro Controller Unit）、微处理器（Microprocessor）、或其他电子元件实现，用于执行前述实施例的AGV的飞行时间相机外参标定方法的步骤。
在本公开实施例中，图4示出的AGV的飞行时间相机外参标定方法装置中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
下面，参考图5来描述根据本申请实施例的电子设备11。
如图5所示，电子设备11包括一个或多个处理器111和存储器112。
处理器111可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。
存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本申请的各个实施例的验证方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
该输入装置113可以包括例如键盘、鼠标等等。
该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种AGV的飞行时间相机外参标定方法，其特征在于，所述方法包括：
获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；
基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；
基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；
基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；
确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；
确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；
将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程，包括：
对所述第一点云数据采用随机抽样一致RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；
采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。
3.根据权利要求1所述的方法，其特征在于，在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，所述方法还包括：
遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。
4.根据权利要求3所述的方法，其特征在于，所述确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段，包括：
对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；
将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。
5.根据权利要求2所述的方法，其特征在于，提取第二平面及第三平面之后，所述方法还包括：
检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。
6.一种AGV的飞行时间相机外参标定装置，其特征在于，所述装置包括：
获取单元，用于获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；
第一确定单元，用于基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；
第二确定单元，用于基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；
第三确定单元，用于基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；
第四确定单元，用于确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；
第五确定单元，用于确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；
第六确定单元，用于将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。
7.根据权利要求6所述的装置，其特征在于，所述第一确定单元，还用于：
对所述第一点云数据采用RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；
采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。
8.根据权利要求6所述的装置，其特征在于，所述第六确定单元在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，还用于：
遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。
9.根据权利要求8所述的装置，其特征在于，所述第六确定单元，还用于：
对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；
将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。
10.根据权利要求7所述的装置，其特征在于，所述第一确定单元在提取第二平面及第三平面之后，还用于：
检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的AGV的飞行时间相机外参标定方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的AGV的飞行时间相机外参标定方法的步骤。
CN202110828007.2A 2021-07-22 2021-07-22 Agv的tof相机外参标定方法及装置、电子设备 Active CN113284197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110828007.2A CN113284197B (zh) 2021-07-22 2021-07-22 Agv的tof相机外参标定方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110828007.2A CN113284197B (zh) 2021-07-22 2021-07-22 Agv的tof相机外参标定方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN113284197A true CN113284197A (zh) 2021-08-20
CN113284197B CN113284197B (zh) 2021-11-23

Family

ID=77286928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110828007.2A Active CN113284197B (zh) 2021-07-22 2021-07-22 Agv的tof相机外参标定方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN113284197B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063489A (zh) * 2022-05-18 2022-09-16 北京高仙智能科技发展有限公司 一种外参标定方法、装置、设备和存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205340A1 (en) * 2008-08-12 2011-08-25 Iee International Electronics & Engineering S.A. 3d time-of-flight camera system and position/orientation calibration method therefor
US20150036885A1 (en) * 2012-01-20 2015-02-05 Esg Elektroniksystem-Und Logistik-Gmbh Method and device for online calibration of vehicle cameras
GB201513468D0 (en) * 2015-07-30 2015-09-16 Guidance Automation Ltd Calibrating an automated guided vehicle
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
CN108088391A (zh) * 2018-01-05 2018-05-29 深度创新科技（深圳）有限公司 一种三维形貌测量的方法和系统
CN108955685A (zh) * 2018-05-04 2018-12-07 北京航空航天大学 一种基于立体视觉的加油飞机锥套位姿测量方法
CN109100744A (zh) * 2018-07-27 2018-12-28 深圳蓝胖子机器人有限公司 用于agv的目标定位方法及系统
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
US20190180121A1 (en) * 2016-09-29 2019-06-13 Conti Temic Microelectronic Gmbh Detection of Objects from Images of a Camera
CN110176038A (zh) * 2018-02-21 2019-08-27 法可赛阿达斯独资有限公司 校准车辆的摄像头的方法和系统
CN110390719A (zh) * 2019-05-07 2019-10-29 香港光云科技有限公司 基于飞行时间点云重建设备
CN110796694A (zh) * 2019-10-13 2020-02-14 西北农林科技大学 一种基于KinectV2的果实三维点云实时获取方法
CN110852180A (zh) * 2019-10-17 2020-02-28 上海快仓智能科技有限公司 用于自动引导车的tof相机标定方法及自动引导车
JP2020052977A (ja) * 2018-09-28 2020-04-02 日本コントロールシステム株式会社 情報処理装置、情報処理方法、およびプログラム
US10726579B1 (en) * 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
US20200247613A1 (en) * 2019-02-06 2020-08-06 Crown Equipment Corporation Systems and methods for end of aisle protection and vehicle position calibration using rack leg identification
CN111681282A (zh) * 2020-06-18 2020-09-18 浙江大华技术股份有限公司 一种栈板识别处理方法及装置
US20200333789A1 (en) * 2018-01-12 2020-10-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and medium
CN112541950A (zh) * 2019-09-20 2021-03-23 杭州海康机器人技术有限公司 一种深度相机外参的标定方法、及装置
CN112883955A (zh) * 2021-03-10 2021-06-01 洛伦兹（北京）科技有限公司 货架布局检测方法、装置及计算机可读存储介质
CN112946612A (zh) * 2021-03-29 2021-06-11 上海商汤临港智能科技有限公司 外参标定方法、装置、电子设备及存储介质
CN112946591A (zh) * 2021-02-26 2021-06-11 商汤集团有限公司 外参标定方法、装置、电子设备及存储介质
CN113066050A (zh) * 2021-03-10 2021-07-02 天津理工大学 一种基于视觉的空投货台航向姿态解算方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205340A1 (en) * 2008-08-12 2011-08-25 Iee International Electronics & Engineering S.A. 3d time-of-flight camera system and position/orientation calibration method therefor
US20150036885A1 (en) * 2012-01-20 2015-02-05 Esg Elektroniksystem-Und Logistik-Gmbh Method and device for online calibration of vehicle cameras
GB201513468D0 (en) * 2015-07-30 2015-09-16 Guidance Automation Ltd Calibrating an automated guided vehicle
US20190180121A1 (en) * 2016-09-29 2019-06-13 Conti Temic Microelectronic Gmbh Detection of Objects from Images of a Camera
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
CN108088391A (zh) * 2018-01-05 2018-05-29 深度创新科技（深圳）有限公司 一种三维形貌测量的方法和系统
US20200333789A1 (en) * 2018-01-12 2020-10-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and medium
CN110176038A (zh) * 2018-02-21 2019-08-27 法可赛阿达斯独资有限公司 校准车辆的摄像头的方法和系统
CN108955685A (zh) * 2018-05-04 2018-12-07 北京航空航天大学 一种基于立体视觉的加油飞机锥套位姿测量方法
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109100744A (zh) * 2018-07-27 2018-12-28 深圳蓝胖子机器人有限公司 用于agv的目标定位方法及系统
JP2020052977A (ja) * 2018-09-28 2020-04-02 日本コントロールシステム株式会社 情報処理装置、情報処理方法、およびプログラム
US20200247613A1 (en) * 2019-02-06 2020-08-06 Crown Equipment Corporation Systems and methods for end of aisle protection and vehicle position calibration using rack leg identification
CN110390719A (zh) * 2019-05-07 2019-10-29 香港光云科技有限公司 基于飞行时间点云重建设备
CN112541950A (zh) * 2019-09-20 2021-03-23 杭州海康机器人技术有限公司 一种深度相机外参的标定方法、及装置
CN110796694A (zh) * 2019-10-13 2020-02-14 西北农林科技大学 一种基于KinectV2的果实三维点云实时获取方法
CN110852180A (zh) * 2019-10-17 2020-02-28 上海快仓智能科技有限公司 用于自动引导车的tof相机标定方法及自动引导车
US10726579B1 (en) * 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
CN111681282A (zh) * 2020-06-18 2020-09-18 浙江大华技术股份有限公司 一种栈板识别处理方法及装置
CN112946591A (zh) * 2021-02-26 2021-06-11 商汤集团有限公司 外参标定方法、装置、电子设备及存储介质
CN112883955A (zh) * 2021-03-10 2021-06-01 洛伦兹（北京）科技有限公司 货架布局检测方法、装置及计算机可读存储介质
CN113066050A (zh) * 2021-03-10 2021-07-02 天津理工大学 一种基于视觉的空投货台航向姿态解算方法
CN112946612A (zh) * 2021-03-29 2021-06-11 上海商汤临港智能科技有限公司 外参标定方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Z LIU等: ""Calibration of the relative orientation between multiple depth cameras based on a three-dimensional target"", 《OPTICAL SENSORS》 *
杨超 等: ""基于非线性优化的激光雷达在线标定算法"", 《计算机工程与设计 》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063489A (zh) * 2022-05-18 2022-09-16 北京高仙智能科技发展有限公司 一种外参标定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN113284197B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
JP6830139B2 (ja) ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
CN109116374B (zh) 确定障碍物距离的方法、装置、设备及存储介质
US11080878B2 (en) Method and apparatus for detecting 3D object from 2D image
CN110673107B (zh) 基于多线激光雷达的路沿检测方法及装置
US20230386076A1 (en) Target detection method, storage medium, electronic device, and vehicle
CN110782517B (zh) 点云标注方法、装置、存储介质及电子设备
KR102595485B1 (ko) 차량용 장애물 회피 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
CN108805075A (zh) 行车轨迹线获取方法、装置以及电子设备
WO2021056516A1 (zh) 目标检测方法、设备及可移动平台
CN113284197B (zh) Agv的tof相机外参标定方法及装置、电子设备
WO2024066943A1 (zh) 应用于车辆的智能泊车车辆定位的方法
EP4152205A1 (en) Data point identification method, identification device, and computer readable storage medium
CN115861632A (zh) 一种基于图卷积的视觉激光融合的三维目标检测方法
CN112465908B (zh) 一种物体定位方法、装置、终端设备及存储介质
CN113052892A (zh) 一种车辆货物体积计算方法、装置及存储介质
CN110827337B (zh) 确定车载相机的姿态的方法、装置和电子设备
CN108961337B (zh) 车载相机航向角标定方法和装置、电子设备以及车辆
CN112115739A (zh) 一种车辆状态量信息获取方法及装置
CN112835063B (zh) 物体动静属性的确定方法、装置、设备及存储介质
CN114910892A (zh) 一种激光雷达的标定方法、装置、电子设备及存储介质
CN115147813A (zh) 基于物体空间特征的稀疏点云处理方法、系统、设备及介质
CN113361601A (zh) 基于无人车激光雷达数据进行透视与俯瞰特征融合的方法
CN113063396A (zh) 一种半挂车夹角的检测方法、装置、设备及存储介质
CN111968071A (zh) 车辆的空间位置生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant