CN116736259A - 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置 - Google Patents

一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置 Download PDF

Info

Publication number
CN116736259A
CN116736259A CN202310896923.9A CN202310896923A CN116736259A CN 116736259 A CN116736259 A CN 116736259A CN 202310896923 A CN202310896923 A CN 202310896923A CN 116736259 A CN116736259 A CN 116736259A
Authority
CN
China
Prior art keywords
laser
pixel
tower crane
coordinates
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310896923.9A
Other languages
English (en)
Inventor
刘锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyland Technology Co Ltd
Original Assignee
Kyland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyland Technology Co Ltd filed Critical Kyland Technology Co Ltd
Priority to CN202310896923.9A priority Critical patent/CN116736259A/zh
Publication of CN116736259A publication Critical patent/CN116736259A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供了一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置，所述方法包括：识别相机获得的相机图像中第一像素，第一像素为塔吊周边环境中的特征点对应的像素；根据相机坐标的参数把激光点云投影到相机图像中，获得第二像素；根据第一像素对应的所述特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光坐标系与世界坐标系间的标定参数。本发明的技术方案应用在塔吊的自动驾驶过程中，无论在塔吊的任何驾驶位置都可以自动获得塔吊激光雷达的激光坐标系与世界坐标系的标定参数，用于根据该标定参数利用塔吊环境中激光坐标获得其世界坐标，以用于塔吊自动驾驶时计算障碍物轮廓。

Description

一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置
技术领域
本发明涉及智能控制领域，尤其涉及一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置。
背景技术
塔吊要完成智能(自动)驾驶，需要对塔吊周围环境进行重建。用激光雷达SALM对周围环境进行三维重建时，需要知道重建点云地图与塔吊本身之间的位姿关系，即用外参矩阵把重建的点云地图换算到世界坐标系，再换算到塔吊坐标系下。
现有技术在把点云地图换算到世界坐标系中融合使用激光雷达与相机，其首要前提是对激光雷达与相机的空间位置进行对应，以保证二者在空间上的坐标统一，从而利用特征点的世界坐标与激光坐标实现激光坐标系与世界坐标系的标定。
现有技术在进行所述对应时，主要采用棋盘标定板，让激光雷达与相机同时看到标定板，然后在雷达点云数据和相机图像数据手动选取多组对应点，计算出相机与激光雷达的外参信息。但塔吊驾驶过程中，激光雷达位置在变化，激光点云的激光坐标还与建图的起始点有关，所以需要每次建图时手动进行所述对应，导致无法实现激光点云坐标的自动标定。
发明内容
有鉴于此，本发明实施例提供了一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置。
第一方面，本发明实施例提供了一种用于塔吊自动驾驶的激光点云坐标标定的方法，包括：识别相机获得的相机图像中第一像素，第一像素为塔吊周边环境中的特征点对应的像素；根据相机坐标的参数把激光点云投影到相机图像中，获得第二像素，第二像素为所述激光点云各点在相机图像中投影点，所述激光点云为激光雷达扫描包含所述特征点的真实世界而获得；根据第一像素对应的所述特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光雷达的激光坐标系与世界坐标系间的标定参数，用于根据该标定参数利用塔吊环境中激光坐标获得其世界坐标，以用于塔吊自动驾驶时计算障碍物轮廓。
由上，通过相机图中特征点自动识别和激光点云投影到相机图像中，自动获得若干个特征点的激光坐标与世界坐标，从而在塔吊的自动驾驶过程中，无论塔吊上的激光雷达随塔吊驾驶到任何位置都可以自动获得塔吊上激光雷达的激光坐标系与世界坐标系的标定参数，从而利用该标定参数根据塔吊环境中激光坐标获得其世界坐标，以用于塔吊自动驾驶时计算障碍物轮廓和规划及修正塔吊的避障路径，从而用于实现塔吊自动驾驶。
第一方面的一种可能实施方式中，所述激光点云的激光坐标系根据所述激光点云建图的起始位置确定。
由上，塔吊上激光雷达的激光坐标系不仅根据激光雷达在塔吊上安装的位置有关，还与也就是塔吊驾驶过程中的位置有关，激光雷达在塔吊上安装的位置和塔吊驾驶过程共同确定了激光点云建图的起始位置，在激光点云建图的每个起始位置，都可以自动获得塔吊上激光雷达的激光坐标系与世界坐标系的标定参数，从而避免在塔吊每个运动位置的手动标定。
在第一方面的一种可能实施方式中，所述特征点包括若干个特征图的4个角和中心点，所述特征图为棋盘或二维码。
由上，通过把每个特征图的4个角和中心点作为特征点，从而利用特征图的特征在相机图像中精确识别各特征点。
在第一方面的一种可能实施方式中，所述的根据第一像素对应的所述特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光雷达的激光坐标系与世界坐标系的标定参数，包括：根据第一像素和第二像素的像素坐标，识别与每个第一像素距离最近的第二像素；根据每个第一像素对应的所述特征点的世界坐标和与该第一像素的最近的第二像素对应的激光坐标，获得激光坐标系与世界坐标系间的标定参数。
由上，通过把识别的特征点和激光点云在相机图像上投影点对应，从而通过特征点的世界坐标和对应的激光坐标，精确获得激光雷达的激光坐标系与世界坐标系的标定参数。
在第一方面的一种可能实施方式中，所述相机与所述激光雷达安装位置相同且视野匹配。
由上，通过相机与激光雷达位置相同且视野匹配，从而获得相机坐标系与激光坐标系的外参。
在第一方面的一种可能实施方式中，所述的识别相机获得的相机图像中第一像素，包括：通过对多帧的相机图像中特征图进行累积识别，获得识别的特征图中的特征点对应的像素。
由上，通过对多帧的相机图像中特征图进行累积识别，解决环境和天气对相机图像影响，提高特征点的识别精度。
在第一方面的一种可能实施方式中，还包括：根据激光坐标系与世界坐标系的标定参数把所述激光点云投影到世界坐标系中，获得所述激光点云各点的世界坐标。
由上，通过获得激光坐标系与世界坐标系的标定参数，获得激光点云各点的世界坐标，以进行自动驾驶。
第二方面，本发明实施例提供了一种用于塔吊自动驾驶的激光点云坐标标定的装置，包括：特征点识别模块，用于识别相机获得的相机图像中第一像素，第一像素为塔吊周边环境中的特征点对应的像素；点云投影模块，用于根据相机坐标的参数把激光点云投影到相机图像中，获得第二像素，第二像素为所述激光点云各点在相机图像中投影点，所述激光点云为激光雷达扫描包含所述特征点的塔吊环境而获得；标定获得模块，用于根据第一像素对应的所述特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光坐标系与世界坐标系间的标定参数，用于根据该标定参数利用塔吊环境中激光坐标获得其世界坐标，以用于塔吊自动驾驶时计算障碍物轮廓。
由上，通过相机图中特征点自动识别和激光点云投影到相机图像中，自动获得若干个特征点的激光坐标与世界坐标，从而在塔吊的自动驾驶过程中，无论塔吊上的激光雷达随塔吊驾驶到任何位置都可以自动获得塔吊上激光雷达的激光坐标系与世界坐标系的标定参数，从而利用该标定参数根据塔吊环境中激光坐标获得其世界坐标，以用于塔吊自动驾驶时计算障碍物轮廓和规划及修正塔吊的避障路径，从而实现塔吊的自动驾驶。
第二方面的一种可能实施方式中，所述激光点云的激光坐标系根据所述激光点云建图的起始位置确定。
由上，塔吊上激光雷达的激光坐标系不仅根据激光雷达在塔吊上安装的位置有关，还与也就是塔吊驾驶位置有关，激光雷达在塔吊上安装的位置和塔吊驾驶位置共同确定了激光点云建图的起始位置，在激光点云建图的每个起始位置，都可以自动获得塔吊上激光雷达的激光坐标系与世界坐标系的标定参数，从而避免在塔吊每个运动位置的手动标定。
在第二方面的一种可能实施方式中，所述特征点包括若干个特征图的4个角和中心点，所述特征图为棋盘或二维码。
由上，通过把每个特征图的4个角和中心点作为特征点，从而利用特征图的特征在相机图像中精确识别各特征点。
在第二方面的一种可能实施方式中，所述标定获得模块具体用于，包括：根据第一像素和第二像素的像素坐标，识别与每个第一像素距离最近的第二像素；根据每个第一像素对应的所述特征点的世界坐标和与该第一像素的最近的第二像素对应的激光坐标，获得激光坐标系与世界坐标系的标定参数。
由上，通过把识别的特征点和激光点云在相机图像上投影点对应，从而通过特征点的世界坐标和对应的激光坐标，精确获得激光坐标系与世界坐标系的标定参数。
在第二方面的一种可能实施方式中，所述相机与所述激光雷达安装位置相同且视野匹配。
由上，通过相机与激光雷达位置相同且视野匹配，从而获得相机坐标系与激光坐标系间的外参。
在第二方面的一种可能实施方式中，所述特征点识别模块具体用于通过对多帧的相机图像中特征图进行累积识别，获得识别的特征图中的特征点对应的像素。
由上，通过对多帧的相机图像中特征图进行累积识别，解决环境和天气对相机图像影响，提高特征点的识别精度。
在第二方面的一种可能实施方式中，世界坐标获得模块，用于根据激光坐标系与世界坐标系的标定参数把所述激光点云投影到世界坐标系中，获得所述激光点云各点的世界坐标。
由上，通过获得激光坐标系与世界坐标系的标定参数，获得激光点云各点的世界坐标，从而进行塔吊的自动驾驶。
第三方面，本发明实施例提供了一种塔吊控制器，包括：第二方面任一实施方式所述装置。
第四方面，本发明实施例提供了一种塔吊，包括：第三方面所述塔吊控制器、相机和激光雷达。
第五方面，本发明实施例提供了一种计算设备，包括，总线；通信接口，其与所述总线连接；至少一个处理器，其与所述总线连接；以及至少一个存储器，其与所述总线连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行第一方面任一实施方式所述的方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行第一方面任一实施方式所述的方法。
附图说明
图1为本发明的一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的流程示意图；
图2为本发明的一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的流程示意图；
图3为本发明的一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例一的结构示意图；
图4为本发明的一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例二的结构示意图；
图5为本发明各实施例的计算设备的结构示意图。
具体实施方式
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三等”或模块A、模块B、模块C等，仅用于区别类似的对象，或用于区别不同的实施例，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
在以下的描述中，所涉及的表示步骤的标号，如S110、S120……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
本发明应用在塔吊的自动驾驶过程中，塔吊上安装激光雷达和相机，激光雷达获取塔吊环境的激光点云，相机获得塔吊环境的图像，在塔吊自动驾驶过程中激光雷达的位置随着塔吊驾驶过程而变化，激光雷达的激光坐标系与世界坐标系间的标定参数也在变化，需要随激光雷达的位置自动标定。
在本发明实施例的标定方法中，自动识别相机图像中的特征点，并把其与激光点云投影到相机图像的像素点对应，以获得特征点的激光坐标与世界坐标；根据特征点的激光坐标与世界坐标获得塔吊环境中激光坐标系与世界坐标系间的标定参数，无需每次根据塔吊驾驶过程中的激光雷达位置进行手动标定，利用该标定参数将塔吊环境采集到的任一激光点的激光坐标转换成世界坐标。
在塔吊控制器控制塔吊驾驶过程中，激光坐标系与世界坐标系间标定一直自动进行，利用当前获得的标定参数确定塔吊环境中各点的世界坐标，据此识别出的塔吊周围各障碍物轮廓点后，利用各障碍物轮廓点的世界坐标和吊装物轮廓点的世界坐标规划或修正避障路径，规划出塔吊吊装轨迹点，再将塔吊吊装轨迹点的世界坐标转换为塔吊各轴时运动的轴坐标，控制塔吊的各个轴实现无人干预的塔吊自动驾驶。
下面先结合图1和图2介绍一种用于塔吊自动驾驶的激光点云坐标标定的各方法实施例。
一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一中，包括：识别相机获得的相机图像中第一像素，第一像素为塔吊周边环境中的若干个特征点对应的像素；根据相机坐标的参数把激光点云投影到相机图像中，获得第二像素，第二像素为所述激光点云各点在相机图像中投影点，所述激光点云为所述激光雷达扫描包含所述特征点的塔吊环境真实世界而获得；根据第一像素对应的所述特征点的世界坐标和第二像素对应的激光坐标，获得激光坐标系与世界坐标系的标定参数，以用来进行激光雷达的激光坐标系与世界坐标系的标定。
图1示出了一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的流程，包括步骤S110至S140。
S110：利用相机和激光雷达分别获得包含若干个特征点的塔吊环境的相机图像和激光点云。
在一些实施例中，特征点为若干个特征图中的4个角和中心点，各特征点的世界坐标已知，用全站仪或者GNSS等给出每个AprilTag码的四个角点和中心点的世界坐标。AprilTag码图或黑白格的姿态不限，特征图为棋盘或二维码，二维码可以为AprilTag码。
在一些实施例中，相机和激光雷达按照位置相同，从而使相机坐标系与激光坐标系间之间的标定参数容易获得。在一些实施例中，相机和激光雷达的视野匹配，从而使相机图像与激光点云匹配。
其中，激光点云中各点激光坐标不仅与激光雷达安装位置相关，还与激光点云建图的起始位置(与塔吊驾驶的位置)有关。
S120：识别相机图像中第一像素，获得各第一像素的像素坐标和世界坐标。
其中，各第一像素为塔吊环境中的特征点对应的像素，每个第一像素的像素坐标根据该第一像素在相机图像中二维序号获得。
在一些实施例中利用机械学习或深度学习或图像处理识别相机图像中特征点，从而获得各第一像素对应的特征点的世界坐标。
在一些实施例中，当特征点为特征图的4个角和中心点时，至少识别5个特征图。
在一些实施例中，通过对多帧相机图像中特征图进行累积的识别，获得识别的特征图中的特征点对应的像素即第一像素，从而提高识别精度。
S130：根据相机坐标的参数把激光点云投影到相机图像中，获得第二像素的像素坐标。
其中，第二像素为激光点云各点在相机图像中投影点，每个第二像素的像素坐标与该第二像素在相机图像中二维序号一一对应，每个第二像素对应的激光坐标为激光点云中相应点的激光坐标。
在一些实施例中，相机坐标的参数包括提前获得的相机内参、畸变参数、相机坐标系与激光坐标系间的标定参数，该标定参数又称为相机坐标系与激光坐标系间的外参。
S140：根据第一像素对应的特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光雷达的激光坐标系与世界坐标系的标定参数。
其中，激光坐标系与世界坐标系的标定参数用于把激光坐标转换为世界坐标。激光坐标系随着激光点云建图的起始位置(该起始位置根据塔吊驾驶位置和激光雷达的安装位置而确定)，该标定参数也随着激光点云建图的起始位置而变化。获得该标定参数的过程也称为激光雷达的外参标定。
在一些实施例中，根据第一像素和第二像素的像素坐标，识别与每个第一像素距离最近的第二像素，与一第一像素距离最近的第二像素和该第一像素在塔吊真实环境中可以认为是同一个特征点；根据每个第一像素对应的世界坐标和与该第一像素的最近的第二像素对应的激光坐标，获得激光坐标系与世界坐标系的标定参数。在另一些实施例中，根据激光点云的各点值设置第二像素的像素坐标的灰度，根据各第二像素的灰度识别其中的特征点，并与第一像素进行匹配；再根据第一像素对应的世界坐标和从第二像素中识别出的特征点的激光坐标，获得激光坐标系与世界坐标系的标定参数。
在一些实施例中，激光坐标系与世界坐标系的标定参数组成一个4*4的标定矩阵，激光坐标的扩展向量(激光坐标的三维坐标与值为1的第四维构成的向量)与该标定乘积等于世界坐标的扩展向量(世界坐标的三维坐标与值为1的第四维构成的向量)，所以求解激光坐标系与世界坐标系的标定参数至少需要(4*4/3向上取整为6)个特征点。在其中一些实施例中，为了提高精度，使用5个特征图，25个特征点。
在一些实施例中，还根据激光雷达的激光坐标系与世界坐标系的标定参数把激光点云投影到世界坐标系中，获得激光点云各点的世界坐标。在其中一些实施例中，根据塔吊环境中各点的世界坐标识别障碍物并确定障碍物各轮廓点的世界坐标；在其中另一些实施例中，根据塔吊环境的激光点云识别障碍物各轮廓点的位置，获得障碍物各轮廓点的世界坐标。根据获得的障碍物的轮廓各点的世界坐标和吊钩或所吊物的轮廓各点的世界坐标进行避障路径设计，以进行塔吊自动驾驶。
综上，一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一中，通过识别相机获得的相机图像中真实世界中的特征点对应的像素，通过把激光点云投影到相机图像获得激光点云各点在相机图像中对应像素，再通过把二者匹配获得特征点的激光坐标与世界坐标，并据此获得激光雷达的激光坐标系与世界坐标系的标定参数。本实施例的技术方案应用在塔吊的自动驾驶过程中，无论塔吊上的激光雷达在塔吊驾驶的任何位置都可以实现激光雷达的激光坐标系与世界坐标系的标定参数，从而根据该标定参数利用塔吊环境中激光坐标获得其世界坐标，以用于塔吊自动驾驶时计算障碍物轮廓和规划及修正塔吊的避障路径，从而用于实现塔吊的自动驾驶。
一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二是一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的详细实施方式，具有一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的所有优点。
图2示出了一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的流程，包括步骤S210至S270。
S210：利用相机和激光雷达分别获得包含至少5个AprilTag码图的塔吊环境的相机图像和激光点云。
其中，相机和激光雷达安装在塔吊上，安装位置相同且视野匹配，从而使相机图像与激光点云匹配，可以根据工作距离、相机分辨率来选用合适大小的AprilTag码图。
其中，激光点云中各点激光坐标不仅与激光雷达安装位置相关，还与激光点云建图的起始位置有关。在激光雷达建图的初始位置处，保持AprilTag码相机与激光雷达的光路上无遮挡。
其中，每个AprilTag码图的4个角和中心点为特征点，每个特征点的世界坐标已知，AprilTag码图的姿态不限。用全站仪或者GNSS等给出每个AprilTag码图的特征点的世界坐标。
其中，定义以塔基在地面中心点为坐标原点的世界坐标系，北向为x正方向，西向为y正方向，竖直向上为z正方向，任一点的世界坐标用(xw,yw，zw)表示。激光点云中任一点的激光坐标为(xl，yl，zl),相机图像中任一点像素用(u，v)表示。
S220：从相机图像中至少识别出5个AprilTag码图，识别出的码图中特征点组成第一像素集合AUV。
其中，第一像素为识别出的码图中特征点，每个第一像素的世界坐标提前已知，其像素坐标根据其在相机图像中的二维序号获得。示例地，AUV可以表示为{(ui，vi，xwi，ywi，zwi)，i＝1，2，...，N}，(ui，vi)为第一像素点i的像素坐标，(xwi，ywi，zwi)为第一像素点i的像素坐标的世界坐标。
其中，通过对多帧相机图像中AprilTag码图进行识别，获得各第一像素，并对各帧相机图像的识别结果累加，解决外界环境的影响，从而提高识别精度。
S230：根据相机内参、相机坐标系与激光坐标系间的外参，把激光点云投影到相机图像中，获得第二像素集合BUV。
其中，第二像素为激光点云各点在相机图像中投影点，利用相机内参、相机坐标系与激光坐标系间的外参进行投影，获得每个第二像素的像素坐标。
具体地，可以式(1)表示把激光点云投影到相机图像的过程。
其中，(xl，yl，zl)为第二像素的激光坐标，f为相机的焦距，R1为相机内参的矩阵，RT1为相机坐标系与激光坐标系的外参的矩阵，Zc为相机坐标系中的深度坐标也叫光轴坐标，根据RT1和激光坐标为(xl，yl，zl)可以获得Zc。
在一些实施例中，还利用相机的畸变参数对式(1)中获得的(u，v)进行修正。
示例地，BUV可以表示为{(ui，vi,xli,yli，zli)，i＝1，2，...，N}，(ui，vi)为第二像素点i的像素坐标，(xli，yli，zli)为第二像素点i的像素坐标的世界坐标。
S240：在集合BUV中查找与集合AUV中每个第一像素点最近的第二像素点，并通过在相机图像中序号建立第一像素点的世界坐标与其最近的第二像素点的激光坐标对应关系。
其中，每个第一像素点的世界坐标已知，每个第二像素点的激光坐标也已知。
其中，世界坐标系在塔吊的运动过程中保持不变。
S250：根据第一像素点的世界坐标与其最近的第二像素点的激光坐标对应关系，获得激光雷达当前的激光坐标系与世界坐标系的自动外参标定。
其中，根据第一像素点的世界坐标(xw，yw，zw)与其最近的第二像素点的激光坐标(xl，yl，zl)，利用式(2)建立关于RT2中每个元素的方程组，RT2为从世界坐标系到激光坐标系的外参。也可以反过来，获得从激光坐标系到世界坐标系的外参。
其中，因为第一像素点至少包括5个AprilTag码图的4个角和中心点，至少可以通过25点建立方程组，并利用数值优化解法(如最小二乘等方法)求解以求解激光坐标系与世界坐标系的标定参数之间4*4的转换矩阵RT2，从而完成了塔吊上激光坐标系与世界坐标系的自动外参标定。
需要强调的是：步骤S210至S250，激光点云的激光坐标系随着激光点云建图的起始位置而变化，该起始位置又与塔吊驾驶位置有关，激光雷达的激光坐标系与世界坐标系的自动外参标定随着塔吊驾驶位置一直自动进行。
S260：根据激光雷达当前的激光坐标系与世界坐标系的标定参数把激光点云投影到世界坐标系中，获得塔吊环境中各点的世界坐标。
其中，标定参数随着塔吊驾驶位置而变化，所以使用激光雷达当前的激光坐标系与世界坐标系的标定参数，来获得塔吊环境中各点的世界坐标。因为塔吊环境中的物体特别是障碍物在驾驶过程中也会发生变化，塔吊环境中各点的世界坐标随着塔吊驾驶过程及时获得。
S270：根据塔吊环境中各点的世界坐标，获得塔吊自动驾驶时的障碍物轮廓各点的世界坐标，以进行塔吊自动驾驶。
其中，塔吊环境中各点不仅包括塔吊驾驶过程中障碍物轮廓各点，还包括吊钩或所吊物的轮廓各点。在一些实施例中，根据塔吊环境中各点的世界坐标识别障碍物并确定障碍物各轮廓点的世界坐标；在另一些实施例中，根据塔吊环境的激光点云识别障碍物各轮廓点的位置，获得障碍物各轮廓点的世界坐标。根据塔吊驾驶过程中障碍物的轮廓各点的世界坐标和吊钩或所吊物的轮廓各点的世界坐标进行避障路径设计，以进行塔吊自动驾驶。
其中，避障路径设计完成后，在塔吊自动驾驶过程中还根据塔吊环境中新出现的障碍物修正避障路径。
其中，当塔吊驾驶过程中的避障路径修正完成后，还把避障路径的世界坐标转换为塔吊柱坐标，以便于通过控制塔吊各个轴实现塔吊无人自动驾驶。
下面结合图3至图4介绍本发明一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例。
一种一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例一用于塔吊的激光雷达的激光坐标系与世界坐标系的标定，执行一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的所述方法，具有其一切优点。
图3示出了一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例一的结构，包括：数据获得模块310、特征点识别模块320、点云投影模块330和标定获得模块340。
数据获得模块310，用于利用相机和激光雷达分别获得包含若干个特征点的塔吊环境的相机图像和激光点云。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的步骤S110。
特征点识别模块320，用于识别相机图像中第一像素，获得各第一像素的像素坐标和世界坐标。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的步骤S120。
点云投影模块330，用于根据相机坐标的参数把激光点云投影到相机图像中，获得第二像素的像素坐标。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的步骤S130。
标定获得模块340，用于根据第一像素对应的特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光坐标系与世界坐标系的标定参数。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例一的步骤S140。
一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例二为应用到塔吊的激光点云的激光坐标的标定中的详细实施方式，执行一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的所述方法，具有其一切优点。
图4示出了一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例二的结构，包括：数据获得模块410、特征点识别模块420、点云投影模块430、像素匹配模块440、标定获得模块450、世界坐标获得模块460和塔吊自动驾驶模块470。
数据获得模块410，用于利用相机和激光雷达分别获得包含至少5个AprilTag码图的塔吊周边环境的相机图像和激光点云。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的步骤S210。
特征点识别模块420，用于从相机图像中至少识别出5个AprilTag码图，识别出的码图中特征点组成第一像素集合AUV。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的步骤S220。
点云投影模块430，用于根据相机内参、相机坐标系与激光坐标系间的外参，把激光点云投影到相机图像中，获得第二像素集合BUV。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的步骤S230。
像素匹配模块440，用于在集合BUV中查找与集合AUV中每个第一像素点最近的第二像素点，并通过在相机图像中序号建立第一像素点的世界坐标与其最近的第二像素点的激光坐标对应关系。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的步骤S240。
标定获得模块450，用于根据第一像素点的世界坐标与其最近的第二像素点的激光坐标对应关系，获得激光雷达的激光坐标系与世界坐标系的自动外参标定。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的步骤S250。
世界坐标获得模块460，用于根激光雷达当前的激光坐标系与世界坐标系的标定参数把激光点云投影到世界坐标系中，获得塔吊环境的各点的世界坐标。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的步骤S260。
塔吊自动驾驶模块470，用于根据塔吊环境中各点的世界坐标，获得塔吊自动驾驶时的障碍物轮廓各点的世界坐标，以进行塔吊自动驾驶。其工作原理和优点请参照一种用于塔吊自动驾驶的激光点云坐标标定的方法实施例二的步骤S270。
本发明还提供了一种塔吊控制器实施例，包括：一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例一或一种用于塔吊自动驾驶的激光点云坐标标定的装置实施例二所述的装置。
本发明提供了一种塔吊实施例，包括：一种塔吊控制器实施例所述塔吊控制器、相机和激光雷达。
本发明实施例还提供了一种计算设备，下面结合图5详细介绍。
该计算设备500包括，处理器510、存储器520、通信接口530、总线540。
应理解，该图所示的计算设备500中的通信接口530可以用于与其他设备之间进行通信。
其中，该处理器510可以与存储器520连接。该存储器520可以用于存储该程序代码和数据。因此，该存储器520可以是处理器510内部的存储单元，也可以是与处理器510独立的外部存储单元，还可以是包括处理器510内部的存储单元和与处理器510独立的外部存储单元的部件。
可选的，计算设备500还可以包括总线540。其中，存储器520、通信接口530可以通过总线540与处理器510连接。总线540可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(EFStended Industry StandardArchitecture，EISA)总线等。所述总线550可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
应理解，在本发明实施例中，该处理器510可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器510采用一个或多个集成电路，用于执行相关程序，以实现本发明实施例所提供的技术方案。
该存储器520可以包括只读存储器和随机存取存储器，并向处理器510提供指令和数据。处理器510的一部分还可以包括非易失性随机存取存储器。例如，处理器510还可以存储设备类型的信息。
在计算设备500运行时，所述处理器510执行所述存储器520中的计算机执行指令执行方法实施例的操作步骤。
应理解，根据本发明实施例的计算设备500可以对应于执行根据本发明各实施例的方法中的相应主体，并且计算设备500中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行方法实施例的操作步骤。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的表)包括，具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，均属于本发明保护范畴。

Claims (10)

1.一种用于塔吊自动驾驶的激光点云坐标标定的方法，其特征在于，包括：
识别相机获得的相机图像中第一像素，第一像素为塔吊周边环境中的若干个特征点对应的像素；
根据相机坐标的参数把激光点云投影到相机图像中，获得第二像素，第二像素为所述激光点云各点在相机图像中投影点，所述激光点云为激光雷达扫描包含所述特征点的塔吊环境而获得；
根据第一像素对应的所述特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光雷达的激光坐标系与世界坐标系间的标定参数，用于根据该标定参数利用塔吊环境中激光坐标获得其世界坐标，以用于塔吊自动驾驶时计算障碍物轮廓。
2.根据权利要求1所述方法，其特征在于，所述激光点云的激光坐标系根据所述激光点云建图的起始位置确定。
3.根据权利要求1所述方法，其特征在于，所述特征点包括若干个特征图的4个角和中心点，所述特征图为棋盘或二维码。
4.根据权利要求1所述方法，其特征在于，所述的根据第一像素对应的所述特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光雷达的激光坐标系与世界坐标间系的标定参数，包括：
根据第一像素和第二像素的像素坐标，识别与每个第一像素距离最近的第二像素；
根据每个第一像素对应的所述特征点的世界坐标和与该第一像素的最近的第二像素对应的激光坐标，获得所述标定参数。
5.根据权利要求1所述方法，其特征在于，所述相机与所述激光雷达安装位置相同且视野匹配。
6.根据权利要求3所述方法，其特征在于，所述的识别相机获得的相机图像中第一像素，包括：通过对多帧的相机图像中特征图进行累积识别，获得识别的特征图中的特征点对应的像素。
7.根据权利要求1至6任一所述方法，其特征在于，还包括：根据所述标定参数把所述激光点云投影到世界坐标系中，获得所述激光点云各点的世界坐标。
8.一种用于塔吊自动驾驶的激光点云坐标标定的装置，其特征在于，包括：
特征点识别模块，用于识别相机获得的相机图像中第一像素，第一像素为塔吊周边环境中的特征点对应的像素；
点云投影模块，用于根据相机坐标的参数把激光点云投影到相机图像中，获得第二像素，第二像素为所述激光点云各点在相机图像中投影点，所述激光点云为激光雷达扫描包含所述特征点的塔吊环境而获得；
标定获得模块，用于根据第一像素对应的所述特征点的世界坐标和第一像素对应的第二像素相应的激光坐标，获得激光雷达的激光坐标系与世界坐标系间的标定参数，用于根据该标定参数利用塔吊环境中激光坐标获得其世界坐标，以用于塔吊自动驾驶时计算障碍物轮廓。
9.一种计算设备，其特征在于，包括，
总线；
通信接口，其与所述总线连接；
至少一个处理器，其与所述总线连接；以及
至少一个存储器，其与所述总线连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行权利要求1至7任一所述方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行权利要求1至7任一所述方法。
CN202310896923.9A 2023-07-20 2023-07-20 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置 Pending CN116736259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310896923.9A CN116736259A (zh) 2023-07-20 2023-07-20 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310896923.9A CN116736259A (zh) 2023-07-20 2023-07-20 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置

Publications (1)

Publication Number Publication Date
CN116736259A true CN116736259A (zh) 2023-09-12

Family

ID=87906114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310896923.9A Pending CN116736259A (zh) 2023-07-20 2023-07-20 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置

Country Status (1)

Country Link
CN (1) CN116736259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437303A (zh) * 2023-12-18 2024-01-23 江苏尚诚能源科技有限公司 一种标定相机外参的方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437303A (zh) * 2023-12-18 2024-01-23 江苏尚诚能源科技有限公司 一种标定相机外参的方法及系统
CN117437303B (zh) * 2023-12-18 2024-02-23 江苏尚诚能源科技有限公司 一种标定相机外参的方法及系统

Similar Documents

Publication Publication Date Title
CN110160502B (zh) 地图要素提取方法、装置及服务器
CN110148185B (zh) 确定成像设备坐标系转换参数的方法、装置和电子设备
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
CN104835173A (zh) 一种基于机器视觉的定位方法
JP7440005B2 (ja) 高精細地図の作成方法、装置、デバイス及びコンピュータプログラム
CN111207762B (zh) 地图生成方法、装置、计算机设备和存储介质
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN110766761B (zh) 用于相机标定的方法、装置、设备和存储介质
CN116736259A (zh) 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及系统
CN113808004B (zh) 图像变换装置、图像变换方法以及图像变换用计算机程序
CN112907745B (zh) 一种数字正射影像图生成方法及装置
CN111695497B (zh) 基于运动信息的行人识别方法、介质、终端和装置
US20220164595A1 (en) Method, electronic device and storage medium for vehicle localization
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
WO2022048193A1 (zh) 一种地图绘制方法及装置
CN115346041A (zh) 基于深度学习的点位标注方法、装置、设备及存储介质
CN114140608A (zh) 一种光伏板标记方法、装置、电子设备及存储介质
CN116266402A (zh) 对象自动标注方法、装置、电子设备及存储介质
CN116917936A (zh) 双目相机外参标定的方法及装置
CN116719009A (zh) 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置
US20230068375A1 (en) Method and system for detecting a three-dimensional object in a two-dimensional image
CN116067356A (zh) 基于结构平面图的机器人室内导航地图生成方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination