CN116051610A - 基于点云的集装箱对位控制方法、系统、设备及存储介质 - Google Patents

基于点云的集装箱对位控制方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116051610A
CN116051610A CN202310129957.5A CN202310129957A CN116051610A CN 116051610 A CN116051610 A CN 116051610A CN 202310129957 A CN202310129957 A CN 202310129957A CN 116051610 A CN116051610 A CN 116051610A
Authority
CN
China
Prior art keywords
container
point cloud
cloud data
real
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310129957.5A
Other languages
English (en)
Inventor
谭黎敏
黄自诚
史嘉俊
梁炽盛
孙作雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Westwell Information Technology Co Ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202310129957.5A priority Critical patent/CN116051610A/zh
Publication of CN116051610A publication Critical patent/CN116051610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了基于点云的集装箱对位控制方法、系统、设备及存储介质，该方法包括以下步骤：当跨运车吊起一集装箱，基于若干点云采集装置采集被吊起的集装箱的第一实时点云数据和周围其他集装箱的第二实时点云数据并稀疏化；基于稀疏化后的第一实时点云数据进行线段分割，对部分线段进行拟合，获得集装箱的类型以及顶面的至少两个相互垂直的边沿的局部轨迹组合，并预测集装箱的当前姿态；基于第二实时点云数据识别周遭的集装箱位置以获得最佳放箱位置；基于集装箱当前姿态与最佳放箱位置进行对齐。本发明能够大幅度降低集装箱对位控制的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱对位控制的精度。

Description

基于点云的集装箱对位控制方法、系统、设备及存储介质
背景技术
集装箱跨运车英文名straddle carrier，一般用于短中途运输集装箱，灵活，快速，系统多由液压驱动组成。集装箱跨运车是用于码头前沿和堆场水平搬运和堆码集装箱的专用机械，它以门形车架跨在集装箱上，由装有集装箱吊具的液压升降系统吊起集装箱，进行搬运，并可将集装箱堆码二，三层高。集装箱跨运车是集装箱装卸设备中的主力机型，通常承担由码头前沿到堆场的水平运输以及堆场的集装箱堆码工作。由于集装箱跨运车具有机动灵活、效率高、稳定性好、轮压低等特点，得到普遍的应用。集装箱跨运车作业对提高码头前沿设备的装卸效率十分有利。
在智能跨运车领域，集装箱自动化检测是很重要的一环，传统的作法普遍都基于三维激光雷达的ICP算法(迭代最近点，Iterative Closest Point,简称ICP)或者视觉相机的影像识别来进行检测，此种作法不可避免的都会占用大量CPU或者GPU的计算资源，假如是基于二维激光雷达或者其他雷射检测工具，又往往是单纯的对特定区域进行安全检验，没办法对跨运车和吊具进行高精度的姿态微调，其中，ICP算法是基于数据配准法，利用最近点搜索法，从而解决基于自由形态曲面的一种算法。
另外，由于集装箱体积大，重量大，跨运车搬运集装箱时会存在动能的累计，如果无法对集装箱的运动姿态进行准确预测，也会容易发生集装箱之间的碰撞。
有鉴于此，本发明提供了一种基于点云的集装箱对位控制方法、系统、设备及存储介质。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供基于点云的集装箱对位控制方法、系统、设备及存储介质，克服了现有技术的困难，能够大幅度降低集装箱对位控制的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱对位控制的精度。
本发明的实施例提供一种基于点云的集装箱对位控制方法，包括以下步骤：
S110、当跨运车吊起一集装箱，基于若干点云采集装置采集被吊起的集装箱的第一实时点云数据和周围其他集装箱的第二实时点云数据并稀疏化；
S120、基于稀疏化后的所述第一实时点云数据进行线段分割，对部分线段进行拟合，获得集装箱的类型以及顶面的至少两个相互垂直的边沿的局部轨迹组合，并预测所述集装箱的当前姿态；
S130、基于所述第二实时点云数据识别周遭的集装箱位置以获得最佳放箱位置；以及
S140、基于所述集装箱当前姿态与所述最佳放箱位置进行对齐。
优选地，所述步骤S110，还包括：
S111、当跨运车吊起一集装箱，设置于跨运车的部分激光雷达采集被吊起的所述集装箱的实时点云数据；
S112、将各所述集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合所述集装箱的第一点云数据；
S113、设置于跨运车的部分激光雷达采集周围其他集装箱的实时点云数据；
S114、将各所述周围其他集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合周围其他集装箱的第二实时点云数据。
优选地，所述步骤S111，还包括：
跨运车的车体外框的外侧分别设有4个激光雷达传感器，内侧分别斜向设置2个激光雷达传感器。
优选地，所述步骤S110，还包括：
S115、至少对所述第一点云数据进行稀疏化处理，分别过滤集装箱两端和两侧的部分点云，令过滤后的集装箱两端的点云密度大于集装箱两侧的点云密度。
优选地，所述步骤S120，还包括：
S121、基于稀疏化后的所述第一实时点云数据在预设集装箱数据集合中进行匹配，获得集装箱的类型；
S122、将所述第一实时点云数据拟合所述集装箱顶面并线段检测，切割为多个线段；
S123、选择所述跨运车的长度方向的至少一线段进行直线拟合，获得第一直线方向；
S124、选择所述跨运车的宽度方向的至少一线段进行直线拟合，获得第二直线方向；
S125、基于所述预设集装箱的类型、第一直线方向和第二直线方向，获得被吊起的集装箱的顶面的空间位姿；以及
S126、基于所述顶面的空间位姿获得所述集装箱的当前姿态。
优选地，所述步骤S121，包括：
S1211、基于稀疏化后的所述第一实时点云数据的最大长度在预设集装箱数据集合中进行匹配；
S1212、将预设集装箱的长度最接近的集装箱的类型作为被吊起的集装箱的类型。
优选地，所述步骤S122，包括：
S1221、基于稀疏化后的实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第三点云数据；
S1222、通过对第三点云数据进行平面拟合，获得一与第三点云数据中各点的距离总和最小的水平面；
S1223、将与所述水平面重合的点云作为集装箱顶面的第四点云数据；
S1224、对所述第四点云数据进行线段检测，并延长度方向和宽度方向分别切割为多个线段。
优选地，所述步骤S130，还包括：
S131、基于所述第二实时点云数据通过拟合获得周遭的集装箱的空间姿态；
S132、建立避让所述周遭的集装箱的空间姿态的最佳放箱位置。
优选地，所述步骤S140，包括：
令所述集装箱当前姿态与所述最佳放箱位置进行对齐，当所述集装箱当前姿态超出所述最佳放箱位置的空间范围，则暂停对位作业；或者
基于连续时序的所述集装箱当前姿态预测所述集装箱的未来姿态，当所述未来姿态超出所述最佳放箱位置的空间范围，则暂停当前的对位作业。
本发明的实施例还提供一种基于点云的集装箱对位控制系统，用于实现上述的基于点云的集装箱对位控制方法，基于点云的集装箱对位控制系统包括：
点云采集模块，当跨运车吊起一集装箱，基于若干点云采集装置采集被吊起的集装箱的第一实时点云数据和周围其他集装箱的第二实时点云数据并稀疏化；
当前姿态模块，基于稀疏化后的所述第一实时点云数据进行线段分割，对部分线段进行拟合，获得集装箱的类型以及顶面的至少两个相互垂直的边沿的局部轨迹组合，并预测所述集装箱的当前姿态；
最佳位置模块，基于所述第二实时点云数据识别周遭的集装箱位置以获得最佳放箱位置；以及
对位控制模块，基于所述集装箱当前姿态与所述最佳放箱位置进行对齐。
本发明的实施例还提供一种基于点云的集装箱对位控制设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述基于点云的集装箱对位控制方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于点云的集装箱对位控制方法的步骤。
本发明的基于点云的集装箱对位控制方法、系统、设备及存储介质，能够大幅度降低集装箱对位控制的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱对位控制的精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的基于点云的集装箱对位控制方法的流程图。
图2是本发明的基于点云的集装箱对位控制方法的实施过程流程示意图。
图3至9是本发明的基于点云的集装箱对位控制方法的实施过程的示意图。
图10是本发明的基于点云的集装箱对位控制系统的结构示意图。
图11是本发明的基于点云的集装箱对位控制设备的结构示意图。以及
图12是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本申请所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本申请中的各项细节也可以根据不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
在本申请的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了明确说明本申请，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它组件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
当说某器件在另一器件“之上”时，这可以是直接在另一器件之上，但也可以在其之间伴随着其它器件。当对照地说某器件“直接”在另一器件“之上”时，其之间不伴随其它器件。
虽然在一些实例中术语第一、第二等在本发明中用来表示各种组件，但是这些组件不应当被这些术语限制。这些术语仅用来将一个组件与另一个组件进行区分。例如，第一接口及第二接口等表示。再者，如同在本发明中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、组件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、组件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当组件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。
图1是本发明的基于点云的集装箱对位控制方法的流程图。如图1所示，本发明的实施例提供一种基于点云的集装箱对位控制方法，包括以下步骤：
S110、当跨运车吊起一集装箱，基于若干点云采集装置采集被吊起的集装箱的第一实时点云数据和周围其他集装箱的第二实时点云数据并稀疏化。
S120、基于稀疏化后的第一实时点云数据进行线段分割，对部分线段进行拟合，获得集装箱的类型以及顶面的至少两个相互垂直的边沿的局部轨迹组合，并预测集装箱的当前姿态。
S130、基于第二实时点云数据识别周遭的集装箱位置以获得最佳放箱位置。
S140、基于集装箱当前姿态与最佳放箱位置进行对齐，但不以此为限。
本方案提供了一种高效，针对性强且轻量化的方案，算法本身更聚焦在计算集装箱的特征，使其在大幅降低计算负荷和成本的同时，更高效稳定的检测出毫米级周遭和跨运车底下的集装箱姿态。
在一个优选实施例中，步骤S110，还包括：
S111、当跨运车吊起一集装箱，设置于跨运车的部分激光雷达采集被吊起的集装箱的实时点云数据。
S112、将各集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合集装箱的第一点云数据。
S113、设置于跨运车的部分激光雷达采集周围其他集装箱的实时点云数据。
S114、将各周围其他集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合周围其他集装箱的第二实时点云数据，但不以此为限。
在一个优选实施例中，步骤S111，还包括：
跨运车的车体外框的外侧分别设有4个激光雷达传感器，内侧分别斜向设置2个激光雷达传感器。当跨运车吊起一20尺的集装箱时，主要通过内侧分别斜向设置的2个激光雷达传感器来采集点云数据。当跨运车吊起一40尺、45尺的集装箱时，需要通过外侧设置的4个激光雷达传感器和内侧分别斜向设置的2个激光雷达传感器共同扫描后将点云信息拼合在一起来获得集装箱整体的点云数据。并且，外侧设置的4个激光雷达传感器可以主要用于采集周围其他集装箱的第二实时点云数据。本实施例中使用的激光雷达传感器就是激光雷达(英文：Laser Radar)，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对飞机、导弹等目标进行探测、跟踪和识别。它由激光发射机、光学接收机、转台和信息处理系统等组成，激光器将电脉冲变成光脉冲发射出去，光接收机再把从目标反射回来的光脉冲还原成电脉冲进行数据化。激光雷达(LiDAR)点云数据，是由三维激光雷达设备扫描得到的空间点的数据集，每一个点都包含了三维坐标信息，也是我们常说的X、Y、Z三个元素，有的还包含颜色信息、反射强度信息、回波次数信息等。激光点云数据，由车载激光扫描系统向周围发射激光信号，然后收集反射的激光信号得来的，再通过外业数据采集、组合导航、点云解算，便可以计算出这些点的准确空间信息，此处不再赘述。
在一个优选实施例中，步骤S110，还包括：
S115、至少对第一点云数据进行稀疏化处理，分别过滤集装箱两端和两侧的部分点云，令过滤后的集装箱两端的点云密度大于集装箱两侧的点云密度，但不以此为限。
在一个优选实施例中，步骤S120，还包括：
S121、基于稀疏化后的第一实时点云数据在预设集装箱数据集合中进行匹配，获得集装箱的类型。
S122、将第一实时点云数据拟合集装箱顶面并线段检测，切割为多个线段。
S123、选择跨运车的长度方向的至少一线段进行直线拟合，获得第一直线方向。
S124、选择跨运车的宽度方向的至少一线段进行直线拟合，获得第二直线方向。
S125、基于预设集装箱的类型、第一直线方向和第二直线方向，获得被吊起的集装箱的顶面的空间位姿。以及
S126、基于顶面的空间位姿获得集装箱的当前姿态，但不以此为限。
在一个优选实施例中，步骤S121，包括：
S1211、基于稀疏化后的第一实时点云数据的最大长度在预设集装箱数据集合中进行匹配。
S1212、将预设集装箱的长度最接近的集装箱的类型作为被吊起的集装箱的类型，但不以此为限。
在一个优选实施例中，步骤S122，包括：
S1221、基于稀疏化后的实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第三点云数据。由于吊具被集装箱的重力完全拉直，可以通过吊具的长度，获得集装箱上边的大致空间位置，例如，基于吊具之下5厘米的高度范围进行一个点云空间切片，则集装箱的顶面肯定在这个点云空间切片的范围内，但不以此为限。
S1222、通过对第三点云数据进行平面拟合，获得一与第三点云数据中各点的距离总和最小的水平面。
S1223、将与水平面重合的点云作为集装箱顶面的第四点云数据。
S1224、对第四点云数据进行线段检测，并延长度方向和宽度方向分别切割为多个线段，但不以此为限。
在一个优选实施例中，步骤S130，还包括：
S131、基于第二实时点云数据通过拟合获得周遭的集装箱的空间姿态。
S132、建立避让周遭的集装箱的空间姿态的最佳放箱位置，但不以此为限。
在一个优选实施例中，步骤S140，还包括：
令集装箱当前姿态与最佳放箱位置进行对齐，当集装箱当前姿态超出最佳放箱位置的空间范围，则暂停对位作业。或者
基于连续时序的集装箱当前姿态预测集装箱的未来姿态，当未来姿态超出最佳放箱位置的空间范围，则暂停当前的对位作业。
图2是本发明的基于点云的集装箱对位控制方法的实施过程流程示意图。参考图2，本发明放箱时调用此算法主要功能是安全考虑，其能高速的计算出周遭所有的集装箱所在位置，并找出最佳的放箱姿态，首先会将六颗激光数据搜集进来，对齐激光数据进行线段检测(SAC)，切割成多段线段后根据设置的参数进行拼接，之后根据底下四种工况来进行姿态估测及集装箱尺寸的识别，在通过激光雷达识别出多个集装箱后，会先根据多个集装箱进一步识别当下工况，找出重点关注的集装箱进行箱门识别，最后针对重点关注的集装箱姿态进行风险评估并估算出最佳放箱姿态，以此来调整跨运车位置和吊具的姿态，最终达到2cm以内的误差。其中，线段检测是为提高数字图像中的直线的检测速度，从时频域变换和空间域变换两个角度出发，提出的一种改进型数字图像中直线快速检测方法。首先，采用小波提升提取图像中的低频轮廓信息，抑制高频噪声。然后，对像素降低后的图像进行二值化处理；基于"两点确定一条直线"以及Hough变换过程中"图像空间中一条直线上的多个点对应参数空间中一个点"的原理，按照从局部到整体的检测顺序，将二值化后图像空间中的非零点映射到参数空间中具有较大存在概率的累加单元，而不是所有可能的累加单元。最后，对累加单元进行统计，以确定图像中直线的参数。线段(直线)的几何特征是线上的点梯度方向相近，搜索聚类相同梯度的方向的区域，即是潜在线段的区域，使用该区域点集即可拟合成直线；本实施例中，进行线段检测的步骤包括计算图像梯度并向量化，分割具有相同梯度的区域，并将线段区域的点集拟合成线段，但不以此为限。
以下通过图3至9来接替介绍本发明的实施过程：
图3至9是本发明的基于点云的集装箱对位控制方法的实施过程的示意图。参考图3所示，车体外框1为跨运车本体，接着会在车上安装六颗单线激光雷达3，两颗对内，四颗对外，此种硬体配置，可以针对20尺，40尺，45尺这三种类型的集装箱21(图3中展示的是吊装20尺集装箱的模式)进行误差小于2cm的检测跟抓取。跨运车的车体外框的外侧分别设有4个激光雷达3传感器，内侧分别斜向设置2个激光雷达3传感器。当跨运车吊起一20尺的集装箱时，主要通过内侧分别斜向设置的2个激光雷达3传感器来采集点云数据。当跨运车吊起一40尺、45尺的集装箱时，需要通过外侧设置的4个激光雷达3传感器和内侧分别斜向设置的2个激光雷达3传感器共同扫描后将各自获得的点云信息在跨运车的车体坐标系下拼合在一起来获得集装箱整体的点云数据。
参考图4所示，当跨运车1吊起一集装箱21，设置于跨运车1的两个激光雷达3分别采集集装箱的实时点云数据。将各集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合集装箱的第一点云数据。设置于跨运车的部分激光雷达3采集周围其他集装箱的实时点云数据。将各周围其他集装箱22的实时点云数据投影到跨运车的车体坐标系中，拼合周围其他集装箱的第二实时点云数据。然后，至少对第一点云数据进行稀疏化处理，分别过滤集装箱两端和两侧的部分点云，令过滤后的集装箱两端的点云密度大于集装箱两侧的点云密度。
参考图5所示，基于稀疏化后的第一实时点云数据的最大长度在预设集装箱数据集合中进行匹配。将预设集装箱的长度最接近的集装箱的类型作为被吊起的集装箱的类型，本实施例中的集装箱与20尺的预设集装箱的长度最接近，则被吊起的集装箱为20尺。
并且，基于稀疏化后的实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第三点云数据21。通过对第三点云数据进行平面拟合，获得一与第三点云数据中各点的距离总和最小的水平面22。将与水平面重合的点云作为集装箱顶面的第四点云数据。对第四点云数据进行线段检测，并延长度方向和宽度方向分别切割为多个线段23。选择跨运车的长度方向的至少一线段进行直线拟合，获得第一直线方向。选择跨运车的宽度方向的至少一线段进行直线拟合，获得第二直线方向。如图6、7、8、9分别显示了四种线段组合，每一种都至少两个相互垂直的边沿的局部轨迹组合。由于集装箱是刚性整体，可以通过将局部轨迹组合和集装箱的型号对应的集装箱高精度模型来获得集装箱的顶面的空间位姿，例如：通过旋转20尺集装箱高精度模型使得顶面的两条边分别于局部轨迹组合重叠来获得顶面的空间位姿，则该顶面的空间位姿对应的集装箱的空间位姿就是并被吊起的集装箱的当前姿态。
由于集装箱的边角和箱门是外凸于集装箱外部的，在通常的碰撞事故中，外凸的边角和箱门是碰撞高发区域，所以，在一个变形例中，还包括基于集装箱的当前姿态，基于预设范围对集装箱的边角和箱门所在的空间区域的原始点云进行高精度检测，并将识别出的边角和箱门区域的空间位姿叠加到集装箱的当前姿态，从而在使用优先计算计算量的前提下(避免了对集装箱周身大量点云的检测)，对集装箱的空间状态进行精细化检测。
然后，基于第二实时点云数据通过拟合获得周遭的集装箱的空间姿态。建立避让周遭的集装箱的空间姿态的最佳放箱位置。
最后，令集装箱当前姿态与最佳放箱位置进行对齐，当集装箱当前姿态超出最佳放箱位置的空间范围，则暂停对位作业。
或者，在一个变形例中，通过记录连续时序的集装箱当前姿态，通过经过集装箱位姿状态跟踪训练的神经网络模型来预测集装箱的未来姿态，当未来姿态超出最佳放箱位置的空间范围，则暂停当前的对位作业，例如：当前时刻的姿态为Mn，基于当前时刻之前的连续时刻下的姿态Mn-1、Mn-2、Mn-3、Mn-4、……Mn-10，来预测当前时刻之后的连续时刻Mn+1、Mn+2、Mn+3、Mn+4、Mn+5的姿态，若当Mn+5的姿态超出最佳放箱位置的空间范围，则马上停止跨运车的作业，从而消除集装箱累加的动能，保证叠放作业的安全。并且，在大风吹动集装箱的情况下，跨运车搬运集装箱的动能被累加形成运动趋势，记录连续时序的集装箱当前姿态发现集装箱有继续向一侧偏移的运动趋势，并且在1秒以后会超出最佳放箱位置的空间范围，则及时暂停当前的对位作业，让集装箱稳定下来，或者等风减小以后，在继续作业，从而提升了叠放集装箱时的对位安全性。
由于本发明的实施过程中，对多个激光雷达3共同获得的点云进行了稀疏化，从而减少了点云的数量，由于集装箱整体可以认为是刚性整体，本发明避免了对大量点云数据进行空间识别的海量计算，并且利用现场检测与空间模拟相结合的方式，减少了噪点对于电云识别的影响过，确保了检测的准确性。
图10是本发明的基于点云的集装箱对位控制系统的结构示意图。如图10所示，本发明的基于点云的集装箱对位控制系统5，包括：
点云采集模块51，当跨运车吊起一集装箱，基于若干点云采集装置采集被吊起的集装箱的第一实时点云数据和周围其他集装箱的第二实时点云数据并稀疏化。
当前姿态模块52，基于稀疏化后的第一实时点云数据进行线段分割，对部分线段进行拟合，获得集装箱的类型以及顶面的至少两个相互垂直的边沿的局部轨迹组合，并预测集装箱的当前姿态。
最佳位置模块53，基于第二实时点云数据识别周遭的集装箱位置以获得最佳放箱位置。以及
对位控制模块54，基于集装箱当前姿态与最佳放箱位置进行对齐。
在一个优选实施例中，点云采集模块51被配置为当跨运车吊起一集装箱，设置于跨运车的部分激光雷达采集被吊起的集装箱的实时点云数据。将各集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合集装箱的第一点云数据。设置于跨运车的部分激光雷达采集周围其他集装箱的实时点云数据。将各周围其他集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合周围其他集装箱的第二实时点云数据。
在一个优选实施例中，点云采集模块51还被配置为在跨运车的车体外框的外侧分别设有4个激光雷达传感器，内侧分别斜向设置2个激光雷达传感器。
在一个优选实施例中，点云采集模块51还被配置为至少对第一点云数据进行稀疏化处理，分别过滤集装箱两端和两侧的部分点云，令过滤后的集装箱两端的点云密度大于集装箱两侧的点云密度。
在一个优选实施例中，当前姿态模块52被配置为基于稀疏化后的第一实时点云数据在预设集装箱数据集合中进行匹配，获得集装箱的类型。将第一实时点云数据拟合集装箱顶面并线段检测，切割为多个线段。选择跨运车的长度方向的至少一线段进行直线拟合，获得第一直线方向。选择跨运车的宽度方向的至少一线段进行直线拟合，获得第二直线方向。基于预设集装箱的类型、第一直线方向和第二直线方向，获得被吊起的集装箱的顶面的空间位姿。以及基于顶面的空间位姿获得集装箱的当前姿态。
在一个优选实施例中，当前姿态模块52还被配置为基于稀疏化后的第一实时点云数据的最大长度在预设集装箱数据集合中进行匹配。将预设集装箱的长度最接近的集装箱的类型作为被吊起的集装箱的类型。
在一个优选实施例中，当前姿态模块52还被配置为基于稀疏化后的实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第三点云数据。通过对第三点云数据进行平面拟合，获得一与第三点云数据中各点的距离总和最小的水平面。将与水平面重合的点云作为集装箱顶面的第四点云数据。对第四点云数据进行线段检测，并延长度方向和宽度方向分别切割为多个线段。
在一个优选实施例中，最佳位置模块53被配置为基于第二实时点云数据通过拟合获得周遭的集装箱的空间姿态。建立避让周遭的集装箱的空间姿态的最佳放箱位置。
在一个优选实施例中，对位控制模块54被配置为令集装箱当前姿态与最佳放箱位置进行对齐，当集装箱当前姿态超出最佳放箱位置的空间范围，则暂停对位作业。或者，基于连续时序的集装箱当前姿态预测集装箱的未来姿态，当未来姿态超出最佳放箱位置的空间范围，则暂停当前的对位作业。
本发明的基于点云的集装箱对位控制系统，能够大幅度降低集装箱对位控制的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱对位控制的精度。
本发明实施例还提供一种基于点云的集装箱对位控制设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于点云的集装箱对位控制方法的步骤。
如上，本发明的基于点云的集装箱对位控制设备能够大幅度降低集装箱对位控制的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱对位控制的精度。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图11是本发明的基于点云的集装箱对位控制设备的结构示意图。下面参照图11来描述根据本发明的这种实施方式的电子设备600。图11显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于点云的集装箱对位控制方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够大幅度降低集装箱对位控制的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱对位控制的精度。
图12是本发明的计算机可读存储介质的结构示意图。参考图12所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程序程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的基于点云的集装箱对位控制方法、系统、设备及存储介质，能够大幅度降低集装箱对位控制的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱对位控制的精度。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种基于点云的集装箱对位控制方法，其特征在于，包括如下步骤：
S110、当跨运车吊起一集装箱，基于若干点云采集装置采集被吊起的集装箱的第一实时点云数据和周围其他集装箱的第二实时点云数据并稀疏化；
S120、基于稀疏化后的所述第一实时点云数据进行线段分割，对部分线段进行拟合，获得集装箱的类型以及顶面的至少两个相互垂直的边沿的局部轨迹组合，并预测所述集装箱的当前姿态；
S130、基于所述第二实时点云数据识别周遭的集装箱位置以获得最佳放箱位置；以及
S140、基于所述集装箱当前姿态与所述最佳放箱位置进行对齐。
2.根据权利要求1所述的基于点云的集装箱对位控制方法，其特征在于，所述步骤S110，还包括：
S111、当跨运车吊起一集装箱，设置于跨运车的部分激光雷达采集被吊起的所述集装箱的实时点云数据；
S112、将各所述集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合所述集装箱的第一点云数据；
S113、设置于跨运车的部分激光雷达采集周围其他集装箱的实时点云数据；
S114、将各所述周围其他集装箱的实时点云数据投影到跨运车的车体坐标系中，拼合周围其他集装箱的第二实时点云数据。
3.根据权利要求2所述的基于点云的集装箱对位控制方法，其特征在于，所述步骤S111，还包括：
跨运车的车体外框的外侧分别设有4个激光雷达传感器，内侧分别斜向设置2个激光雷达传感器。
4.根据权利要求2所述的基于点云的集装箱对位控制方法，其特征在于，所述步骤S110，还包括：
S115、至少对所述第一点云数据进行稀疏化处理，分别过滤集装箱两端和两侧的部分点云，令过滤后的集装箱两端的点云密度大于集装箱两侧的点云密度。
5.根据权利要求1所述的基于点云的集装箱对位控制方法，其特征在于，所述步骤S120，还包括：
S121、基于稀疏化后的所述第一实时点云数据在预设集装箱数据集合中进行匹配，获得集装箱的类型；
S122、将所述第一实时点云数据拟合所述集装箱顶面并线段检测，切割为多个线段；
S123、选择所述跨运车的长度方向的至少一线段进行直线拟合，获得第一直线方向；
S124、选择所述跨运车的宽度方向的至少一线段进行直线拟合，获得第二直线方向；
S125、基于所述预设集装箱的类型、第一直线方向和第二直线方向，获得被吊起的集装箱的顶面的空间位姿；以及
S126、基于所述顶面的空间位姿获得所述集装箱的当前姿态。
6.根据权利要求5所述的基于点云的集装箱对位控制方法，其特征在于，所述步骤S121，包括：
S1211、基于稀疏化后的所述第一实时点云数据的最大长度在预设集装箱数据集合中进行匹配；
S1212、将预设集装箱的长度最接近的集装箱的类型作为被吊起的集装箱的类型。
7.根据权利要求5所述的基于点云的集装箱对位控制方法，其特征在于，所述步骤S122，包括：
S1221、基于稀疏化后的实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第三点云数据；
S1222、通过对第三点云数据进行平面拟合，获得一与第三点云数据中各点的距离总和最小的水平面；
S1223、将与所述水平面重合的点云作为集装箱顶面的第四点云数据；
S1224、对所述第四点云数据进行线段检测，并延长度方向和宽度方向分别切割为多个线段。
8.根据权利要求1所述的基于点云的集装箱对位控制方法，其特征在于，所述步骤S130，还包括：
S131、基于所述第二实时点云数据通过拟合获得周遭的集装箱的空间姿态；
S132、建立避让所述周遭的集装箱的空间姿态的最佳放箱位置。
9.根据权利要求1所述的基于点云的集装箱对位控制方法，其特征在于，所述步骤S140，包括：
令所述集装箱当前姿态与所述最佳放箱位置进行对齐，当所述集装箱当前姿态超出所述最佳放箱位置的空间范围，则暂停对位作业；或者
基于连续时序的所述集装箱当前姿态预测所述集装箱的未来姿态，当所述未来姿态超出所述最佳放箱位置的空间范围，则暂停当前的对位作业。
10.一种基于点云的集装箱对位控制系统，其特征在于，所述系统包括：
点云采集模块，当跨运车吊起一集装箱，基于若干点云采集装置采集被吊起的集装箱的第一实时点云数据和周围其他集装箱的第二实时点云数据并稀疏化；
当前姿态模块，基于稀疏化后的所述第一实时点云数据进行线段分割，对部分线段进行拟合，获得集装箱的类型以及顶面的至少两个相互垂直的边沿的局部轨迹组合，并预测所述集装箱的当前姿态；
最佳位置模块，基于所述第二实时点云数据识别周遭的集装箱位置以获得最佳放箱位置；以及
对位控制模块，基于所述集装箱当前姿态与所述最佳放箱位置进行对齐。
11.一种基于点云的集装箱对位控制设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的基于点云的集装箱对位控制方法的步骤。
12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至9中任一项所述的基于点云的集装箱对位控制方法的步骤。
CN202310129957.5A 2023-02-17 2023-02-17 基于点云的集装箱对位控制方法、系统、设备及存储介质 Pending CN116051610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310129957.5A CN116051610A (zh) 2023-02-17 2023-02-17 基于点云的集装箱对位控制方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310129957.5A CN116051610A (zh) 2023-02-17 2023-02-17 基于点云的集装箱对位控制方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116051610A true CN116051610A (zh) 2023-05-02

Family

ID=86114731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310129957.5A Pending CN116051610A (zh) 2023-02-17 2023-02-17 基于点云的集装箱对位控制方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116051610A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111170153A (zh) * 2020-02-24 2020-05-19 上海驭矩信息科技有限公司 一种基于运动规划的集装箱装卸方法
US20200207588A1 (en) * 2017-06-16 2020-07-02 Abb Schweiz Ag Modified Video Stream For Supporting Remote Control Of A Container Crane
CN111830526A (zh) * 2020-09-17 2020-10-27 上海驭矩信息科技有限公司 一种基于多线激光数据融合的集装箱定位方法及装置
CN112027918A (zh) * 2020-09-04 2020-12-04 上海驭矩信息科技有限公司 一种基于机器视觉的集卡防吊起检测方法
CN113460888A (zh) * 2021-05-24 2021-10-01 武汉港迪智能技术有限公司 一种龙门吊吊具自动抓箱方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200207588A1 (en) * 2017-06-16 2020-07-02 Abb Schweiz Ag Modified Video Stream For Supporting Remote Control Of A Container Crane
CN111170153A (zh) * 2020-02-24 2020-05-19 上海驭矩信息科技有限公司 一种基于运动规划的集装箱装卸方法
CN112027918A (zh) * 2020-09-04 2020-12-04 上海驭矩信息科技有限公司 一种基于机器视觉的集卡防吊起检测方法
CN111830526A (zh) * 2020-09-17 2020-10-27 上海驭矩信息科技有限公司 一种基于多线激光数据融合的集装箱定位方法及装置
CN113460888A (zh) * 2021-05-24 2021-10-01 武汉港迪智能技术有限公司 一种龙门吊吊具自动抓箱方法

Similar Documents

Publication Publication Date Title
AU2020201664B2 (en) Industrial vehicles with overhead light based localization
US10776651B2 (en) Material handling method, apparatus, and system for identification of a region-of-interest
EP3650884A2 (en) Method and apparatus for determining relative pose, device and medium
US9340399B2 (en) Industrial vehicles with point fix based localization
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
CN110927742A (zh) 障碍物跟踪方法、装置、设备及存储介质
CN110135439A (zh) 一种自动识别货架的方法及装置、移动机器人
Decourt et al. Darod: A deep automotive radar object detector on range-doppler maps
CN114663526A (zh) 障碍物检测方法、装置、机器人及计算机可读存储介质
CN112581519B (zh) 一种放射性废物包识别定位方法与装置
CN112465908B (zh) 一种物体定位方法、装置、终端设备及存储介质
CN114219770A (zh) 地面检测方法、装置、电子设备及存储介质
CN110796128B (zh) 一种地面点识别方法、装置及存储介质和终端设备
CN116002529A (zh) 基于起重设备特征的对位方法、系统、设备及存储介质
CN116051610A (zh) 基于点云的集装箱对位控制方法、系统、设备及存储介质
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
CN116188541A (zh) 基于点云的集装箱姿态检测方法、系统、设备及存储介质
CN110857859B (zh) 障碍物检测方法及装置
CN115166762A (zh) 基于激光点云的前车跟踪方法、系统、设备及存储介质
CN115272227A (zh) 基于点云形状特征的检测方法及系统
CN116105738A (zh) 码头运输设备与起重机交互方法、系统、设备及存储介质
CN115100229A (zh) 一种基于深度点云数据的障碍物识别方法、装置及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information