CN116188541A - 基于点云的集装箱姿态检测方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了基于点云的集装箱姿态检测方法、系统、设备及存储介质，该方法包括以下步骤：当跨运车吊起一集装箱，基于若干个点云采集装置采集集装箱的实时点云数据并稀疏化；基于实时点云数据进行拟合，获得至少一表面特征的位姿信息；根据集装箱的先验信息，获得集装箱姿态集合；根据表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。本发明能够大幅度降低集装箱检测的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱姿态检测的精度。

Description

基于点云的集装箱姿态检测方法、系统、设备及存储介质

技术领域

本发明涉及点云检测领域，尤其涉及一种基于点云的集装箱姿态检测方法、系统、设备及存储介质。

背景技术

集装箱跨运车英文名straddle carrier，一般用于短中途运输集装箱，灵活，快速，系统多由液压驱动组成。集装箱跨运车是用于码头前沿和堆场水平搬运和堆码集装箱的专用机械，它以门形车架跨在集装箱上，由装有集装箱吊具的液压升降系统吊起集装箱，进行搬运，并可将集装箱堆码二，三层高。集装箱跨运车是集装箱装卸设备中的主力机型，通常承担由码头前沿到堆场的水平运输以及堆场的集装箱堆码工作。由于集装箱跨运车具有机动灵活、效率高、稳定性好、轮压低等特点，得到普遍的应用。集装箱跨运车作业对提高码头前沿设备的装卸效率十分有利。

在智能跨运车领域，集装箱自动化检测是很重要的一环，传统的作法普遍都基于三维激光雷达的ICP算法(迭代最近点，Iterative Closest Point,简称ICP)或者视觉相机的影像识别来进行检测，此种作法不可避免的都会占用大量CPU或者GPU的计算资源，假如是基于二维激光雷达或者其他雷射检测工具，又往往是单纯的对特定区域进行安全检验，没办法对跨运车和吊具进行高精度的姿态微调。其中，ICP算法是基于数据配准法，利用最近点搜索法，从而解决基于自由形态曲面的一种算法。

另外，在港区作业时，由于靠近海边，天气情况很多遍，会有突发的大风，吹动集装箱，时刻对集装箱的姿态进行偏移，如果无法及时准确地对集装箱进行精确的检测，容易发生集装箱的碰撞。

有鉴于此，本发明提供了一种基于点云的集装箱姿态检测方法、系统、设备及存储介质。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

针对现有技术中的问题，本发明的目的在于提供基于点云的集装箱姿态检测方法、系统、设备及存储介质，克服了现有技术的困难，能够大幅度降低集装箱检测的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱姿态检测的精度。

本发明的实施例提供一种基于点云的集装箱姿态检测方法，包括以下步骤：

当跨运车吊起一集装箱，基于若干个点云采集装置采集所述集装箱的实时点云数据并稀疏化；

基于所述实时点云数据进行拟合，获得至少一表面特征的位姿信息；

根据所述集装箱的先验信息，获得集装箱姿态集合；以及

根据所述表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

优选地，所述当跨运车吊起一集装箱，基于若干个点云采集装置采集所述集装箱的实时点云数据并稀疏化，包括：

当跨运车吊起一集装箱，设置于所述跨运车的至少一激光雷达分别采集所述集装箱的第一点云数据；

将各所述实时点云数据均投影到所述跨运车的车体坐标系中，获得第二点云数据。

优选地，所述当跨运车吊起一集装箱，设置于所述跨运车的至少一激光雷达分别采集所述集装箱的第一点云数据，还包括：

跨运车的车体外框的外侧分别设有4个激光雷达传感器，内侧分别斜向设置2个激光雷达传感器。

优选地，所述当跨运车吊起一集装箱，基于若干个点云采集装置采集所述集装箱的实时点云数据并稀疏化，还包括：

所述第二点云数据进行稀疏化处理，分别过滤所述集装箱两端和两侧的部分点云，令过滤后的所述集装箱两端的点云密度大于所述集装箱两侧的点云密度，以获得第三点云数据。

优选地，所述基于所述实时点云数据进行拟合，获得至少一表面特征的位姿信息，包括：

基于稀疏化后的所述实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第四点云数据；

对所述第四点云数据进行平面拟合，获得一与所述第四点云数据中各点的距离总和最小的水平面；

对与所述水平面的重叠的第五点云数据的至少两个角点区域分别进行直角拟合，获得至少两个直角的位姿。

优选地，所述根据所述集装箱的先验信息，获得集装箱姿态集合，包括：

采集所述集装箱的先验信息中的集装箱种类；

将所述集装箱种类对应的预设集装箱姿态模型通过随机旋转、平移进行偏移生成多个不同的备选集装箱姿态；

基于所述备选集装箱姿态建立集装箱姿态集合。

优选地，所述根据所述集装箱的先验信息，获得集装箱姿态集合，还包括：

基于所述跨运车的所在位置、方向以及现场风向，对所述集装箱姿态集合进行过滤，去除至少部分所述偏移方向与现场风向相背离的备选集装箱姿态。

优选地，所述根据所述表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业，包括：

根据所述角点的局部点云信息在所述集装箱姿态集合进行相似度拟合；

将与所述角点的匹配程度最高的预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

优选地，所述表面特征为集装箱的边角和/或集装箱的箱门。

本发明的实施例还提供一种基于点云的集装箱姿态检测系统，用于实现上述的基于点云的集装箱姿态检测方法，基于点云的集装箱姿态检测系统包括：

点云采集模块，当跨运车吊起一集装箱，基于若干个点云采集装置采集所述集装箱的实时点云数据并稀疏化；

位姿拟合模块，基于所述实时点云数据进行拟合，获得至少一表面特征的位姿信息；

姿态集合模块，根据所述集装箱的先验信息，获得集装箱姿态集合；以及

位姿匹配模块，根据所述表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

本发明的实施例还提供一种基于点云的集装箱姿态检测设备，包括：

处理器；

存储器，其中存储有处理器的可执行指令；

其中，处理器配置为经由执行可执行指令来执行上述基于点云的集装箱姿态检测方法的步骤。

本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于点云的集装箱姿态检测方法的步骤。

本发明的基于点云的集装箱姿态检测方法、系统、设备及存储介质，能够大幅度降低集装箱检测的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱姿态检测的精度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明的基于点云的集装箱姿态检测方法的流程图。

图2是本发明的基于点云的集装箱姿态检测方法的实施过程流程示意图。

图3至7是本发明的基于点云的集装箱姿态检测方法的实施过程的示意图。

图8是本发明的基于点云的集装箱姿态检测系统的结构示意图。

图9是本发明的基于点云的集装箱姿态检测设备的结构示意图。以及

图10是本发明一实施例的计算机可读存储介质的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本申请所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本申请中的各项细节也可以根据不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。

在本申请的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了明确说明本申请，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。

在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它组件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。

当说某器件在另一器件“之上”时，这可以是直接在另一器件之上，但也可以在其之间伴随着其它器件。当对照地说某器件“直接”在另一器件“之上”时，其之间不伴随其它器件。

虽然在一些实例中术语第一、第二等在本发明中用来表示各种组件，但是这些组件不应当被这些术语限制。这些术语仅用来将一个组件与另一个组件进行区分。例如，第一接口及第二接口等表示。再者，如同在本发明中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、组件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、组件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当组件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。

虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。

图1是本发明的基于点云的集装箱姿态检测方法的流程图。如图1所示，本发明的实施例提供一种基于点云的集装箱姿态检测方法，包括以下步骤：

S110、当跨运车吊起一集装箱，基于若干个点云采集装置采集集装箱的实时点云数据并稀疏化。

S120、基于实时点云数据进行拟合，获得至少一表面特征的位姿信息。

S130、根据集装箱的先验信息，获得集装箱姿态集合。以及

S140、根据表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

本方案提供了一种高效，针对性强且轻量化的方案，算法本身更聚焦在计算集装箱的特征，使其在大幅降低计算负荷和成本的同时，更高效稳定的检测出毫米级周遭和跨运车底下的集装箱姿态。

在一个优选实施例中，步骤S110，包括：

S111、当跨运车吊起一集装箱，设置于跨运车的至少一激光雷达分别采集集装箱的第一点云数据。

S112、将各实时点云数据均投影到跨运车的车体坐标系中，获得第二点云数据。

在一个优选实施例中，步骤S111，还包括：

跨运车的车体外框的外侧分别设有4个激光雷达传感器，内侧分别斜向设置2个激光雷达传感器。当跨运车吊起一20尺的集装箱时，主要通过内侧分别斜向设置的2个激光雷达传感器来采集点云数据。当跨运车吊起一40尺、45尺的集装箱时，需要通过外侧设置的4个激光雷达传感器和内侧分别斜向设置的2个激光雷达传感器共同扫描后将点云信息拼合在一起来获得集装箱整体的点云数据。本实施例中使用的激光雷达传感器就是激光雷达(英文：Laser Radar)，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对飞机、导弹等目标进行探测、跟踪和识别。它由激光发射机、光学接收机、转台和信息处理系统等组成，激光器将电脉冲变成光脉冲发射出去，光接收机再把从目标反射回来的光脉冲还原成电脉冲进行数据化。激光雷达(LiDAR)点云数据，是由三维激光雷达设备扫描得到的空间点的数据集，每一个点都包含了三维坐标信息，也是我们常说的X、Y、Z三个元素，有的还包含颜色信息、反射强度信息、回波次数信息等。激光点云数据，由车载激光扫描系统向周围发射激光信号，然后收集反射的激光信号得来的，再通过外业数据采集、组合导航、点云解算，便可以计算出这些点的准确空间信息，此处不再赘述。

在一个优选实施例中，步骤S110，还包括：

S113、对第二点云数据进行稀疏化处理，分别过滤集装箱两端和两侧的部分点云，令过滤后的集装箱两端的点云密度大于集装箱两侧的点云密度，以获得第三点云数据。

在一个优选实施例中，步骤S120，包括：

S121、基于稀疏化后的实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第四点云数据。由于吊具被集装箱的重力完全拉直，可以通过吊具的长度，获得集装箱上边的大致空间位置，例如，基于吊具之下5厘米的高度范围进行一个点云空间切片，则集装箱的顶面肯定在这个点云空间切片的范围内，但不以此为限。

S122、通过对第四点云数据进行平面拟合，获得一与第四点云数据中各点的距离总和最小的水平面。

S123、对与水平面的重叠的第五点云数据的至少两个角点区域分别进行直角拟合，获得至少两个直角的位姿。

在一个优选实施例中，步骤S122，包括：

S1221、在第四点云数据的空间范围内生成大量不同高度的水平面。

S1222、计算每个水平面与第四点云数据中各点的距离之和，相关计算过程不再赘述。

S1223、由于绝大部分的点是落在集装箱的上表面，则距离之和最小的水平面就是集装箱的上表面。

在一个优选实施例中，步骤S130，包括：

S131、采集集装箱的先验信息中的集装箱种类。

S132、将集装箱种类对应的高精度预设集装箱姿态模型通过随机旋转、平移进行偏移生成多个不同的备选集装箱姿态。

S133、基于备选集装箱姿态建立集装箱姿态集合。

在一个优选实施例中，步骤S130，还包括：

S134、基于跨运车的所在位置、方向以及现场风向，对集装箱姿态集合进行过滤，去除至少部分偏移方向与现场风向相背离的备选集装箱姿态。本发明通过基于现场扰动集装箱的环境数据(现场风向F)，来对备选集装箱姿态进行过滤，去掉那些可能性很低的备选集装箱姿态，例如：去除至少部分偏移方向与现场风向F完全背离的备选集装箱姿态(显然集装箱不会顶着风运动)，保留与现场风向F同向的备选集装箱姿态，从而减少了不可能出现的备选集装箱姿态，进一步降低了计算量，并且有利于加快匹配最佳集装箱姿态的速度，能够在风向变化多变的海港环境下提升吊装作业的安全性。

在一个优选实施例中，本发明就可以通过基于现场扰动集装箱的环境数据(现场风向F)，来对备选集装箱姿态进行优化，例如：再随机产生备选集装箱姿态时增加与现场风向F同向的备选集装箱姿态，并减少与现场风向F完全背离的备选集装箱姿态(显然集装箱不会顶着风运动)，从而结合环境因数，进一步降低了计算量，并且有利于加快匹配最佳集装箱姿态的速度，同样地，这种模式也特别适用于风向变化多变的海港环境。

在一个优选实施例中，步骤S140，包括：

S141、根据角点的局部点云信息在集装箱姿态集合进行相似度拟合。

S142、将与角点的匹配程度最高的预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

在一个优选实施例中，表面特征为集装箱的边角和/或集装箱的箱门。

本发明的基于点云的集装箱姿态检测方法，能够大幅度降低集装箱检测的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱姿态检测的精度。

图2是本发明的基于点云的集装箱姿态检测方法的实施过程流程示意图。参考图2本发明主要聚焦在检测跨运车底下的集装箱，算法在开始运行前有前置作业，需要先根据集装箱的单线激光数据撷取边角及箱门等等的特征，接着根据箱子的箱门方向大小尺寸进行分类并建模，建好后会存成数据库，每次在启动程序时都会先读取数据库，并根据提前配置好的参数进行旋转和平移，来生成无数个匹配模型，接着在实际执行抓箱或者叠箱指令时会根据当前的单线激光数据进行稀疏化处理并撷取出可用的特征点，并将其与数据库的点云进行匹配。

以下通过图3至7来接替介绍本发明的实施过程：

图3至7是本发明的基于点云的集装箱姿态检测方法的实施过程的示意图。参考图3所示，车体外框1为跨运车本体，接着会在车上安装六颗单线激光雷达3，两颗对内，四颗对外，此种硬体配置，可以针对20尺，40尺，45尺这三种类型的集装箱2(图3中展示的是吊装20尺集装箱的模式)进行误差小于2cm的检测跟抓取。跨运车的车体外框的外侧分别设有4个激光雷达3传感器，内侧分别斜向设置2个激光雷达3传感器。当跨运车吊起一20尺的集装箱时，主要通过内侧分别斜向设置的2个激光雷达3传感器来采集点云数据。当跨运车吊起一40尺、45尺的集装箱时，需要通过外侧设置的4个激光雷达3传感器和内侧分别斜向设置的2个激光雷达3传感器共同扫描后将各自获得的点云信息在跨运车的车体坐标系下拼合在一起来获得集装箱整体的点云数据。

参考图4所示，当跨运车1吊起一集装箱2，设置于跨运车1的两个激光雷达3分别采集集装箱的第一点云数据。将各实时点云数据均投影到跨运车的车体坐标系中，获得第二点云数据。由于第二点云数据是多个激光雷达3的点云集合，第二点云数据的数据量非常大，拖慢的计算速度，不利于集装箱2姿态的实时检测。为了降低计算量，就需要减少点云的数量，通过对第二点云数据进行稀疏化处理，集装箱两端是对位的重点，集装箱两侧的重要性相对较弱，所以分别过滤集装箱两端和两侧的部分点云，令过滤后的集装箱两端的点云密度大于集装箱两侧的点云密度，以获得第三点云数据。

参考图5所示，基于稀疏化后的实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第四点云数据21。对第四点云数据进行平面拟合，获得一与第四点云数据中各点的距离总和最小的水平面22。

参考图6所示，然后，对与水平面的重叠的第五点云数据的至少两个角点区域分别进行直角拟合，获得至少两个直角23的位姿。本实施例中，可以通过现有的点云检测方法或是未来发明的检测方法从第五点云数据中获得直角23的位姿，此处不再赘述。

参考图7所示，采集集装箱的先验信息中的集装箱种类，本实施例中的集装箱为20尺，则调用20尺集装箱对应的高精度预设集装箱姿态模型，然后将高精度预设集装箱姿态模型通过随机旋转、平移进行偏移生成多个不同的备选集装箱姿态(的顶面)41、42、43、44&&等将这些备选集装箱姿态(备选集装箱姿态41、42、43、44等)建立集装箱姿态集合。

为了增强在强风环境作业时，检测过程的准确、高速，本发明还基于跨运车的所在位置、方向以及现场风向F，对集装箱姿态集合进行过滤，去除至少部分偏移方向与现场风向F相背离的备选集装箱姿态43，保留备选集装箱姿态41、42、43，从而减少了不可能出现的备选集装箱姿态(通常可以减少30-40％左右的无效备选集装箱姿态)，以便进一步降低了计算量，并且有利于加快匹配最佳集装箱姿态的速度。从而实现了及时准确地对集装箱进行精确的检测，避免了集装箱的碰撞的发生。

最后，根据角点的局部点云信息在集装箱姿态集合进行相似度拟合。将与角点的匹配程度最高的预设的集装箱姿态41，作为当前集装箱姿态进行吊装作业，从而实现了集装箱姿态的精确识别，提升了码头吊装作业的安全性。由于集装箱是刚性整体，可以通过将角点的局部点云信息与备选集装箱姿态的顶面的空间位姿进行对比，匹配度最高的顶面的空间位姿对应的备选集装箱姿态就是当前集装箱姿态。

在一个变形例中，可以通不检测集装箱的角点区域，而是通过集装箱的先验信息获得高精度预设集装箱姿态模型，进行随机偏移后生成多个备选集装箱姿态，通过实施检测当前箱门姿态与备选集装箱姿态的箱门姿态的匹配程度，获得来获得最匹配度最高的箱门姿态，并将最匹配度最高的箱门姿态对应的备选集装箱姿态作为当前集装箱姿态进行吊装作业。

由于本发明的实施过程中，对多个激光雷达3共同获得的点云进行了稀疏化，从而减少了点云的数量，由于集装箱整体可以认为是刚性整体，本发明建立集装箱的种类建立很多集装箱的模拟姿态，通过检测集装箱局部外表特征与模拟姿态中的对位部位进行匹配，将匹配度最高的模拟姿态作为当前集装箱姿态进行吊装作业。本发明避免了对大量点云数据进行空间识别的海量计算，并且利用现场检测与空间模拟相结合的方式，减少了噪点对于电云识别的影响过，确保了检测的准确性。

图8是本发明的基于点云的集装箱姿态检测系统的结构示意图。如图8所示，本发明的基于点云的集装箱姿态检测系统5，包括：

点云采集模块51，当跨运车吊起一集装箱，基于若干个点云采集装置采集集装箱的实时点云数据并稀疏化。

位姿拟合模块52，基于实时点云数据进行拟合，获得至少一表面特征的位姿信息。

姿态集合模块53，根据集装箱的先验信息，获得集装箱姿态集合。

以及

位姿匹配模块54，根据表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

在一个优选实施例中，点云采集模块51还被配置为当跨运车吊起一集装箱，设置于跨运车的至少一激光雷达分别采集集装箱的第一点云数据。将各实时点云数据均投影到跨运车的车体坐标系中，获得第二点云数据。

在一个优选实施例中，点云采集模块51还被配置为在跨运车的车体外框的外侧分别设有4个激光雷达传感器，内侧分别斜向设置2个激光雷达传感器。

在一个优选实施例中，点云采集模块51还被配置为第二点云数据进行稀疏化处理，分别过滤集装箱两端和两侧的部分点云，令过滤后的集装箱两端的点云密度大于集装箱两侧的点云密度，以获得第三点云数据。

在一个优选实施例中，位姿拟合模块52被配置为基于稀疏化后的实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第四点云数据。对第四点云数据进行平面拟合，获得一与第四点云数据中各点的距离总和最小的水平面。对与水平面的重叠的第五点云数据的至少两个角点区域分别进行直角拟合，获得至少两个直角的位姿。

在一个优选实施例中，姿态集合模块53被配置为采集集装箱的先验信息中的集装箱种类。将集装箱种类对应的预设集装箱姿态模型通过随机旋转、平移进行偏移生成多个不同的备选集装箱姿态。基于备选集装箱姿态建立集装箱姿态集合。

在一个优选实施例中，姿态集合模块53还被配置为于跨运车的所在位置、方向以及现场风向，对集装箱姿态集合进行过滤，去除至少部分偏移方向与现场风向相背离的备选集装箱姿态。

在一个优选实施例中，位姿匹配模块54被配置为根据角点的局部点云信息在集装箱姿态集合进行相似度拟合。将与角点的匹配程度最高的预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

在一个优选实施例中，表面特征为集装箱的边角和/或集装箱的箱门。

本发明的基于点云的集装箱姿态检测系统，能够大幅度降低集装箱检测的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱姿态检测的精度。

本发明实施例还提供一种基于点云的集装箱姿态检测设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于点云的集装箱姿态检测方法的步骤。

如上，本发明的基于点云的集装箱姿态检测设备能够大幅度降低集装箱检测的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱姿态检测的精度。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图9是本发明的基于点云的集装箱姿态检测设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于点云的集装箱姿态检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例的计算机可读存储介质的程序在执行时，能够大幅度降低集装箱检测的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱姿态检测的精度。

图10是本发明的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程序程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上，本发明的基于点云的集装箱姿态检测方法、系统、设备及存储介质，能够大幅度降低集装箱检测的硬件配置成本，降低CPU和GPU占用，并且，提高集装箱姿态检测的精度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种基于点云的集装箱姿态检测方法，其特征在于，包括如下步骤：

当跨运车吊起一集装箱，基于若干个点云采集装置采集所述集装箱的实时点云数据并稀疏化；

基于所述实时点云数据进行拟合，获得至少一表面特征的位姿信息；

根据所述集装箱的先验信息，获得集装箱姿态集合；以及

根据所述表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

2.根据权利要求1所述的基于点云的集装箱姿态检测方法，其特征在于，所述当跨运车吊起一集装箱，基于若干个点云采集装置采集所述集装箱的实时点云数据并稀疏化，包括：

当跨运车吊起一集装箱，设置于所述跨运车的至少一激光雷达分别采集所述集装箱的第一点云数据；

将各所述实时点云数据均投影到所述跨运车的车体坐标系中，获得第二点云数据。

3.根据权利要求2所述的基于点云的集装箱姿态检测方法，其特征在于，所述当跨运车吊起一集装箱，设置于所述跨运车的至少一激光雷达分别采集所述集装箱的第一点云数据，还包括：

跨运车的车体外框的外侧分别设有4个激光雷达传感器，内侧分别斜向设置2个激光雷达传感器。

4.根据权利要求2所述的基于点云的集装箱姿态检测方法，其特征在于，所述当跨运车吊起一集装箱，基于若干个点云采集装置采集所述集装箱的实时点云数据并稀疏化，还包括：

所述第二点云数据进行稀疏化处理，分别过滤所述集装箱两端和两侧的部分点云，令过滤后的所述集装箱两端的点云密度大于所述集装箱两侧的点云密度，以获得第三点云数据。

5.根据权利要求1所述的基于点云的集装箱姿态检测方法，其特征在于，所述基于所述实时点云数据进行拟合，获得至少一表面特征的位姿信息，包括：

基于稀疏化后的所述实时点云数据通过吊具的当前长度进行高度方向的点云空间切片，获得一第四点云数据；

对所述第四点云数据进行平面拟合，获得一与所述第四点云数据中各点的距离总和最小的水平面；

对与所述水平面的重叠的第五点云数据的至少两个角点区域分别进行直角拟合，获得至少两个直角的位姿。

6.根据权利要求1所述的基于点云的集装箱姿态检测方法，其特征在于，所述根据所述集装箱的先验信息，获得集装箱姿态集合，包括：

采集所述集装箱的先验信息中的集装箱种类；

将所述集装箱种类对应的预设集装箱姿态模型通过随机旋转、平移进行偏移生成多个不同的备选集装箱姿态；

基于所述备选集装箱姿态建立集装箱姿态集合。

7.根据权利要求6所述的基于点云的集装箱姿态检测方法，其特征在于，所述根据所述集装箱的先验信息，获得集装箱姿态集合，还包括：

基于所述跨运车的所在位置、方向以及现场风向，对所述集装箱姿态集合进行过滤，去除至少部分所述偏移方向与现场风向相背离的备选集装箱姿态。

8.根据权利要求5所述的基于点云的集装箱姿态检测方法，其特征在于，所述根据所述表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业，包括：

根据所述角点的局部点云信息在所述集装箱姿态集合进行相似度拟合；

将与所述角点的匹配程度最高的预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

9.根据权利要求1所述的基于点云的集装箱姿态检测方法，其特征在于，所述表面特征为集装箱的边角和/或集装箱的箱门。

10.一种基于点云的集装箱姿态检测系统，其特征在于，所述系统包括：

点云采集模块，当跨运车吊起一集装箱，基于若干个点云采集装置采集所述集装箱的实时点云数据并稀疏化；

位姿拟合模块，基于所述实时点云数据进行拟合，获得至少一表面特征的位姿信息；

姿态集合模块，根据所述集装箱的先验信息，获得集装箱姿态集合；以及

位姿匹配模块，根据所述表面特征的位姿信息匹配一预设的集装箱姿态，作为当前集装箱姿态进行吊装作业。

11.一种基于点云的集装箱姿态检测设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的基于点云的集装箱姿态检测方法的步骤。

12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至9中任一项所述的基于点云的集装箱姿态检测方法的步骤。

Images