CN116524166A - 集装箱箱门朝向的识别方法、装置及港口自动化系统 - Google Patents

Abstract

本申请提供一种集装箱箱门朝向的识别方法、装置及港口自动化系统，所述集装箱箱门朝向的识别方法，通过将集装箱的至少两个顶角对应的顶角图像进行拼接，得到能够展现集装箱箱门所处的侧面的拼接图像，并通过对所述拼接图像进行箱门朝向的识别处理的方式，确定所述集装箱的箱门朝向。该方法能够识别集装箱的箱门朝向，且相较于现有技术中采用雷达扫描集装箱的方式，对集装箱的拼接图像直接进行识别处理，更有利于对集装箱的箱门的朝向进行分析，提高了对所述集装箱箱门朝向识别的准确率。

Description

集装箱箱门朝向的识别方法、装置及港口自动化系统

技术领域

本申请涉及图像处理技术领域，具体涉及一种集装箱箱门朝向的识别方法、装置及港口自动化系统。

背景技术

随着进出口贸易的扩大，港口装卸设备朝着大型、高效、专业化、自动化的方向不断发展。

在港口自动化作业的过程中，对集装箱箱门朝向的识别，进而基于集装箱箱门的朝向完成集装箱的装卸任务，是港口自动化作业的重要部分。但现有技术中，对集装箱箱门朝向的识别多基于雷达对集装箱本体的扫描实现，进而根据扫描得到的集装箱中箱门把手的位置，确定集装箱箱门的朝向。但在雷达扫描集装箱的过程，集装箱本身的缺陷会影响对箱门朝向的判断，比如说，在集装箱存在鼓包的情况下，鼓包所在的位置也会被认为是箱门。

因此，如何识别集装箱箱门的朝向，提高集装箱箱门识别的准确率成为本领域技术人员亟需解决的技术问题。

发明内容

本申请提供一种集装箱箱门朝向的识别方法、装置及港口自动化系统，以识别集装箱箱门的朝向，提高集装箱箱门识别的准确率。

根据本申请实施例的第一方面，提供了一种集装箱箱门朝向的识别方法，其特征在于，包括：

获得集装箱的至少两个顶角对应的顶角图像，其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像；

对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向。

在本申请的一种可选实施方式中，所述顶角图像通过安装在所述集装箱上方的摄像机，朝向所述集装箱的顶角方向拍摄获得。

在本申请的一种可选实施方式中，所述将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像，包括：

根据所述集装箱的顶角的分布，将各个顶角图像进行图像拼接，得到所述集装箱的拼接图像。

在本申请的一种可选实施方式中，所述对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向，包括：

基于所述拼接图像中所述集装箱的轮廓信息，对所述拼接图像进行裁剪处理，得到裁剪后的拼接图像；

对所述裁剪后的拼接图像进行集装箱箱门的朝向识别处理，确定所述集装箱的箱门朝向。

在本申请的一种可选实施方式中，所述对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向，包括：

利用预先训练的箱门朝向识别模型，对所述拼接图像进行集装箱箱门朝向的识别处理，获得所述箱门朝向识别模型生成的所述集装箱的箱门朝向。

在本申请的一种可选实施方式中，所述预先训练的箱门朝向识别模型通过以下方式训练：

获取样本拼接图像，以及用于标注所述样本拼接图像中箱门朝向的标签数据；其中，所述样本拼接图像中包括样本集装箱的至少两个样本顶角图像；

将所述样本拼接图像和所述标签数据作为训练样本，对所述箱门朝向识别模型进行训练。

在本申请的一种可选实施方式中，在所述样本拼接图像包括样本集装箱箱门一侧任一顶角对应的顶角图像的情况下，所述标签数据，包括：所述样本拼接图像中样本集装箱的箱门朝向信息，和/或所述样本拼接图像中所述样本集装箱的箱门所在区域的标注信息；

在所述样本拼接图像中不包括所述样本集装箱箱门一侧任一顶角对应的顶角图像的情况下，所述标签数据，包括：所述样本拼接图像中样本集装箱的箱门朝向信息。

根据本申请实施例的第二方面，提供了一种集装箱箱门朝向的识别装置，包括：

第一单元，用于获得集装箱的至少两个顶角对应的顶角图像，其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

第二单元，用于将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像；

第三单元，用于对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向。

根据本申请实施例的第三方面，提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于通过运行所述存储器中的指令，执行上述集装箱箱门朝向的识别方法。

根据本申请实施例的第四方面，提供了一种港口自动化系统，包括：集装箱吊具、摄像机、箱门朝向控制器；

所述集装箱吊具，用于在集装箱装卸的过程中，吊起所述集装箱；

所述摄像机，安装在所述集装箱吊具中，用于在所述集装箱装卸的过程中，拍摄获得所述集装箱的至少两个顶角对应的顶角图像，并将所述顶角图像发送至所述集装箱控制器；其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

所述集装箱控制器，用于将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像，并对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向；并在所述集装箱的箱门朝向不符合装卸条件的情况下，控制所述集装箱吊具在所述集装箱装卸的过程中，调整所述集装箱朝向至符合所述装卸条件。

根据本申请实施例的第五方面，提供了一种计算机存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行上述集装箱箱门朝向的识别方法。

与现有技术相比，本申请具有以下优点：

本申请提供一种集装箱箱门朝向的识别方法、装置及港口自动化系统，所述集装箱箱门朝向的识别方法，包括：获得集装箱的至少两个顶角对应的顶角图像，其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像；对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向。

该方法通过将集装箱的至少两个顶角对应的顶角图像进行拼接，得到能够展现集装箱箱门所处的侧面的拼接图像，并通过对所述拼接图像进行箱门朝向的识别处理的方式，确定所述集装箱的箱门朝向。该方法能够识别集装箱的箱门朝向，且相较于现有技术中采用雷达扫描集装箱的方式，对集装箱的拼接图像直接进行识别处理，更有利于对集装箱的箱门的朝向进行分析，提高了对所述集装箱箱门朝向识别的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请一实施例提供的集装箱箱门朝向的识别方法应用场景示意图；

图2为本申请另一实施例提供的集装箱箱门朝向的识别方法流程图；

图3为本申请另一实施例提供的顶角图像和顶角图像的拼接示意图；

图4为本申请另一实施例提供的集装箱箱门朝向的识别装置结构示意图；

图5为本申请另一实施例提供的一种电子设备结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着进出口贸易的扩大，港口装卸设备朝着大型、高效、专业化、自动化的方向不断发展。

在港口自动化作业的过程中，对集装箱箱门朝向的识别，进而基于集装箱箱门的朝向完成集装箱的装卸任务，是港口自动化作业的重要部分。但现有技术中，对集装箱箱门朝向的识别多基于雷达对集装箱本体的扫描实现，进而根据扫描得到的集装箱中箱门把手的位置，确定集装箱箱门的朝向。但在雷达扫描集装箱的过程，集装箱本身的缺陷会影响对箱门朝向的判断，比如说，在集装箱存在鼓包的情况下，鼓包所在的位置也会被认为是箱门。

因此，如何识别集装箱箱门的朝向，提高集装箱箱门识别的准确率成为本领域技术人员亟需解决的技术问题。

为解决上述技术问题，本申请提供一种集装箱箱门朝向的识别方法、装置及港口自动化系统，在以下的实施例中逐一进行详细说明。

示例性实施环境

为了便于理解本申请实施例提供的所述集装箱箱门朝向的识别方法、装置及港口自动化系统，本申请实施例首先结合所述集装箱箱门朝向的识别方法的应用场景对所述集装箱箱门朝向的识别方法进行介绍。

请参考图1，图1为本申请一实施例提供的集装箱箱门朝向的识别方法应用场景示意图。

如图1所示，图1中包括：集装箱101、拼接图像102、以及箱门朝向识别模型103。

在对集装箱101进行装卸的过程中，通过集装箱吊具将集装箱101的四个角吊起，进而执行装卸任务。

在本申请实施例中，集装箱101吊具安装有四个摄像头，分别朝向集装箱101的顶角1至顶角4进行拍摄，并获得对应的顶角图像。

其中，每个顶角图像中包括：集装箱顶角对应的集装箱上侧面和集装箱顶角对应的两个侧面，以便于通过所述集装箱顶角对应的侧面观察到集装箱的箱门。

在获得集装箱101的顶角图像后，按照所述集装箱101的顶角的分布，将各个顶角图像进行图像拼接，得到集装箱的拼接图像102，并将拼接图像102输入预先训练的箱门朝向识别模型103。

箱门朝向识别模型103对输入的拼接图像进行箱门朝向的识别处理，确定集装箱吊具吊起的集装箱101的箱门朝向。

在箱门朝向识别模型103识别得到集装箱101的箱门朝向后，向用于控制集装箱吊具的控制装置发送所述箱门朝向。

集装箱吊具的控制装置接收所述箱门朝向，并判断所述箱门朝向是否符合集装箱的装卸条件，并在所述箱门朝向不符合装卸条件的情况下，控制所述集装箱吊具在集装箱装卸的过程中，调整集装箱101的箱门朝向。

示例性方法

本申请同时提供一种集装箱箱门朝向的识别方法，其核心在于，通过将集装箱的至少两个顶角对应的顶角图像进行拼接的方式，得到能够展现集装箱侧面的拼接图像，并对所述拼接图像进行箱门朝向的识别处理，确定所述集装箱的箱门朝向。

进一步的，请参考图2，图2为本申请另一实施例提供的集装箱箱门朝向的识别方法流程图。

如图2所示，所述集装箱箱门朝向的识别方法包括以下步骤S201至步骤S203：

步骤S201，获得集装箱的至少两个顶角对应的顶角图像，其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面。

在本申请实施例中，所述集装箱的顶角图像可以理解为，由所述集装箱的上方朝向所述集装箱的顶角拍摄获得的图像。

在本申请的一种可选实施方式中，所述顶角图像的获得可以基于安装在集装箱吊具上的摄像头获得，即，在通过集装箱吊具对所述集装箱进行装卸转运的过程中获得所述顶角图像。

在本申请的一种可选实施方式中，安装在所述集装箱吊具上的摄像头具体为，所述集装箱吊具上安装的、用于分别朝向所述集装箱的各个顶角拍摄图像的摄像头。

在对所述集装箱进行装卸转运过程中，由于安装在所述集装箱吊具上的摄像头，从集装箱的上方朝向各个顶角拍摄图像。因此，所述摄像头不仅能够拍摄到与所述集装箱顶角对应的部分上侧面，还可以拍摄到所述集装箱顶角对应的两个侧面，且，集装箱的箱门也普遍设置在集装箱的侧面，因此，通过此种方式采集的顶角图像中可以清晰的观察到图像中是否存在箱门。

进一步的，为了便于理解本申请实施例提供的所述顶角图像，以下结合图3对所述集装箱的顶角图像进行详细介绍。

请参考图3，图3为本申请另一实施例提供的顶角图像和顶角图像的拼接示意图。

如图3所示，图3中包括：集装箱301，集装箱301中包括：第一顶角3011、第二顶角3012、第三顶角3013、第四顶角3014；以第四顶角3014为例，与第四顶角3014对应的两个侧面分别为第一侧面和第二侧面，上侧面为集装箱301的上顶面。

步骤S202，将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像。

在本申请实施例中，所述将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像可以基于集装箱顶角的分布实现。

请继续参考图3，图3中，第一顶角3011至第四顶角3014对应有第一顶角图像3021、第二顶角图像3022、第三顶角图像3023、第四顶角图像3024；图3中还包括拼接图像303。

如图3所示，在对第一顶角图像3021至第四顶角图像3024进行拼接的过程中，可以按照第一顶角3011至第四顶角3014在集装箱301中的分布，实现对各个顶角图像的拼接，进而获得拼接图像303。

进一步的，在本申请的一种可选实施方式中，考虑到在通过所述集装箱吊具上的摄像头朝向所述集装箱的各个顶角拍摄时，朝向不同顶角拍摄的摄像头可能会出现由于碰撞、环境等因素的影响造成的摄像头损坏无法拍照的情况。

对所述顶角图像的拼接只需要使用至少两个不同顶角对应的图像，比如说，在所述拼接图像中包括两个顶角图像的情况下，用于拼接的顶角图像可以包括：

第一顶角图像3021和第二顶角图像3022；或者，第三顶角图像3023和第四顶角图像3024；或者，第一顶角图像3021和第四顶角图像3024；或者，第二顶角图像3022和第三顶角图像3023。

又比如说，在所述拼接图像中包括三个顶角图像的情况下，用于拼接的顶角图像可以包括：第一顶角图像3021、第二顶角图像3022，以及第三顶角图像3023；或者第二顶角图像3022、第三顶角图像3023，以及第四顶角图像3024；或者第一顶角图像3021、第三顶角图像3023，以及第四顶角图像3024；或者第一顶角图像3021、第二顶角图像3022，以及第四顶角图像3024。

又比如说，在所述拼接图像中包括四个顶角图像的情况下，用于拼接的顶角图像为：第一顶角图像3021至第四顶角图像3024。

可以理解的，在将顶角图像进行图像拼接处理的过程中，对所述顶角图像的选择需要根据顶角图像获取的实际情况进行，对此，本申请不做限制。

步骤S203，对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向。

在本申请实施例中，上述步骤S203包括：利用预先训练的箱门朝向识别模型，对所述拼接图像进行集装箱箱门朝向的识别处理，获得所述箱门朝向识别模型生成的所述集装箱的箱门朝向。

所述箱门朝向识别模型可以理解为一种神经网络模型。在具体应用的过程中，本申请采用机器学习(Machine Learning，ML)的方式训练获得所述问诊模型。机器学习(是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科)专用于研究通过训练样本，获取新的知识或技能，重新组织已有知识结构并不不断改善自身性能。机器学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术，属于人工智能(Artificial Intellingence，AI)技术的一个分支。

进一步的，在实际应用的过程中，由所述集装箱的上方朝向所述集装箱的顶角拍摄获得顶角图像中，会出现大量的、与所述集装箱无关的内容(例如，地面)，这些内容中出现的元素(例如，类似门把手状的凸起等)可能会影响所述对所述拼接图像进行集装箱箱门朝向的识别处理过程。

因此，在本申请的一种可选实施方式中，所述对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向，包括：

基于所述拼接图像中所述集装箱的轮廓信息，对所述拼接图像进行裁剪处理，得到裁剪后的拼接图像；

对所述裁剪后的拼接图像进行集装箱箱门的朝向识别处理，确定所述集装箱的箱门朝向。

在实际应用的过程中，采用集装箱吊具上安装的摄像头拍摄所述顶角图像，进而基于顶角图像的拼接图像识别集装箱箱门朝向的方式，相对于现有技术中采用雷达扫描集装箱确定箱门朝向的方式，不仅成本更低，且安装在集装箱吊具上的摄像头以及其他设备均可在其他系统复用。

进一步的，为了便于理解本申请实施例中，所述箱门朝向识别模型对所述拼接图像的识别原理，以下对所述箱门朝向识别模型的训练过程进行详细说明。

在本申请实施例中，所述箱门朝向识别模型可以是一种分类模型，也可以是一种目标检测模型。

具体的，所述箱门朝向识别模型的训练过程包括以下步骤S1和步骤S2：

步骤S1，获取样本拼接图像，以及用于标注所述样本拼接图像中箱门朝向的标签数据；其中，所述样本拼接图像中包括样本集装箱的至少两个样本顶角图像。

所述样本拼接图像中的样本顶角图像可以使用，实际工况数据中采集的顶角图像。

比如说，在所述集装箱吊具上安装的摄像头拍摄到各个顶角的视频后，基于各个摄像头拍摄的顶角视频的起止节点，逐帧解析视频，清除没有拍摄到集装箱的视频帧。

之后，通过视频解码器，按照各视频帧的节点编号，依次确定各个摄像头在同一时间拍摄的视频帧，作为所述样本顶角图像；并拼接所述样本顶角图像，获得所述样本拼接图像。

进一步的，在本申请实施例中，在所述箱门朝向识别模型为分类模型的情况下，所述标签数据包括：用于表示样本集装箱箱门朝向的信息；例如，箱门朝左，或箱门朝右。

在所述箱门朝向识别模型为目标检测模型的情况下，所述标签数据，包括：所述样本拼接图像中所述样本集装箱的箱门所在区域的标注信息；例如，所述标注信息可以是在所述样本拼接图像中标注箱门所在区域的标注线或标注框。

步骤S2，将所述样本拼接图像和所述标签数据作为训练样本，对所述箱门朝向识别模型进行训练。

进一步的，为了使所述箱门朝向识别模型能够准确的识别得到由两张或三张顶角图像拼接处理的拼接图像，不同情况的样本拼接图像对应的样本标注信息也不相同：

在所述样本拼接图像包括样本集装箱箱门一侧任一顶角对应的顶角图像的情况下，所述标签数据，包括：所述样本拼接图像中样本集装箱的箱门朝向信息，和/或所述样本拼接图像中所述样本集装箱的箱门所在区域的标注信息。

比如说，如图3所示，假设图3中的集装箱箱门朝左，则，在所述样本拼接图像中，包括：第一顶角图像3021和/或第二顶角图像3022的情况下，所述标注信息既可以是箱门朝左的文本信息，也可以是在所述样本拼接图像中标注出的箱门所在其余的标注线或标注框。

在所述样本拼接图像中不包括所述样本集装箱箱门一侧任一顶角对应的顶角图像的情况下，所述标签数据，包括：所述样本拼接图像中样本集装箱的箱门朝向信息。

比如说，如图3所示，假设图3中的集装箱箱门朝左，则在所述样本拼接图像至仅包括：第三顶角图像3023和/或第四顶角图像3024的情况下，所述标注标注信息只能是箱门朝左的文本信息。

即，在样本拼接图像中没有集装箱箱门的情况下，标注所述样本拼接图像中的顶角图像朝向相反的方向箱门朝向。

综上所述，本申请实施例提供的所述集装箱箱门朝向的识别方法，通过将集装箱的至少两个顶角对应的顶角图像进行拼接，得到能够展现集装箱箱门所处的侧面的拼接图像，并通过对所述拼接图像进行箱门朝向的识别处理的方式，确定所述集装箱的箱门朝向。该方法能够识别集装箱的箱门朝向，且相较于现有技术中采用雷达扫描集装箱的方式，对集装箱的拼接图像直接进行识别处理，更有利于对集装箱的箱门的朝向进行分析，提高了对所述集装箱箱门朝向识别的准确率。

示例性装置

相应的，本申请实施例还提供了一种集装箱箱门朝向的识别装置，请参考图4，图4为本申请另一实施例提供的集装箱箱门朝向的识别装置结构示意图。

如图4所示，所述集装箱箱门朝向的识别装置，包括：

第一单元401，用于获得集装箱的至少两个顶角对应的顶角图像，其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

第二单元402，用于将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像；

第三单元403，用于对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向。

在本申请的一种可选实施方式中，所述顶角图像通过安装在所述集装箱上方的摄像机，朝向所述集装箱的顶角方向拍摄获得。

在本申请的一种可选实施方式中，所述将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像，包括：

根据所述集装箱的顶角的分布，将各个顶角图像进行图像拼接，得到所述集装箱的拼接图像。

在本申请的一种可选实施方式中，所述对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向，包括：

基于所述拼接图像中所述集装箱的轮廓信息，对所述拼接图像进行裁剪处理，得到裁剪后的拼接图像；

对所述裁剪后的拼接图像进行集装箱箱门的朝向识别处理，确定所述集装箱的箱门朝向。

在本申请的一种可选实施方式中，所述对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向，包括：

利用预先训练的箱门朝向识别模型，对所述拼接图像进行集装箱箱门朝向的识别处理，获得所述箱门朝向识别模型生成的所述集装箱的箱门朝向。

在本申请的一种可选实施方式中，所述预先训练的箱门朝向识别模型通过以下方式训练：

获取样本拼接图像，以及用于标注所述样本拼接图像中箱门朝向的标签数据；其中，所述样本拼接图像中包括样本集装箱的至少两个样本顶角图像；

将所述样本拼接图像和所述标签数据作为训练样本，对所述箱门朝向识别模型进行训练。

在本申请的一种可选实施方式中，在所述样本拼接图像包括样本集装箱箱门一侧任一顶角对应的顶角图像的情况下，所述标签数据，包括：所述样本拼接图像中样本集装箱的箱门朝向信息，和/或所述样本拼接图像中所述样本集装箱的箱门所在区域的标注信息；

在所述样本拼接图像中不包括所述样本集装箱箱门一侧任一顶角对应的顶角图像的情况下，所述标签数据，包括：所述样本拼接图像中样本集装箱的箱门朝向信息。

本实施例提供的集装箱箱门朝向的识别装置，与本申请上述实施例所提供的集装箱箱门朝向的识别方法属于同一申请构思，可执行本申请上述任意实施例所提供的集装箱箱门朝向的识别方法，具备执行集装箱箱门朝向的识别方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的集装箱箱门朝向的识别方法的具体处理内容，此处不再加以赘述。

示例性系统

本申请另一实施例同时提供一种港口自动化系统，所述港口自动化系统，包括：集装箱吊具、摄像机、箱门朝向控制器；

其中，所述集装箱吊具，用于在集装箱装卸的过程中，吊起所述集装箱；

所述摄像机，安装在所述集装箱吊具中，用于在所述集装箱装卸的过程中，拍摄获得所述集装箱的至少两个顶角对应的顶角图像，并将所述顶角图像发送至所述集装箱控制器；其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

所述集装箱控制器，用于将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像，并对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向；并在所述集装箱的箱门朝向不符合装卸条件的情况下，控制所述集装箱吊具在所述集装箱装卸的过程中，调整所述集装箱朝向至符合所述装卸条件。

本实施例提供的港口自动化系统，与本申请上述实施例所提供的集装箱箱门朝向的识别方法和所述集装箱箱门朝向的识别装置属于同一申请构思，可执行本申请上述任意实施例所提供的集装箱箱门朝向的识别方法，或具备上述任意实施例所提供的集装箱箱门朝向的识别装置，具备执行集装箱箱门朝向的识别方法、装置相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的集装箱箱门朝向的识别方法和集装箱箱门朝向的识别装置的具体处理内容，此处不再加以赘述。

示例性电子设备

本申请另一实施例还提出一种电子设备，请参考图5，图5为本申请另一实施例提供的一种电子设备结构示意图。

如图5所示，该电子设备，包括：

存储器200和处理器210；

其中，所述存储器200与所述处理器210连接，用于存储程序；

所述处理器210，用于通过运行所述存储器200中存储的程序，实现上述任一实施例公开的集装箱箱门朝向的识别方法。

具体的，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。

处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器210可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器210可包括主处理器，还可包括基带芯片、调制解调器等。

存储器200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器210执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的任意一种集装箱箱门朝向的识别方法的各个步骤。

示例性计算机程序产品和存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的集装箱箱门朝向的识别方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是存储介质，其上存储有计算机程序，计算机程序被处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的集装箱箱门朝向的识别方法中的步骤，具体可以实现以下步骤：

步骤S201，获得集装箱的至少两个顶角对应的顶角图像，其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

步骤S202，将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像；

步骤S203，对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种集装箱箱门朝向的识别方法，其特征在于，包括：

获得集装箱的至少两个顶角对应的顶角图像，其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像；

对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向。

2.根据权利要求1所述的方法，其特征在于，所述将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像，包括：

根据所述集装箱的顶角的分布，将各个顶角图像进行图像拼接，得到所述集装箱的拼接图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向，包括：

基于所述拼接图像中所述集装箱的轮廓信息，对所述拼接图像进行裁剪处理，得到裁剪后的拼接图像；

对所述裁剪后的拼接图像进行集装箱箱门的朝向识别处理，确定所述集装箱的箱门朝向。

4.根据权利要求1所述的方法，其特征在于，所述对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向，包括：

利用预先训练的箱门朝向识别模型，对所述拼接图像进行集装箱箱门朝向的识别处理，获得所述箱门朝向识别模型生成的所述集装箱的箱门朝向。

5.根据权利要求4所述的方法，其特征在于，所述预先训练的箱门朝向识别模型通过以下方式训练：

获取样本拼接图像，以及用于标注所述样本拼接图像中箱门朝向的标签数据；其中，所述样本拼接图像中包括样本集装箱的至少两个样本顶角图像；

将所述样本拼接图像和所述标签数据作为训练样本，对所述箱门朝向识别模型进行训练。

6.根据权利要求5所述的方法，其特征在于，在所述样本拼接图像包括样本集装箱箱门一侧任一顶角对应的顶角图像的情况下，所述标签数据，包括：所述样本拼接图像中样本集装箱的箱门朝向信息，和/或所述样本拼接图像中所述样本集装箱的箱门所在区域的标注信息；

在所述样本拼接图像中不包括所述样本集装箱箱门一侧任一顶角对应的顶角图像的情况下，所述标签数据，包括：所述样本拼接图像中样本集装箱的箱门朝向信息。

7.根据权利要求1所述的方法，其特征在于，所述顶角图像通过安装在所述集装箱上方的摄像机，朝向所述集装箱的顶角方向拍摄获得。

8.一种集装箱箱门朝向的识别装置，其特征在于，包括：

第一单元，用于获得集装箱的至少两个顶角对应的顶角图像，其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

第二单元，用于将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像；

第三单元，用于对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于通过运行所述存储器中的指令，执行上述权利要求1-7任意一项所述的集装箱箱门朝向的识别方法。

10.一种港口自动化系统，其特征在于，包括：集装箱吊具、摄像机、箱门朝向控制器；

所述集装箱吊具，用于在集装箱装卸的过程中，吊起所述集装箱；

所述摄像机，安装在所述集装箱吊具中，用于在所述集装箱装卸的过程中，拍摄获得所述集装箱的至少两个顶角对应的顶角图像，并将所述顶角图像发送至所述集装箱控制器；其中，所述顶角图像包括：所述集装箱顶角对应的集装箱上侧面和所述集装箱顶角对应的两个侧面；

所述集装箱控制器，用于将各个顶角图像进行图像拼接处理，得到所述集装箱的拼接图像，并对所述集装箱的拼接图像进行集装箱箱门朝向的识别处理，确定所述集装箱的箱门朝向；并在所述集装箱的箱门朝向不符合装卸条件的情况下，控制所述集装箱吊具在所述集装箱装卸的过程中，调整所述集装箱朝向至符合所述装卸条件。