CN112488051A - 货物装载状态判断方法及装置、存储介质、终端 - Google Patents

Abstract

一种货物装载状态判断方法及装置、存储介质、终端，货物装载状态判断方法包括：获取当前时刻待装载货物与装载区域的图片，所述图片表示所述待装载货物与所述装载区域的相对位置；将所述图片输入至训练好的分类预测模型，以得到所述分类预测模型针对所述图片的分类结果，所述分类结果表示所述待装载货物是否落入所述装载区域；将所述分类结果叠加在所述图片上，并进行输出。本发明技术方案能够提升货物装载的效率以及安全性。

Description

货物装载状态判断方法及装置、存储介质、终端

技术领域

本发明涉及数据处理技术领域，尤其涉及一种货物装载状态判断方法及装置、存储介质、终端。

背景技术

在装载货物的过程中，尤其是大型货物，例如集装箱，需要在装载时确认装载位置是否正确，否则容易发生安全事故。

现有的方案是在抓取货物的设备上安装摄像头，例如在轨道吊具四个角点分别装置摄像头，摄像头的偏向垂直朝下，实时抓取画面传输至操控室，由操作员根据视频结合自己的经验来判断箱体与车架锁扣是否对齐。

但是，现有方案中只是通过人眼判断，容易受疲劳、经验影响产生误判，会出现反复调整货物箱体位置导致生产效率低下，甚至可能出货物现箱体压车头重大事故。

发明内容

本发明解决的技术问题是如何提升货物装载的效率以及安全性。

为解决上述技术问题，本发明实施例提供一种货物装载状态判断方法，货物装载状态判断方法包括：获取当前时刻待装载货物与装载区域的图片，所述图片表示所述待装载货物与所述装载区域的相对位置；将所述图片输入至训练好的分类预测模型，以得到所述分类预测模型针对所述图片的分类结果，所述分类结果表示所述待装载货物是否落入所述装载区域；将所述分类结果叠加在所述图片上，并进行输出。

可选的，所述获取待装载货物与装载区域的图片之后还包括：按照预设的裁剪点对所述图片进行裁剪，以使裁剪后的图片仅包含所述待装载货物与装载区域。

可选的，所述将所述分类结果叠加在所述图片上包括：在所述图片的周围绘制矩形，并填充与所述分类结果相对应的颜色；或者在所述图片中增加与所述分类结果相对应的文字或颜色。

可选的，所述分类预测模型是采用训练样本进行训练的，所述训练样本是按照以下方式进行获取的：获取在不同高度下放所述待装载货物时所拍摄的图片。

可选的，所述训练样本是按照以下方式进行处理的：如果连续多张图片的相似度大于预设阈值，则保留所述多张图片中的一张图片；和/或，对获取到的图片进行随机缩放；和/或，对获取到的图片的至少一种参数进行随机调整，所述至少一种参数选自亮度、色度和饱和度。

可选的，所述获取待装载货物与装载区域的图片包括：从设置于所述装载区域的不同位置的摄像头获取多个子图像；将所述多个子图像进行拼接，以得到所述图片。

可选的，所述分类预测模型是采用剪枝化的深度网络构建的，所述剪枝化的深度网络的卷积核通道数小于原始深度网络的卷积核通道数。

可选的，所述分类结果包括对齐和非对齐；或者，所述分类结果包括压车头、对齐和非对齐。

为解决上述技术问题，本发明实施例还公开了一种货物装载状态判断装置，货物装载状态判断装置包括：图片获取模块，用于获取当前时刻待装载货物与装载区域的图片，所述图片表示所述待装载货物与所述装载区域的相对位置；分类模块，用于将所述图片输入至训练好的分类预测模型，以得到所述分类预测模型针对所述图片的分类结果，所述分类结果表示所述待装载货物是否落入所述装载区域；叠加模块，用于将所述分类结果叠加在所述图片上，并进行输出。

本发明实施例还公开了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行所述货物装载状态判断方法的步骤。

本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行所述货物装载状态判断方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明技术方案获取待装载货物与装载区域的图片，所述图片表示所述待装载货物与所述装载区域的相对位置；将所述图片输入至训练好的分类预测模型，以得到所述分类预测模型针对所述图片的分类结果；将所述分类结果叠加在所述图片上，并进行输出。本发明技术方案利用分类预测模型对待装载货物与装载区域是否对齐进行判断，并在传输给操作员的图像上渲染机器视觉的分类结果来辅助操作员，能够弥补依赖人工判断时的不足，提升货物装载的效率以及安全性。

附图说明

图1是本发明实施例一种货物装载状态判断方法的流程图；

图2是本发明实施例一种具体应用场景下货物装载状态判断方法的流程图；

图3是本发明实施例一种货物装载状态判断装置的结构示意图。

具体实施方式

如背景技术中所述，现有方案中只是通过人眼判断，容易受疲劳、经验影响产生误判，会出现反复调整货物箱体位置导致生产效率低下，甚至可能出货物现箱体压车头重大事故。

本发明技术方案利用分类预测模型对待装载货物与装载区域是否对齐进行判断，并在传输给操作员的图像上渲染机器视觉的分类结果来辅助操作员，能够弥补依赖人工判断时的不足，提升货物装载的效率以及安全性。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例一种货物装载状态判断方法的流程图。

本发明实施例的货物装载状态判断方法可以用于港口轨道吊具装货场景中。具体而言，港口轨道吊装货流程是从集装箱堆放区抓取箱体，移动到运输车辆的车架上方，在车尾和车头之间移动，寻找箱体与车架的锁扣对齐位置，然后开始下放箱体。在寻找对齐点的过程中，轨道吊具的状态可分为3种：压车头(箱体与车头重叠)、对齐(箱体与车架上的锁扣对齐)、非对齐(也即除压车头和对齐之外的其他状态)。

在具体实施中，可以在轨道吊具四个角点分别装置摄像头，摄像头的偏向垂直朝下，实时抓取画面。判别箱体与车架锁扣是否对齐是整个装货流程的关键一步。

需要说明的是，本发明实施例的货物装载状态判断方法也可以用于其他任意可实施的需要将装载货物固定于装载区域以保证运输安全的场景，例如，将待运输车辆、罐体等装载至运输车辆并固定的场景，本发明实施例对此不作限制。

本发明实施例的货物装载判断方法可以由终端执行，所述终端可以是手机、电脑等各种适当的智能终端设备。所述方法还可以由内置于所述终端的软件程序来执行。

具体地，所述货物装载状态判断方法可以包括以下步骤：

步骤S101：获取当前时刻待装载货物与装载区域的图片，所述图片表示所述待装载货物与所述装载区域的相对位置；

步骤S102：将所述图片输入至训练好的分类预测模型，以得到所述分类预测模型针对所述图片的分类结果，所述分类结果表示所述待装载货物是否落入所述装载区域；

步骤S103：将所述分类结果叠加在所述图片上，并进行输出。

需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。

在步骤S101的具体实施中，可以获取拍摄的图片，所述图片可以是预先拍摄好的，也可以是实时拍摄的。所述图片中包括待装载货物与装载区域，并能够表示待装载货物与装载区域的相对位置。

在一个具体的例子中，所述分类结果包括对齐和非对齐；或者，所述分类结果包括压车头、对齐和非对齐。

具体地，装载区域可以是用于放置待装载货物的区域，例如可以是运输车辆的车架。装载区域可以是预先设置好的，当待装载货物落入装载区域表示待装载货物与装载区域处于正确的位置，也即待装载货物与装载区域是对齐的，此时的装载状态不会影响货物装载安全。

具体地，可以在抓取货物的设备上安装一个或多个摄像头，并通过该摄像头拍摄图片，例如，在港口轨道吊具装货场景中，通过布置在轨道吊具四个角点处的摄像头实时获取图像。

在步骤S102的具体实施中，将获取到的至少一张图片输入至训练好的分类预测模型，分类预测模型可以针对输入的图片输出分类结果。所述分类结果指示所述待装载货物与所述装载区域之间的位置是否对齐，也即待装载货物是否落入装载区域。具体地，待装载货物与装载区域对齐表示待装载货物落入装载区域内。

具体实施中，分类预测模型可以是利用深度网络模型构建的。

在步骤S103的具体实施中，在分类预测模型输出分类结果之后，可以将分类结果叠加在图片上，以使用户能够直观地获知该图片所表示的货物装载状态。

具体而言，货物装载过程(例如将集装箱从堆放区装载至运输车辆的过程)是一个连续的过程，在该过程的多个时刻可以拍摄多张图片，并对每个时刻所拍摄的图片进行货物装载状态的判断。由此可以得到在多个时刻的货物装载状态。

可以理解的是，由于货物装载状态的判断涉及安全，因此需要实时地对货物状态进行判断，以避免出现安全事故。故而在获取到当前时刻的图片后即输入分类预测模型进行判断，并输出分类结果。

本发明实施例利用分类预测模型对待装载货物与装载区域是否对齐进行判断，并在传输给操作员的图像上渲染机器视觉的分类结果来辅助操作员，能够弥补依赖人工判断时的不足，提升货物装载的效率以及安全性。

在一个非限制性的实施例中，所述分类预测模型是采用剪枝化的深度网络构建的，所述剪枝化的深度网络的卷积核通道数小于原始深度网络的卷积核通道数。

如前所述，对货物装载状态的判断对实时性的要求较高，那么对分类预测模型输出分类结果的速度也有一定的要求。本发明实施例为了保证分类结果输出的速度，在保证分类准确性的基础上，采用剪枝化的深度网络构建分类预测模型。其中，剪枝化的深度网络的卷积核通道数小于原始深度网络的卷积核通道数。例如，将原始深度网络的卷积核的通道数按一定比例减少，比如减少为原来的0.5倍。

在一个具体的例子中，可以采用剪枝化的深度残差网络(Deep residualnetwork,ResNet)18搭建backbone网络，使用1个head做3分类。ResNet18表示网络层数为18。

需要说明的是，在实际应用中，还可以运用其他深度网络构建模型，例如类Alexnet、类Mobilenet、类Shufflenet、类Hrnet、类Vggnet、类Darknet等，本发明实施例对此不作限制。

在一个非限制性的实施例中，图1所示步骤S101之后还可以包括以下步骤：按照预设的裁剪点对所述图片进行裁剪，以使裁剪后的图片仅包含所述待装载货物与装载区域。

本申请发明人发现，在拍摄到的图片中，除了待装载货物与所述装载区域之外，还包括其他设备，容易导致分类预测模型误提取其他设备的特征进行状态分类，影响模型性能。故而在本发明实施例中，在将图片输入至模型之前，对图片进行裁剪，使得裁剪后的图片仅包含所述待装载货物与装载区域。

具体实施中，裁剪点可以是预先设置好的，例如根据摄像头的安装位置以及摄像头拍摄图片所处的高度设置裁剪点。裁剪点的选取原则是使裁剪后的图片中仅包含所述待装载货物与装载区域。例如，具体的裁剪方式可以是将图片居中裁1/4大小。

在一个非限制性的实施例中，图1所示步骤S103可以包括以下步骤：在所述图片的周围绘制矩形，并填充与所述分类结果相对应的颜色；或者在所述图片中增加与所述分类结果相对应的文字或颜色。

由于分类结果与图片是一一对应的，因此本发明实施例中将分类结果与图片之间建立关联。具体可以是在所述图片中增加与所述分类结果相对应的文字或颜色，以使操作者可以获知该图片的分类结果。

优选地，操作者在获取到分类结果之后，可以人工判断进行确认。在这种情况下，需要避免叠加在图片上的分类结果影响操作员的判断。故而可以通过在图片的周围绘制矩形，并填充与所述分类结果相对应的颜色的方式，实现在不影响图片显示的情况下通知操作员该图片的分类结果。

具体地，不同的分类结果对应不同的填充颜色，以使操作员能够根据颜色区分不同的分类结果。

本发明实施例以机器视觉的方法辅助人工判别集装箱是否压车头或者与车身是否对齐，降低人工误判，提高生产效率，避免重大事故发生。

在一个非限制性的实施例中，所述分类预测模型是采用训练样本进行训练的，所述训练样本是按照以下方式进行获取的：获取在不同高度下放所述待装载货物时所拍摄的图片。

在对分类预测模型进行训练时，某一货物状态的图片数量可能非常少，例如，正常作业情况下，箱体压车头的图片很少。训练样本不均衡导致分类预测模型的训练结果较差。在这种情况下，本实施例通过获取在不同高度下放所述待装载货物时所拍摄的图片，以解决样本不均衡的问题。

例如，操作员在不同高度模拟压车头状态，通过摄像头拍摄对应的图片，以作为训练样本。

此外，在实际应用场景中，车架的锁扣与箱体的对齐点只有两三处，而不对齐的点很多，也导致对齐状态的样本数量较少。本发明实施例则可以将箱体位于对齐点上，整个下放过程中的图片都作为对齐状态下的训练样本，以解决对齐点样本数量少的问题。

进一步地，所述训练样本是按照以下方式进行处理的：如果连续多张图片的相似度大于预设阈值，则保留所述多张图片中的一张图片；和/或，对获取到的图片进行随机缩放；和/或，对获取到的图片的至少一种参数进行随机调整，所述至少一种参数选自亮度、色度和饱和度。

作业场景单一容易产生过拟合。本发明实施例为了解决作业场景单一的问题，可以对各个训练样本图片进行预处理，具体如对获取到的图片进行随机缩放；和/或，对获取到的图片的至少一种参数进行随机调整。优选地，可以同时对训练样本图片进行多种增强操作，也即随机缩放以及亮度、色度、饱和度随机调整。每种增强操作是否实施是随机的。每种增强操作的增强程度是随机的，比如缩放多少比例，亮度调整多大等等。

此外，还可以在连续多张图片的相似度大于预设阈值时，则保留所述多张图片中的一张图片，进一步避免过拟合。

具体实施中，可以预先训练一个用于检测图片中货物角点的模型。如果该模型检测出连续若干长图片中箱体角点的变化范围小于预设值，则判定为连续多张图片的相似度大于预设阈值，也即多张图片变化不大，可以进行去重删除，也即仅保留其中一张图片。

在一个非限制性的实施例中，图1所示步骤S101可以包括以下步骤：从设置于所述装载区域的不同位置的摄像头获取多个子图像；将所述多个子图像进行拼接，以得到所述图片。

本实施例中，用于拍摄图片的摄像头的数量可以是多个，以覆盖更大的拍摄区域。同时由于多个摄像头拍摄得到多个子图像，因此需要将多个子图像拼接为一张图片，拼接后的图片用于后续货物状态的判断。

请参照图2，图2示出了一种具体应用场景下货物装载状态判断方法的流程。

在步骤S201中，获取摄像头拍摄的子图像。所述子图像可以包括待装载货物的一部分和/或装载区域的一部分。例如，子图像的数量为4。

在步骤S202中，对各个子图像进行裁剪，以保留关键区域。所述关键区域可以是图片中仅包含待装载货物和装载区域的部分。

在步骤S203中，对裁剪后的子图像进行拼接，以得到图片。

在步骤S204中，将图片输入至分类预测模型。

在步骤S205中，将分类结果叠加在图片上进行输出。

本发明实施例对布置在吊具四个角点处的摄像头画面进行拼接后通过分类模型进行状态预测，并将预测结果叠加到图像上，辅助操作员进行货物状态的判断，解决疲劳和经验不足带来的安全问题。

请参照图3，本发明实施例还公开了一种货物装载状态判断装置30，货物装载状态判断装置30可以包括：

图片获取模块301，用于获取当前时刻待装载货物与装载区域的图片，所述图片表示所述待装载货物与所述装载区域的相对位置；

分类模块302，用于将所述图片输入至训练好的分类预测模型，以得到所述分类预测模型针对所述图片的分类结果，所述分类结果表示所述待装载货物是否落入所述装载区域；

叠加模块303，用于将所述分类结果叠加在所述图片上，并进行输出。

本发明实施例利用分类预测模型对待装载货物与装载区域是否对齐进行判断，并在传输给操作员的图像上渲染机器视觉的分类结果来辅助操作员，能够弥补依赖人工判断时的不足，提升货物装载的效率以及安全性。

关于所述货物装载状态判断装置30的工作原理、工作方式的更多内容，可以参照图1至图2中的相关描述，这里不再赘述。

本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行图1中所示方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。

本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序。所述处理器运行所述计算机程序时可以执行图1中所示方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。

应理解，上述的处理器可以是通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(networkprocessor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logicdevice，PLD)或其他集成芯片。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

还应理解，本发明实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种货物装载状态判断方法，其特征在于，包括：

获取当前时刻待装载货物与装载区域的图片，所述图片表示所述待装载货物与所述装载区域的相对位置；

将所述图片输入至训练好的分类预测模型，以得到所述分类预测模型针对所述图片的分类结果，所述分类结果表示所述待装载货物是否落入所述装载区域；

将所述分类结果叠加在所述图片上，并进行输出。

2.根据权利要求1所述的货物装载状态判断方法，其特征在于，所述获取待装载货物与装载区域的图片之后还包括：

按照预设的裁剪点对所述图片进行裁剪，以使裁剪后的图片仅包含所述待装载货物与装载区域。

3.根据权利要求1所述的货物装载状态判断方法，其特征在于，所述将所述分类结果叠加在所述图片上包括：

在所述图片的周围绘制矩形，并填充与所述分类结果相对应的颜色；

或者在所述图片中增加与所述分类结果相对应的文字或颜色。

4.根据权利要求1所述的货物装载状态判断方法，其特征在于，所述分类预测模型是采用训练样本进行训练的，所述训练样本是按照以下方式进行获取的：

获取在不同高度下放所述待装载货物时所拍摄的图片。

5.根据权利要求4所述的货物装载状态判断方法，其特征在于，所述训练样本是按照以下方式进行处理的：

如果连续多张图片的相似度大于预设阈值，则保留所述多张图片中的一张图片；

和/或，对获取到的图片进行随机缩放；

和/或，对获取到的图片的至少一种参数进行随机调整，所述至少一种参数选自亮度、色度和饱和度。

6.根据权利要求1所述的货物装载状态判断方法，其特征在于，所述获取待装载货物与装载区域的图片包括：

从设置于所述装载区域的不同位置的摄像头获取多个子图像；

将所述多个子图像进行拼接，以得到所述图片。

7.根据权利要求1所述的货物装载状态判断方法，其特征在于，所述分类预测模型是采用剪枝化的深度网络构建的，所述剪枝化的深度网络的卷积核通道数小于原始深度网络的卷积核通道数。

8.根据权利要求1所述的货物装载状态判断方法，其特征在于，所述分类结果包括对齐和非对齐；或者，所述分类结果包括压车头、对齐和非对齐。

9.一种货物装载状态判断装置，其特征在于，包括：

图片获取模块，用于获取当前时刻待装载货物与装载区域的图片，所述图片表示所述待装载货物与所述装载区域的相对位置；

分类模块，用于将所述图片输入至训练好的分类预测模型，以得到所述分类预测模型针对所述图片的分类结果，所述分类结果表示所述待装载货物是否落入所述装载区域；

叠加模块，用于将所述分类结果叠加在所述图片上，并进行输出。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至8中任一项所述货物装载状态判断方法的步骤。

11.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至8中任一项所述货物装载状态判断方法的步骤。

Images