CN106203239B - 用于集装箱理货的信息处理方法、装置和系统 - Google Patents

Abstract

本发明公开了一种用于集装箱理货的信息处理方法、装置和系统。其中，该方法包括：在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置；在集装箱的位置到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像，其中，理货图像至少包括集装箱的至少一个面的图像；识别集装箱的至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。采用本发明，通过采集集装箱的理货图像获取集装箱箱号，解决了现有技术中不能自动获取集装箱的理货信息的问题，实现了对集装箱理货信息的自动高效识别。

Description

用于集装箱理货的信息处理方法、装置和系统

技术领域

本发明涉及交通运输领域，具体而言，涉及一种用于集装箱理货的信息处理方法、装置和系统。

背景技术

在港口作业中，为了方便对集装箱的识别，每个集装箱都有一个编号，以方便记录集装箱在运输过程中的状态。现有技术中获取集装箱编号的方法是工作人员在现场获取或者通过监控视频获取集装箱编号并做记录，其缺点是人工成本高、工作效率低且人工抄录易出错误。

另外还有一些关于集装箱理货的专利，如专利“自动化无人堆场吊具-集卡对箱的分级快速定位方法”就提出了吊具与集装箱卡车对箱的方法，在小车上安装图像识别系统结合吊具微动调整来对集装箱卡车进行定位；专利“集装箱起重机高效装卸作业自动控制系统”还提出了一种吊具自动抓取集装箱的方法，即通过图像识别方法检测吊具与集装箱的相对位置，但是，上专利仅涉及如何进行吊具与集装箱的对位，且操作过程复杂，抓拍到的图像的识别率较低。

针对现有技术中不能自动获取集装箱的理货信息的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种用于集装箱理货的信息处理方法、装置和系统，以至少解决现有技术中不能自动获取集装箱的理货信息的问题。

根据本发明实施例的一个方面，提供了一种用于集装箱理货的信息处理方法，该方法包括：在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置；在集装箱的位置到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像，其中，理货图像至少包括集装箱的至少一个面的图像；识别集装箱的至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。

根据本发明实施例的另一方面，还提供了一种用于集装箱理货的信息处理装置，该装置包括：第一确定模块，用于在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置；第一采集模块，用于在集装箱的位置到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像，其中，理货图像至少包括集装箱的至少一个面的图像；第一识别模块，用于识别集装箱的至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。

根据本发明实施例的一个方面，提供了一种用于集装箱理货的信息处理系统，该系统包括：终端服务器包括：位置确定装置，用于在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置；控制装置，与位置确定装置连接，用于在集装箱的位置到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像；采集装置，安装在桥吊系统上，与控制装置连接，用于采集集装箱的理货图像，其中，理货图像至少包括集装箱的至少一个面的图像；终端服务器还包括：图像处理装置，与采集装置连接，用于识别采集装置采集到的集装箱的至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。

采用本发明，在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置，当集装箱到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像，并识别集装箱至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。采用本发明，通过采集集装箱的理货图像获取集装箱箱号，解决了现有技术中不能自动获取集装箱的理货信息的问题，实现了对集装箱理货信息的自动高效识别。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的用于集装箱理货的信息处理方法的流程图；

图2是根据本发明实施例的集装箱动态识别智慧理货系统的示意图；

图3是根据本发明实施例的一种可选的高清球机的安装位置的示意图；

图4是根据本发明实施例的另一种可选的高清球机的安装位置的示意图；

图5是根据本发明实施例的集装箱起吊时的示意图；

图6是根据本发明实施例的一张可选的集装箱箱号的示意图；

图7是根据本发明实施例的另一张可选的集装箱箱号的示意图；

图8是根据本发明实施例的拖车的图像的示意图；

图9是根据本发明实施例用于集装箱理货的信息处理装置的示意图；以及

图10是根据本发明实施例用于集装箱理货的信息处理系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

理货：指船方或货主根据运输合同在装运港和卸货港收受和交付货物时，委托港口的理货机构代理完成的在港口对货物进行计数、检查货物残损、指导装舱积载，制作有关单证等工作。

PLC控制器：可编程逻辑控制器，其本质是一种专用于工业控制的计算机。

PLC控制：在传统的顺序控制器基础上引入微电子技术、计算机技术、自动控制技术和通讯技术的一种柔性的程控系统。

集装箱箱号：集装箱箱号作为唯一标识集装箱的ID(IDentity)符号，集装箱箱号采用国际标准ISO6346(1995)标准定义，由4位英文字母(箱主号)和7位数字(箱体注册码)组成。

集装箱ISO号：使用UN/ISO标准代码，由于4位号码组成，表示集装箱的尺寸、箱型和功能。

HOG：英文全称是Histogram of Oriented Gradient，中文名称是方向梯度直方图，是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。

LBP：英文全称是Local Binary Pattern，中文名称是局部二值模式，是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点，用于纹理特征提取，而且，提取的特征是图像的局部的纹理特征。

线性分类器：在机器学习领域，分类的目标是指将具有相似特征的对象聚集。而一个线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。对象的特征通常被描述为特征值，而在向量中则描述为特征向量。

根据本发明实施例，提供了一种用于集装箱理货的信息处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的用于集装箱理货的信息处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置。

步骤S104，在集装箱的位置到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像。

步骤S106，识别集装箱的至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。

其中，理货图像至少包括集装箱的至少一个面的图像。

采用本发明，在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置，当集装箱到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像，并识别集装箱至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。采用本发明，通过采集集装箱的理货图像获取集装箱箱号，解决了现有技术中不能自动获取集装箱的理货信息的问题，实现了对集装箱理货信息的自动高效识别。

下面结合图2详述本发明的实施例。

如图2所示，集装箱动态识别智慧理货系统可以包括塔吊前端40和后端中心20，其中，塔吊前端的可编程逻辑控制器403(即PLC控制器)通过控制线404与终端服务器连接405，终端服务器405通过网线402与塔吊交换机406连接，塔吊交换机406通过网线402与采集装置401(如图2示出的高清球机)连接，无线网桥407通过网线402与塔吊交换机406相连，它用于与管理中心203相连的无线网桥407进行通讯，将采集到的理货信息传输至管理中心203。

需要进一步说明的是，控制线404可以是RS232总线。

在本实施例的采集装置可以是具有三个自由度的球形摄像机(即高清球机)，高清球机可以在水平、垂直方向上进行转动，进行多角度拍摄。高清球机在对不同距离的物体进行拍摄时，还可以通过自动变焦来进行自动调节以使物体成像清晰。

在桥吊系统中，为了有效地获取集装箱的整体图像信息，仅采用一个相机进行拍摄是不够的，可以在现场使用多个相机同时对集装箱的箱体进行拍摄。一种典型的拍摄方法是采用4个相机分别对箱体的两个大侧面(即第一侧面和第二侧面)进行拍摄，即每个大侧面对应两个相机，再采用2个球机分别拍摄集装箱的两个小侧面(即第三侧面和第四侧面)及集装箱的顶面，为了保证不同车道的集装箱两个小侧面都能拍摄到，在横梁上安装了3组相机。

在上述实施例中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置可以包括：通过状态信息中桥吊系统的吊具的位置和吊车的位置确定集装箱的位置；在集装箱的位置到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像可以包括：在吊具的位置和吊车的位置到达不同的预设位置时，调用安装在桥吊系统中不同安装位置的采集装置，控制采集装置采集集装箱的理货图像。

可选地，在桥吊系统中，吊车(即桥吊控制车)在水平方向上运动，吊具在垂直方向上运动，当可编程逻辑控制器接收到运行指令后，可以实时地获取可编程逻辑控制器的状态信息，然后通过状态信息来确定吊具和吊车的位置。具体地，可以根据状态信息中的吊车的当前位置得到集装箱的水平坐标，通过状态信息中的吊具的高度得到集装箱的垂直坐标，从而可以确定集装箱在桥吊系统中所处的位置。

具体地，在桥吊系统中，小车在水平方向上运动，吊具在垂直方向上运动，当可编程逻辑控制器接收到运行指令后，可以实时地获取可编程逻辑控制器的状态信息，然后通过可编程逻辑控制器的状态信息来确定集装箱的位置，当集装箱在起吊过程中运行到特定相机视场范围(即预设位置)内时，可以通过可编程逻辑控制器对相机(即采集装置)发出抓拍信号以获取集装箱图像(即理货图像)。

通过上述实施例，利用可编程逻辑控制器的状态信息来确定集装箱的位置，并通过可编程逻辑控制器的控制信号触发相机抓拍，解决了人工抓取图像的不确定性问题，降低了人力成本，实现了对集装箱装卸货过程的图像(即理货图像)的自动抓拍。

在上述实施例中，控制采集装置采集集装箱的理货图像可以包括：读取状态信息中桥吊吊具的初始位置信息；根据桥吊吊具的初始位置信息确定桥吊系统中吊车的位置；若桥吊系统的吊车的位置指示吊车位于集装箱拖车区域，则判断出桥吊系统的工作状态为装货状态；若桥吊系统的吊车的位置指示吊车位于船舶区域，则判断出桥吊系统的工作状态为卸货状态；根据装货状态或卸货状态确定采集理货图像的顺序，并按照顺序采集集装箱的理货图像。

可选地，可以通过可编程逻辑控制器的状态信息确定集装箱在某一时刻处于桥吊系统的具体位置以及桥吊系统的工作状态，然后根据桥吊系统的工作状态控制相应的采集装置(如相机)进行抓拍，在抓拍的过程中可以按照预设的拍摄顺序获取集装箱各不同部位的图像(即理货图像)。

具体地，当可编程逻辑控制器接收到运行指令后，读取桥吊吊具的初始位置信息，根据桥吊吊具的初始位置信息判断桥吊系统中吊车的位置是位于拖车位还是船舶位，从而可以根据吊车是位于拖车位还是船舶位来判定桥吊系统的工作状态为装货状态还是卸货状态，如果吊车处于集装箱拖车区域(拖车位)，则判定桥吊系统的工作状态为装货状态；如果吊车处于船舶区域(船舶位)，则判定桥吊系统的工作状态是卸货状态；还可以通过可编程逻辑控制器的状态信息中的小车的当前位置信息得到集装箱的水平坐标，通过可编程逻辑控制器的状态信息中的吊具的高度信息得到集装箱的垂直坐标。

通过上述实施例，可以准确的知道集装箱的位置信息，从而快速确定桥吊系统的工作状态，然后利用对应的相机对集装箱箱体进行抓拍，获得的抓拍图像清晰完整，有利于提取图像所包含的信息(如集装箱的编号信息)。

进一步地，若桥吊系统的工作状态为装货状态，则采集的理货图像的顺序为：集装箱的顶面的图像和承载集装箱的拖车的图像、集装箱的第一侧面和第二侧面的图像、集装箱的第三侧面和第四侧面的图像、集装箱的底面的图像、集装箱的碑位的图像；若桥吊系统的工作状态为卸货状态，则采集的理货图像的顺序为：集装箱的碑位的图像、集装箱的底面的图像、集装箱的三侧面和第四侧面的图像、集装箱的第一侧面和第二侧面的图像、集装箱的顶面和承载集装箱的拖车的图像，其中，理货图像还包括碑位的图像，第一侧面与第二侧面相对设置，第一侧面为集装箱朝向海面的侧面，第二侧面为集装箱朝向陆地的侧面，第三侧面和第四侧面相对设置，第三侧面和第四侧面均与第一侧面和第二侧面连接。

需要进一步说明的是，集装箱的装货或卸货过程中所对应的位置变化顺序不同，因此二者对应的抓拍顺序也不同，在一次集装箱的装货或卸货过程中，一共可以获取10张集装箱的图像，分别为第一侧面的2张、第二侧面的2张、集装箱的顶面及承载集装箱的拖车的2张、两个小侧面(即第三侧面和第四侧面)的2张、集装箱的底面的1张、集装箱所在的碑位的1张。

在上述实施例中，在吊具的位置和吊车的位置到达不同的预设位置时，调用安装在桥吊系统中不同安装位置的采集装置，控制采集装置采集集装箱的理货图像可以包括下述步骤中的至少之一：

若吊车位于集装箱拖车区域且吊车的第一位置在第一预设时间段内未发生变化，则调用与第一位置所对应的至少一组第一采集子装置获取集装箱的顶部图像和承载集装箱的拖车的图像。

当吊具吊起集装箱之后，且吊具的高度达到第一预设高度时，触发至少一组第二采集子装置采集集装箱的第一侧面和第二侧面的图像。

当吊具吊起集装箱之后，且吊具的高度达到第二预设高度时，触发至少一组第三采集子装置采集集装箱的第三侧面和第四侧面的图像，其中，第二预设高度高于第一预设高度。

当吊具吊起集装箱之后，且吊具的高度达到第三预设高度时，触发至少一组第四采集子装置采集集装箱的底面的图像，其中，第三预设高度高于第二预设高度。

若吊车位于船舶区域且吊车的第二位置在第二预设时间段内未发生变化，在吊具开锁时，调用与第二位置对应的第五采集子装置抓拍集装箱的碑位的图像。

其中，第一侧面与第二侧面相对设置，第一侧面和第二侧面为平行于码头的侧面，第三侧面和第四侧面相对设置，第三侧面和第四侧面均与第一侧面和第二侧面连接，其中，采集装置包括：第一采集子装置、第二采集子装置、第三采集子装置、第四采集子装置以及第五采集子装置中的至少之一。

需要进一步说明的是，若吊车位于集装箱拖车区域(即第一位置)且吊车的位置在第一预设时间段内未发生变化，则可以根据吊车的当前坐标确定拖车的位置，然后基于拖车的位置确定拖车所在的车道，从而可以调用车道所对应的第一采集子装置获取集装箱的顶部图像和拖车的图像；若吊车位于船舶区域且吊车的位置在第二预设时间段内未发生变化，则可以根据吊车的当前坐标判断集装箱所在的碑位(即第二位置)，然后调用与第二位置对应的第五采集子装置抓拍集装箱的碑位的图像。第一预设时间段可以为5s、6s、7s、8s、9s或10s，还可以是用户输入的时间段。

下面结合图3至图5详述本发明的实施例。

需要进一步说明的是图3示出的是理货现场的俯视图，图4示出的是和图3对应的理货现场的侧面视图，在图4中，高清球机301和高清球机302重叠，高清球机303和高清球机304重叠，高清球机305和高清球机306重叠，高清球机307和高清球机308重叠，高清球机309和高清球机310重叠，图4还示出了集装箱拖车410、货轮430以及吊具420。为了方便理货现场的理解，如图5所示，吊具一次可以吊起一个40英尺长(或者45英尺长)的集装箱或者两个20英尺长的集装箱。

可选地，如图3所示，左右侧连系梁可以有三组高清球机，高清球机305和高清球机306为一组，高清球机307和高清球机308为一组，高清球机309和高清球机310为一组，三组第一采集子装置和三组第三采集子装置均可以是这三组高清球机。如图3所示，第二采集子装置可以包括两组高清球机，高清球机301和高清球机302为其中一组，高清球机303和高清球机304为另一组。

可选地，可以根据桥吊系统的状态信息确定其工作状态，若检测到桥吊系统的工作状态为装货状态，当吊车处于第一位置且在第一预设时间段内不发生变化，根据吊车坐标判断集装箱拖车所在车道，调用左右连系梁上的相机组中对应位置的一组第一采集子装置对集装箱进行抓拍，获取集装箱的顶部图像和承载集装箱的拖车的图像信息；当吊具高度与海陆侧横梁处于基本水平的位置时(即第一预设高度)，触发信号控制海陆两侧的第二采集子装置抓拍集装箱的两个大侧面(即第一侧面和第二侧面)的图像，其中，高清球机301和高清球机302可以用于拍摄第二侧面(即集装箱靠近陆测横梁的图像)，高清球机303和高清球机304可以用于拍摄第一侧面(即集装箱靠近海测横梁的图像)；当吊具到达第二预设高度时，触发信号控制左右侧连系梁的高清球机(即第三采集子装置)抓拍两个小侧面(即第三侧面和第四侧面)的图像，第三采集子装置的三组高清球机可以和第一采集子装置的三组高清球机相同，具体拍摄时，根据集装箱的位置从左右侧连系梁的三组高清球机中确定用于拍摄的一组高清球机；当吊具到达第三预设高度时，触发信号控制底部相机(即第五采集子装置)抓拍集装箱的底面的图像(即集装箱底面)；当吊车处于第二位置且在第二预设时间段内不发生变化时，根据吊车坐标判断集装箱所在的碑位，当吊车到达船舶位时，吊具开锁，调用位于泊位球机预置点的泊位球机抓拍集装箱的碑位的图像。

若检测到桥吊系统的工作状态为卸货状态，则采集的理货图像的顺序为：集装箱的碑位的图像、集装箱的底面的图像、集装箱的第三侧面和第四侧面的图像、集装箱的第一侧面和第二侧面的图像、集装箱的顶面和拖车的图像，采集对应理货图像的采集装置同上，在此不再赘述。

通过上述实施例，可以根据可编程逻辑控制器的状态信息及获取的集装箱位置信息，然后协调安装在系统中各个不同部位的球机在合适的时间自动获取集装箱理货过程中集装箱箱体各个面、集装箱拖车、集装箱碑位的图像，以进一步地自动识别集装箱理货状态(装货或卸货)、集装箱尺码、单双箱模式、集装箱箱号、ISO号以及集装箱拖车车辆编号等信息。

可选地，识别集装箱的至少一个面的图像中的集装箱箱号可以包括：基于预设笔划库检测集装箱的至少一个面的图像的第一灰度图中的笔划区域，并合并检测到的笔划区域得到字符区域，其中，预设笔划库包括集装箱箱号的笔划样本，每个笔划样本中包含部分或全部笔划；基于字符区域得到各个字符的字符图像块；对各个字符的字符图像块的特征进行字符识别，得到各个字符的识别结果，组合识别结果，得到集装箱箱号。

可选地，可以基于预设笔划库识别集装箱的各个面的图像中的集装箱箱号，具体是基于预设笔划库检测集装箱的各个面的图像中的笔划区域，并合并检测到的笔划区域得到字符区域，其中，预设笔划库包括对预先得到的集装箱箱号进行划分得到的笔划样本，每个笔划样本中包含部分或全部笔划；基于字符区域的尺寸和排列顺序组合字符区域得到字符串块；对字符串块进行图像分割得到单个字符的字符图像块，并从各个字符图像块的灰度图中提取各个字符的梯度直方图特征；采用字符识别分类器对各个字符的梯度直方图特征进行字符识别，得到各个字符的识别结果，其中，字符识别分类器为预先训练的线性分类器；组合识别结果，得到集装箱箱号。

下面结合图6和图7详述上述实施例。

可以采用多路相机对桥吊系统中的集装箱同时进行抓拍，每次装卸货时，读取状态信息中桥吊吊具的初始位置信息，根据初始位置信息获取集装箱的不同角度的多张图像，典型的集装箱箱号图像有横向排列(如图7所示)与竖向排列(如图6所示)两种，可以通过检测字符的笔道(即笔划的路径)信息来检测集装箱箱号字符串和箱号的排列方式，且集装箱箱号字符串中各个字符的宽度、高度都有一定的相似性，所以可以通过上述特征判断不同的字符区域是否属于同一个字符串块。

具体地，通过使用预设笔划库检测图像中的笔划信息，得到与笔划相关的图像目标(笔划区域)，然后对笔划区域进行组合，形成字符或字符串(字符区域)，再对可能为字符的区域进行组合，即按照集装箱箱号的排列规则组成箱号字符串(字符串块)，得到箱号字符串后，对字符串块进行图像分割，得到单个字符图像块，最后在分割结果的灰度图上提取字符图像的HOG特征(梯度直方图特征)，采用预先进行过字符识别分类器训练的线性分类器实现字符识别，最后组合识别到的字符结果，得到集装箱箱号。

基于预设笔划库检测集装箱的至少一个面的图像的第一灰度图中的笔划区域可以通过如下步骤实现：基于预设笔划库中的笔划样本训练笔划检测分类器；通过待识别图像的第一灰度图计算待识别图像的局部二值化LBP特征；使用笔划检测分类器采用滑动窗口检测方法对LBP特征进行笔划特征类别判断，以检测出笔划区域，若检测结果为非笔划区域，则标记当前检测的窗口为非笔划区域，从而得到包含检测标记的第二灰度图。

可选地，采用分类器技术来实现笔划检测，具体采用的是笔划检测分类器，在使用笔划检测分类器前需要对其进行训练以提高其识别率，训练样本越大其识别率越高，为了提高其识别率，需要整理一个容量较大的笔划样本库，由于本发明的目的是检测集装箱字符(集装箱箱号、集装箱ISO号)，因此在搜集正样本时，是将集装箱上的字符样本进行分块划分，并将划分得到的笔划区域作为正样本。每个样本中都包含了一部分笔划，负样本则是采用不包含笔划的图像，正样本和负样本共同构成了本实施例的预设笔划库。笔划检测分类器的训练方法是首先提取目标特征，然后选择分类模型进行离线训练，从而使其具有识别集装箱上特定的图案或者符号的功能。具体地，目标特征可以是LBP特征，分类模型可以是Adaboost分类器。

在上述实施例中，可以合并检测到的笔划区域得到字符区域，具体地可以通过如下步骤实现：删除第二灰度图中的非笔划区域，得到第三灰度图；根据第三灰度图中相邻的笔划区域之间的空间几何位置判断相邻的笔划区域是否属于同一个字符；若相邻的笔划区域属于同一个字符，则合并相邻的笔划区域，得到字符区域。

具体地，空间几何位置包括空间重叠区域，其中，根据第三灰度图中相邻的笔划区域之间的空间几何位置判断相邻的笔划区域是否属于同一个字符可以包括：判断相邻的笔划区域之间的空间重叠区域是否大于预设重叠阈值；若相邻的笔划区域之间的空间重叠区域大于预设重叠阈值，则判断出相邻的笔划区域属于同一个字符。

可选地，可以基于字符区域得到各个字符的字符图像块，具体地可以通过如下步骤实现：基于字符区域的尺寸和排列顺序组合字符区域得到字符串块；对字符串块进行图像分割得到各个字符的字符图像块。

具体地，使用矩形框标注字符区域，其中，矩形框外接字符区域，字符区域的尺寸包括矩形框的高度；第一矩形框与第二矩形框为水平排列，若第一矩形框与第二矩形框为水平排列的高度差值小于预设高度差、水平距离小于预设距离值且垂直坐标差小于预设坐标差，则组合第一矩形框和第二矩形框得到字符串块；第三矩形框与第四矩形框为垂直排列，若第三矩形框与第四矩形框的高度差值小于预设高度差、垂直距离小于预设距离值且水平坐标差小于预设坐标差，则组合第三矩形框和第四矩形框得到字符串块，其中，矩形框包括第一矩形框、第二矩形框、第三矩形框以及第四矩形框。

可选地，可以对字符串块进行图像分割得到各个字符的字符图像块，具体地可以通过如下步骤来实现：计算各个字符串块的笔划区域的前景点在第二灰度图中的第一灰度分布，并计算各个字符串块的笔划区域的背景点在第二灰度图中的第二灰度分布；获取第一灰度分布的第一峰值与第二灰度分布的第二峰值；基于第一峰值和第二峰值确定二值化阈值；使用二值化阈值对第二灰度图进行二值化处理，得到二值化图像；对二值化图像进行字符分割，得到各个字符的字符图像块。

具体地，从字符串块中把每个字符切割出来，得到独立的单字符块。大多数字符都能分开，但是在实际应用时，由于运动模糊或曝光时间过长等原因，会造成两个距离较近的字符粘连在一起，为了避免这种情况带来的字符分割失败，可以根据第二灰度图得到字符分割的二值化阈值，然后根据二值化阈值来实现对单个字符的分割。如在一个字符串块中，以笔划检测结果作为MASK(掩膜，也即笔划检测结果)，将笔划区域作为前景点，其余的作为背景点，分别统计前景点和背景点在字符串块第二灰度图中对应点的灰度分布，根据前景点和背景点的分布选择最佳的二值化阈值，然后根据二值化阈值对第二灰度图进行二值化处理，把字符串块中每个不同的字符分割开，从而得到单个字符的字符图像块。

可选地，基于第一峰值和第二峰值确定二值化阈值可以为：将第一峰值和第二峰值的平均值作为二值化阈值。

具体地，在获取到集装箱箱号的字符串块后，对检出的集装箱箱号区域(字符串块)采用基于灰度直方图分析阈值的方法进行二值化处理，然后对得到的二值化图像进行连通域分析，可以根据每个字符得到一个连通域，使用矩形框标注每个连通域得到的标注图像，然后根据矩形框实现对字符区域的分割，得到的单个字符的图像，并从各个字符图像块的灰度图中提取各个字符的梯度直方图特征。

进一步地，在字符识别时，提取单个字符的梯度直方图特征，然后采用36类线性分类器(即可以对10种数字和26种字母进行识别的分类器)对字符类别进行识别，得到字符串识别结果。

通过上述实施例，采用图像识别技术，采用二值化与连通域分析的方法，对集装箱箱号区域进行处理，从而实现较理想的识别效果。

进一步地，在组合识别结果，得到集装箱箱号之后，用于集装箱理货的信息处理方法还可以包括：基于数字分类器识别的集装箱箱号中的第一校验码；按照预设编码信息计算集装箱箱号的第二校验码；若第一校验码与第二校验码一致，则确定识别出的集装箱箱号正确，若第一校验码与第二校验码不一致，则确定识别出的集装箱箱号有误。

具体地，在得到字符串识别结果后，根据集装箱箱号的编码规则，分别对箱主号、箱体注册码、箱体ISO号分别进行确认，如果对应字段的识别结果有错误或者不一致，则将上述集装箱信息(即集装箱箱号、箱主号、箱体注册码、箱体ISO号)的不同的字段用特定分类器进行识别：如箱主号用26类字母识别分类器进行识别；箱体注册码用10类数字分类器进行识别；ISO号的第1、2、4位用数字分类器进行识别，第3位用字母分类器进行识别。

在得到箱号后，单独分割集装箱箱号校验码，采用10类数字分类器对校验码进行识别，得到校验码识别结果C1(即第一校验码)；采用ISO6346(1995)标准中集装箱校验码的编码规则，对OCR算法识别出的4位箱主号和6位箱体注册码进行计算，得到相应的校验码C2(第二校验码)，如果第一校验码等于第二校验码，那么认为该识别结果通过校验，即集识别出来的装箱箱号正确；否则，箱号OCR识别结果未能通过校验，即集识别出来的装箱箱号错误。

通过上述实施例，可以避免识别出的错误集装箱箱号对用户造成的损失。

进一步地，理货图像至少包括集装箱的至少两个面的图像，其中，在组合识别结果，得到集装箱箱号之后，本方法还可以包括：获取集装箱的各个面的图像中识别出的集装箱箱号和集装箱箱号的识别置信度；将最大的识别置信度对应的集装箱箱号作为集装箱箱号的识别结果。

具体地，在桥吊系统中，吊具每次装卸最多可抓取两个集装箱(如图5示出的2个20英尺长的集装箱)，也可以是一个集装箱(如图5示出的1个40英尺或45英尺长的集装箱)。在本系统的OCR识别模块中，会对多个不同面的抓拍图像都进行一次集装箱箱号OCR识别，每个面会给出一个箱号识别结果及对应的置信度，最后可以综合各个面的识别结果及其置信度，给出一个或两个置信度最高的结果，作为系统最终提供给用户的识别结果。

通过本发明的上述实施例，综合多个面识别结果的方法能够有效地提升识别准确率，在抓拍到的集装箱的多个面中，只要有一个面能识别正确，则能获得正确的识别结果。

在上述实施例中，可以基于预设特征库识别拖车的图像中的集装箱拖车编号。

具体地，在获取到拖车的图像之后，若拖车的图像中的拖车车身不呈水平方向，对拖车的图像进行校正得到校正后的拖车的图像；基于预设特征库识别校正后的拖车的图像中的集装箱车头区域；对集装箱车头区域进行字符分割，得到多个字符，对多个字符进行分类识别，得到识别结果；组合多个识别结果，得到集装箱拖车编号。

下面结合图8详述上述实施例。

通过连系梁上的相机对集装箱拖车进行抓拍，得到的集装箱拖车车头在抓拍图像如图8所示，在车头顶部，有三位数字，该数字串为集装箱拖车编号。在抓拍得到的集装箱拖车图像中，车身一般会有一定角度的倾斜，因此在进行集装箱拖车编号识别时，首先对图像进行倾斜校正；然后进行字符检测、分割以及字符识别。

通过上述实施例，利用摄相机实时监控获取理货现场的集装箱拖车信息，自动记录集装箱拖车编号，减少人工户外工作量，并有效地解决了因为人工失误导致的拖车编号记录错误等问题，有效地提升了港口理货效率。

可选地，可以对拖车的图像进行校正得到校正后的拖车的图像，具体地可以通过如下步骤实现：通过直线检测方法检测拖车的图像中的车道线，并计算车道线的水平倾斜角度；按照水平倾斜角度对拖车的图像进行旋转变换，得到校正后的拖车的图像。

如图8示出的拖车的图像，集装箱车道线很明显地呈现在图像中，集装箱拖车的车身和车道线处于水平的位置，因此可以利用车道线的倾斜角度来校正通过检测车道线，计算车道线的倾斜角度来实现。可以通过直线检测的方法，检测图像中的车道线，计算车道线的倾斜角度，然后根据车道线倾斜角度对图像进行校正，得到校正后的拖车的图像，然后对校正后的拖车的图像进行处理即可得到排列规则的集装箱拖车编号。

通过上述实施例，可以对抓拍到的存在一定倾斜角度的集装箱拖车图像进行角度校正，有利于进一步地对图像进行识别。

可选地，可以对集装箱车头区域进行字符分割，得到多个字符，对多个字符进行分类识别，得到识别结果，具体地可以通过如下步骤实现：通过检测字符的笔划信息检测集装箱车头区域内的字符串；采用二值化与连通域分析的方法对字符串中的各个字符进行分割；提取各个字符的梯度直方图特征；采用数字线性分类器对各个字符的梯度直方图特征进行字符识别，得到识别结果。

具体地，在得到校正后的拖车的图像后，通过检测字符的笔道信息来检测集装箱拖车编号字符串，然后采用二值化与连通域分析的方法对字符串中的各个字符进行分割，在字符识别时，提取单字符的梯度直方图特征，然后采用10类数字线性分类器对字符类别进行识别，以得到最终的3位集装箱拖车车号字符串识别结果。具体的集装箱拖车编号识别方法和集装箱箱号识别方法相同，在此不再赘述。

通过上述实施例，利用检测到的车道线的倾斜角度对图像进行倾斜校正，然后对校正后的图像进行车辆编号进行识别，得到集装箱拖车编号的识别结果。

进一步地，在识别集装箱的至少一个面的图像中的集装箱箱号的同时，本方法还可以包括：基于理货图像确定集装箱的数量和理货状态信息，其中，理货信息还包括集装箱的数量和理货状态信息。

本发明实施例还提供了一种用于集装箱理货的信息处理装置。需要说明的是，本发明实施例的用于集装箱理货的信息处理装置可以用于执行本发明实施例所提供的用于集装箱理货的信息处理方法，本发明实施例的用于集装箱理货的信息处理方法也可以通过本发明实施例所提供的用于集装箱理货的信息处理装置来执行。

图9是根据本发明实施例用于集装箱理货的信息处理装置的示意图，如图9所示，该装置包括：第一确定模块10、第一采集模块30以及第一识别模块50。

其中，第一确定模块，用于在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置；第一采集模块，用于在集装箱的位置到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像；第一识别模块，用于识别集装箱的至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。

其中，理货图像至少包括集装箱的至少一个面的图像。

采用本发明，在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置，当集装箱到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像，并识别集装箱至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。采用本发明，通过采集集装箱的理货图像获取集装箱箱号，解决了现有技术中不能自动获取集装箱的理货信息的问题，实现了对集装箱理货信息的自动高效识别。

在上述实施例中，第一确定模块可以包括：第二确定模块，用于通过状态信息中桥吊系统的吊具的位置和吊车的位置确定集装箱的位置。

第一采集模块可以包括：第二采集模块，用于在吊具的位置和吊车的位置到达不同的预设位置时，调用安装在桥吊系统中不同安装位置的采集装置，控制采集装置采集集装箱的理货图像。

具体地，在桥吊系统中，小车在水平方向上运动，吊具在垂直方向上运动，当可编程逻辑控制器接收到运行指令后，可以实时地获取可编程逻辑控制器的状态信息，然后通过可编程逻辑控制器的状态信息来确定集装箱的位置，当集装箱在起吊过程中运行到特定相机视场范围(即预设位置)内时，可以通过可编程逻辑控制器对相机(即采集装置)发出抓拍信号以获取集装箱图像(即理货图像)。

通过上述实施例，利用吊桥系统的状态信息来确定集装箱的位置，并自动触发相机抓拍，解决了人工抓取图像的不确定性问题，降低了人力成本，实现了对集装箱装卸货过程的图像(即理货图像)的自动抓拍。

可选地，第二采集模块可以包括下述模块中的至少之一：

第三采集模块，用于若吊车位于集装箱拖车区域且吊车的第一位置在第一预设时间段内未发生变化，则调用与第一位置所对应的至少一组第一采集子装置获取集装箱的顶部图像和承载集装箱的拖车的图像。

第四采集模块，用于当吊具吊起集装箱之后，且吊具的高度达到第一预设高度时，触发至少一组第二采集子装置采集集装箱的第一侧面和第二侧面的图像。

第五采集模块，用于当吊具吊起集装箱之后，且吊具的高度达到第二预设高度时，触发至少一组第三采集子装置采集集装箱的第三侧面和第四侧面的图像，其中，第二预设高度高于第一预设高度。

第六采集模块，用于当吊具吊起集装箱之后，且吊具的高度达到第三预设高度时，触发至少一组第四采集子装置采集集装箱的底面的图像，其中，第三预设高度高于第二预设高度。

第七采集模块，用于若吊车位于船舶区域且吊车的第二位置在第二预设时间段内未发生变化，在吊具开锁时，调用与第二位置对应的第五采集子装置抓拍集装箱的碑位的图像。

其中，第一侧面与第二侧面相对设置，第一侧面和第二侧面为平行于码头的侧面，第三侧面和第四侧面相对设置，第三侧面和第四侧面均与第一侧面和第二侧面连接，其中，采集装置可以包括：第一采集子装置、第二采集子装置、第三采集子装置、第四采集子装置以及第五采集子装置中的至少之一。

具体地，通过可编程逻辑控制器的状态信息确定集装箱在某一时刻处于桥吊系统的具体位置以及桥吊系统的工作状态，然后根据桥吊系统的工作状态控制相应的采集装置(如相机)进行抓拍，在抓拍的过程中可以按照预设的拍摄顺序获取集装箱各不同部位的图像(即理货图像)。

通过上述实施例，可以根据可编程逻辑控制器的状态信息及获取的集装箱位置信息，然后协调安装在系统中各个不同部位的球机在合适的时间自动获取集装箱理货过程中集装箱箱体各个面、集装箱拖车、集装箱碑位的图像，以进一步地自动识别集装箱理货状态(装货或卸货)、集装箱尺码、单双箱模式、集装箱箱号、ISO号以及集装箱拖车车辆编号等信息。

在上述实施例中，第一识别模块可以包括：处理模块，用于基于预设笔划库检测集装箱的至少一个面的图像的第一灰度图中的笔划区域，并合并检测到的笔划区域得到字符区域，其中，预设笔划库包括集装箱箱号的笔划样本，每个笔划样本中包含部分或全部笔划；第三确定模块，用于基于字符区域得到各个字符的字符图像块；第二识别模块，用于对各个字符的字符图像块的特征进行字符识别，得到各个字符的识别结果，组合识别结果，得到集装箱箱号。

可选地，第一识别模块可以包括：第一检测模块，用于基于预设笔划库检测集装箱的各个面的图像中的笔划区域，并合并检测到的笔划区域得到字符区域，其中，预设笔划库包括对预先得到的集装箱箱号进行划分得到的笔划样本，每个笔划样本中包含部分或全部笔划；第一组合模块，用于基于字符区域的尺寸和排列顺序组合字符区域得到字符串块；第一分割模块，用于对字符串块进行图像分割得到单个字符的字符图像块，并从各个字符图像块的灰度图中提取各个字符的梯度直方图特征；第二识别模块，用于采用字符识别分类器对各个字符的梯度直方图特征进行字符识别，得到各个字符的识别结果，其中，字符识别分类器为预先训练的线性分类器；第二组合模块，用于组合识别结果，得到集装箱箱号。

通过上述实施例，利用基于笔划检测的集装箱箱号检测方法对集装箱箱号在待识别图像中的位置的进行定位，然后利用梯度直方图特征实现集装箱箱号字符识别，达到了对集装箱箱号的高效识别的效果。

本发明实施例还提供了一种用于集装箱理货的信息处理系统。

下面结合图10详述上述实施例。

如图10所示，该系统包括：终端服务器包括60：位置确定装置602，用于在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置；控制装置604，与位置确定装置连接，用于在集装箱的位置到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像；采集装置80，安装在桥吊系统上，与控制装置连接，用于采集集装箱的理货图像，其中，理货图像至少包括集装箱的至少一个面的图像；终端服务器还包括：图像处理装置606，与采集装置连接，用于识别采集装置采集到的集装箱的至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。

采用本发明，在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置，当集装箱到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像，并识别集装箱至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。采用本发明，通过采集集装箱的理货图像获取集装箱箱号，解决了现有技术中不能自动获取集装箱的理货信息的问题，实现了对集装箱理货信息的自动高效识别。

在上述实施例中，位置确定装置可以包括：位置处理子装置，用于通过状态信息中桥吊系统的吊具的位置和吊车的位置确定集装箱的位置；控制装置可以包括：控制子装置，用于在吊具的位置和吊车的位置到达不同的预设位置时，生成控制信号，以调用安装在桥吊系统中不同安装位置的采集装置。

需要进一步说明的是，位置处理子装置可以是一个计算装置，如单片机、微处理器等，控制子装置可以是中央处理器、嵌入式处理器等。

具体地，可以通过位置处理子装置获取状态信息中桥吊系统的吊具的位置和吊车的位置确定集装箱的位置，如吊车位于集装箱拖车区域。若吊车处于该位置且在第一预设时间段内未发生变化的情况下，控制子装置则会生成控制信号，以控制对应的采集装置采集桥吊系统的车道上的拖车的图像和集装箱的图像。

可选地，采集装置可以包括如下的至少一组采集子装置：

设置在桥吊系统的各个连系梁上的至少三组第一采集子装置，用于在接收到第一控制子信号的情况下，采集桥吊系统的车道上的拖车的图像和集装箱的顶面的图像；还用在接收到第二控制子信号的情况下，采集集装箱的第三侧面和第四侧面的图像，其中，连系梁与车道垂直设置。

具体地，若吊车位于集装箱拖车区域且吊车的位置在第一预设时间段内未发生变化的情况下，则可以根据吊车的当前坐标确定拖车的位置，然后基于拖车的位置确定拖车所在的车道，控制子装置则根据车道信息生成第一控制信号以调用车道所对应的第一采集子装置获取集装箱的顶部图像和拖车的图像；在吊具吊起集装箱之后，且吊具的高度达到第二预设高度的情况下，控制子装置生成调用第三采集子装置的第二控制子信号，以控制至少一组第三采集子装置采集集装箱的第三侧面和第四侧面的图像。其中，集装箱图像信息的采集系统可以包括三组第一采集子装置和三组第三采集子装置，三组第一采集子装置可以是图3中高清球机305至高清球机310，三组第三采集子装置可以是和三组第一采集子装置相同的上述三组高清球机。

设置在桥吊系统的海侧横梁和路侧横梁上的至少一组第二采集子装置，用于在接收到第三控制子信号的情况下，采集集装箱的第一侧面和第二侧面的图像。

具体地，当吊具吊起集装箱之后，且吊具的高度达到第一预设高度的情况下，控制子装置生成第三控制子信号以触发至少一组第二采集子装置采集集装箱的第一侧面和第二侧面的图像，其中，两组第二采集子装置可以是如图3所示的高清球机301至高清球机304。

设置在泊位上的至少一组第五采集子装置，用于在接收到第四控制子信号的情况下，抓拍集装箱的碑位的图像。

具体地，在吊车位于船舶区域且吊车的位置在第二预设时间段内未发生变化的情况下，则可以根据吊车的当前坐标判断集装箱所在的碑位(即第二位置)，控制子装置则基于第二位置生成第四控制子信号以调用与第二位置对应的第五采集子装置抓拍集装箱的碑位的图像，第五采集子装置可以是高清球机312(图3中未示出)。

设置在桥吊系统的车道上的至少一组第四采集子装置，用于在接收到第五控制子信号的情况下，采集集装箱的底面的图像。

具体地，在吊具吊起集装箱之后，且吊具的高度达到第三预设高度的情况下，控制子装置生成调用第四采集子装置的第五控制子信号，以采集集装箱的底面的图像。其中，第四采集子装置可以是高清球机311(图3中未示出)。

其中，第二预设高度高于第一预设高度，第三预设高度高于第二预设高度，第一侧面与第二侧面相对设置，第一侧面和第二侧面为平行于码头的侧面，第三侧面和第四侧面相对设置，第三侧面和第四侧面均与第一侧面和第二侧面连接；控制信号可以包括：第一控制子信号、第二控制子信号、第三控制子信号、第四控制子信号以及第五控制子信号中的至少之一。

在上述实施例中，采集装置中的各个采集子装置可以包括：具有至少一个自由度的球形摄像机。

可选地，控制子装置可以包括：读取单元，用于读取状态信息中桥吊吊具的初始位置信息；第一确定单元，用于根据桥吊吊具的初始位置信息确定桥吊系统中吊车的位置；若桥吊系统的吊车的位置指示吊车位于集装箱拖车区域，则判断出桥吊系统的工作状态为装货状态；若桥吊系统的吊车的位置指示吊车位于船舶区域，则判断出桥吊系统的工作状态为卸货状态；第二确定单元，用于根据装货状态或卸货状态确定采集理货图像的顺序，并按照顺序生成控制采集装置的控制信号。

可选地，终端服务器通过控制线获取可编程逻辑控制器中的状态信息；塔吊交换机，终端服务器通过网线与塔吊交换机连接，塔吊交换机通过网线与采集装置连接，终端服务器通过塔吊交换机向采集装置发送控制信号。

具体地，在吊车位于集装箱拖车区域的情况下，则可以确定桥吊系统的工作状态为装货状态，其对应的采集理货图像的顺序为：集装箱的顶面的图像和拖车的图像、集装箱的第一侧面和第二侧面的图像、集装箱的第三侧面和第四侧面的图像、集装箱的底面的图像、集装箱的碑位的图像。

在吊车位于船舶区域的情况下，则可以确定桥吊系统的工作状态为卸货状态，其对应的采集理货图像的顺序为：集装箱的碑位的图像、集装箱的底面的图像、集装箱的第三侧面和第四侧面的图像、集装箱的第一侧面和第二侧面的图像、集装箱的顶面和拖车的图像。

通过上述实施例，可以根据吊桥系统的状态信息确定吊桥系统的工作状态，以采用对应的采集理货图像的顺序获取理货信息。

在上述实施例中，图像处理装置可以包括：笔划检测单元，用于基于预设笔划库检测集装箱的至少一个面的图像的第一灰度图中的笔划区域，并合并检测到的笔划区域得到字符区域，其中，预设笔划库包括集装箱箱号的笔划样本，每个笔划样本中包含部分或全部笔划；字符识别单元，用于基于字符区域得到各个字符的字符图像块，并对各个字符的字符图像块的特征进行字符识别，得到各个字符的识别结果，组合识别结果，得到集装箱箱号。

笔划检测单元可以基于预设笔划库检测集装箱的至少一个面的图像的第一灰度图中的笔划区域，具体地可以通过如下步骤实现：基于预设笔划库中的笔划样本训练笔划检测分类器；通过待识别图像的第一灰度图计算待识别图像的局部二值化LBP特征；使用笔划检测分类器采用滑动窗口检测方法对LBP特征进行笔划特征类别判断，以检测出笔划区域，若检测结果为非笔划区域，则标记当前检测的窗口为非笔划区域，从而得到包含检测标记的第二灰度图。

可选地，采用分类器技术来实现笔划检测，具体采用的是笔划检测分类器，在使用笔划检测分类器前需要对其进行训练以提高其识别率，训练样本越大其识别率越高，为了提高其识别率，需要整理一个容量较大的笔划样本库，由于本发明的目的是检测集装箱字符(集装箱箱号、集装箱ISO号)，因此在搜集正样本时，是将集装箱上的字符样本进行分块划分，并将划分得到的笔划区域作为正样本。每个样本中都包含了一部分笔划，负样本则是采用不包含笔划的图像，正样本和负样本共同构成了本实施例的预设笔划库。笔划检测分类器的训练方法是首先提取目标特征，然后选择分类模型进行离线训练，从而使其具有识别集装箱上特定的图案或者符号的功能。具体地，目标特征可以是LBP特征，分类模型可以是Adaboost分类器。

可选地，可以合并检测到的笔划区域得到字符区域，具体地可以通过如下步骤实现：删除第二灰度图中的非笔划区域，得到第三灰度图；根据第三灰度图中相邻的笔划区域之间的空间几何位置判断相邻的笔划区域是否属于同一个字符；若相邻的笔划区域属于同一个字符，则合并相邻的笔划区域，得到字符区域。

可选地，空间几何位置包括空间重叠区域，其中，根据第三灰度图中相邻的笔划区域之间的空间几何位置判断相邻的笔划区域是否属于同一个字符可以包括：判断相邻的笔划区域之间的空间重叠区域是否大于预设重叠阈值；若相邻的笔划区域之间的空间重叠区域大于预设重叠阈值，则判断出相邻的笔划区域属于同一个字符。

可选地，字符识别单元可以对字符串块进行图像分割得到各个字符的字符图像块，具体地可以通过如下步骤来实现：计算各个字符串块的笔划区域的前景点在第二灰度图中的第一灰度分布，并计算各个字符串块的笔划区域的背景点在第二灰度图中的第二灰度分布；获取第一灰度分布的第一峰值与第二灰度分布的第二峰值；基于第一峰值和第二峰值确定二值化阈值；使用二值化阈值对第二灰度图进行二值化处理，得到二值化图像；对二值化图像进行字符分割，得到各个字符的字符图像块。

具体地，从字符串块中把每个字符切割出来，得到独立的单字符块。大多数字符都能分开，但是在实际应用时，由于运动模糊或曝光时间过长等原因，会造成两个距离较近的字符粘连在一起，为了避免这种情况带来的字符分割失败，可以根据第二灰度图得到字符分割的二值化阈值，然后根据二值化阈值来实现对单个字符的分割。如在一个字符串块中，以笔划检测结果作为MASK(掩膜，也即笔划检测结果)，将笔划区域作为前景点，其余的作为背景点，分别统计前景点和背景点在字符串块第二灰度图中对应点的灰度分布，根据前景点和背景点的分布选择最佳的二值化阈值，然后根据二值化阈值对第二灰度图进行二值化处理，把字符串块中每个不同的字符分割开，从而得到单个字符的字符图像块。

可选地，基于第一峰值和第二峰值确定二值化阈值可以为：将第一峰值和第二峰值的平均值作为二值化阈值。

具体地，在获取到集装箱箱号的字符串块后，对检出的集装箱箱号区域(字符串块)采用基于灰度直方图分析阈值的方法进行二值化处理，然后对得到的二值化图像进行连通域分析，可以根据每个字符得到一个连通域，使用矩形框标注每个连通域得到的标注图像，然后根据矩形框实现对字符区域的分割，得到的单个字符的图像，并从各个字符图像块的灰度图中提取各个字符的梯度直方图特征。

进一步地，在字符识别时，提取单个字符的梯度直方图特征，然后采用36类线性分类器(即可以对10种数字和26种字母进行识别的分类器)对字符类别进行识别，得到字符串识别结果。

通过上述实施例，采用图像识别技术，采用二值化与连通域分析的方法，对集装箱箱号区域进行处理，从而实现较理想的识别效果。

可选地，终端服务器还可以包括：第一校验单元，用于在组合识别结果，得到集装箱箱号之后，基于数字分类器识别的集装箱箱号中的第一校验码；按照预设编码信息计算集装箱箱号的第二校验码；若第一校验码与第二校验码一致，则确定识别出的集装箱箱号正确，若第一校验码与第二校验码不一致，则确定识别出的集装箱箱号有误；第二校验单元，用于在组合识别结果，得到集装箱箱号之后，获取集装箱的各个面的图像中识别出的集装箱箱号和集装箱箱号的识别置信度；将最大的识别置信度对应的集装箱箱号作为集装箱箱号的识别结果。

具体地，在得到字符串识别结果后，根据集装箱箱号的编码规则，分别对箱主号、箱体注册码、箱体ISO号分别进行确认，如果对应字段的识别结果有错误或者不一致，则将上述集装箱信息(即集装箱箱号、箱主号、箱体注册码、箱体ISO号)的不同的字段用特定分类器进行识别：如箱主号用26类字母识别分类器进行识别；箱体注册码用10类数字分类器进行识别；ISO号的第1、2、4位用数字分类器进行识别，第3位用字母分类器进行识别。

在得到箱号后，单独分割集装箱箱号校验码，采用10类数字分类器对校验码进行识别，得到校验码识别结果C1(即第一校验码)；采用ISO6346(1995)标准中集装箱校验码的编码规则，对OCR算法识别出的4位箱主号和6位箱体注册码进行计算，得到相应的校验码C2(第二校验码)，如果第一校验码等于第二校验码，那么认为该识别结果通过校验，即集识别出来的装箱箱号正确；否则，箱号OCR识别结果未能通过校验，即集识别出来的装箱箱号错误。

通过上述实施例，可以避免识别出的错误集装箱箱号对用户造成的损失。

本实施例中所提供的各个模块与方法实施例对应步骤所提供的使用方法相同、应用场景也可以相同。当然，需要注意的是，上述模块涉及的方案可以不限于上述实施例中的内容和场景，且上述模块可以运行在计算机终端或移动终端，可以通过软件或硬件实现。

从以上的描述中，可以看出，本发明实现了如下技术效果：

采用本发明，在桥吊系统对集装箱进行理货的过程中，基于桥吊系统的状态信息确定集装箱在桥吊系统中的位置，当集装箱到达预设位置时，控制与预设位置所对应的采集装置采集集装箱的理货图像，并识别集装箱至少一个面的图像中的集装箱箱号，以获取桥吊系统对集装箱进行理货的理货信息。采用本发明，通过采集集装箱的理货图像获取集装箱箱号，解决了现有技术中不能自动获取集装箱的理货信息的问题，实现了对集装箱理货信息的自动高效识别。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种用于集装箱理货的信息处理方法，其特征在于，包括：

在桥吊系统对集装箱进行理货的过程中，基于所述桥吊系统的状态信息确定所述集装箱在所述桥吊系统中的位置；

在所述桥吊系统的吊具的位置和吊车的位置到达不同的预设位置时，调用安装在所述桥吊系统中不同安装位置的采集装置，并确定所述集装箱的在特定时刻处于所述桥吊系统的具体位置以及所述桥吊系统的工作状态；根据所述工作状态控制与所述预设位置对应的采集装置进行抓拍，并在抓拍的过程中按照理货图像顺序获取所述集装箱各不同部位的理货图像，其中，所述工作状态包括：装货状态与卸货状态，所述装货状态与所述卸货状态所对应的理货图像顺序不同，所述理货图像至少包括所述集装箱的至少一个面的图像；

基于预设笔划库检测所述集装箱的至少一个面的图像的第一灰度图中的笔划区域，并合并检测到的所述笔划区域得到字符区域，其中，所述预设笔划库包括集装箱箱号的笔划样本，每个所述笔划样本中包含部分或全部笔划；基于所述字符区域得到各个字符的字符图像块；对所述各个字符的字符图像块的特征进行字符识别，得到所述各个字符的识别结果，并根据集装箱箱号的编码规则，分别对集装箱箱号包括的箱主号、箱体注册码，以及箱体ISO号分别进行确认，如果对应字段的识别结果存在错误或者不一致，则将所述箱主号、所述箱体注册码和所述箱体ISO号分别用对应的特定分类器进行识别，得到识别结果，并组合所述识别结果，得到所述集装箱箱号，以获取所述桥吊系统对所述集装箱进行理货的理货信息；

基于数字分类器识别的所述集装箱箱号中的第一校验码；

按照预设编码信息计算所述集装箱箱号的第二校验码；

若所述第一校验码与所述第二校验码一致，则确定识别出的所述集装箱箱号正确，若所述第一校验码与所述第二校验码不一致，则确定识别出的所述集装箱箱号有误。

2.根据权利要求1所述的方法，其特征在于，

基于所述桥吊系统的状态信息确定所述集装箱在所述桥吊系统中的位置包括：通过所述状态信息中所述吊具的位置和所述吊车的位置确定所述集装箱的位置。

3.根据权利要求2所述的方法，其特征在于，在所述吊具的位置和所述吊车的位置到达不同的预设位置时，调用安装在所述桥吊系统中不同安装位置的所述采集装置，控制所述采集装置采集所述集装箱的理货图像包括下述步骤中的至少之一：

若所述吊车位于集装箱拖车区域且所述吊车的第一位置在第一预设时间段内未发生变化，则调用与所述第一位置所对应的至少一组第一采集子装置获取所述集装箱的顶部图像和承载所述集装箱的拖车的图像；

当所述吊具吊起所述集装箱之后，且所述吊具的高度达到第一预设高度时，触发至少一组第二采集子装置采集所述集装箱的第一侧面和第二侧面的图像；

当所述吊具吊起所述集装箱之后，且所述吊具的高度达到第二预设高度时，触发至少一组第三采集子装置采集所述集装箱的第三侧面和第四侧面的图像，其中，所述第二预设高度高于所述第一预设高度；

当所述吊具吊起所述集装箱之后，且所述吊具的高度达到第三预设高度时，触发至少一组第四采集子装置采集所述集装箱的底面的图像，其中，所述第三预设高度高于所述第二预设高度；

若所述吊车位于船舶区域且所述吊车的第二位置在第二预设时间段内未发生变化，在所述吊具开锁时，调用与所述第二位置对应的第五采集子装置抓拍所述集装箱的碑位的图像；

其中，所述第一侧面与所述第二侧面相对设置，所述第一侧面和所述第二侧面为平行于码头的侧面，所述第三侧面和所述第四侧面相对设置，所述第三侧面和所述第四侧面均与所述第一侧面和所述第二侧面连接；

其中，所述采集装置包括：所述第一采集子装置、所述第二采集子装置、所述第三采集子装置、所述第四采集子装置以及所述第五采集子装置中的至少之一。

4.根据权利要求2所述的方法，其特征在于，控制所述采集装置采集所述集装箱的理货图像包括：

读取所述状态信息中所述桥吊吊具的初始位置信息；

根据所述桥吊吊具的初始位置信息确定所述桥吊系统中吊车的位置；

若所述桥吊系统的吊车的位置指示所述吊车位于集装箱拖车区域，则判断出所述桥吊系统的工作状态为装货状态；

若所述桥吊系统的吊车的位置指示所述吊车位于船舶区域，则判断出所述桥吊系统的工作状态为卸货状态；

根据所述装货状态或所述卸货状态确定采集所述理货图像的顺序，并按照所述顺序采集所述集装箱的理货图像。

5.根据权利要求1所述的方法，其特征在于，所述理货图像至少包括所述集装箱的至少两个面的图像，其中，在组合所述识别结果，得到所述集装箱箱号之后，所述方法还包括：

获取所述集装箱的各个面的图像中识别出的集装箱箱号和所述集装箱箱号的识别置信度；

将最大的识别置信度对应的所述集装箱箱号作为所述集装箱箱号的识别结果。

6.根据权利要求1所述的方法，其特征在于，在识别所述集装箱的至少一个面的图像中的集装箱箱号的同时，所述方法还包括：

基于所述理货图像确定所述集装箱的数量和理货状态信息，其中，所述理货信息还包括所述集装箱的数量和所述理货状态信息。

7.一种用于集装箱理货的信息处理装置，其特征在于，包括：

第一确定模块，用于在桥吊系统对集装箱进行理货的过程中，基于所述桥吊系统的状态信息确定所述集装箱在所述桥吊系统中的位置；

第一采集模块，用于在所述桥吊系统的吊具的位置和吊车的位置到达不同的预设位置时，调用安装在所述桥吊系统中不同安装位置的采集装置，并确定所述集装箱的在特定时刻处于所述桥吊系统的预设位置以及所述桥吊系统的工作状态；

根据所述工作状态控制与所述预设位置对应的采集装置进行抓拍，并在抓拍的过程中按照理货图像顺序获取所述集装箱各不同部位的理货图像，其中，所述工作状态包括：装货状态与卸货状态，所述装货状态与所述卸货状态所对应的理货图像顺序不同，所述理货图像至少包括所述集装箱的至少一个面的图像；

第一识别模块，用于基于预设笔划库检测所述集装箱的至少一个面的图像的第一灰度图中的笔划区域，并合并检测到的所述笔划区域得到字符区域，其中，所述预设笔划库包括集装箱箱号的笔划样本，每个所述笔划样本中包含部分或全部笔划；基于所述字符区域得到各个字符的字符图像块；对所述各个字符的字符图像块的特征进行字符识别，得到所述各个字符的识别结果，并根据集装箱箱号的编码规则，分别对集装箱箱号包括的箱主号、箱体注册码，以及箱体ISO号分别进行确认，如果对应字段的识别结果存在错误或者不一致，则将所述箱主号、所述箱体注册码和所述箱体ISO号分别用对应的特定分类器进行识别，得到识别结果，并组合所述识别结果，得到所述集装箱箱号，以获取所述桥吊系统对所述集装箱进行理货的理货信息，以获取所述桥吊系统对所述集装箱进行理货的理货信息；基于数字分类器识别的所述集装箱箱号中的第一校验码；按照预设编码信息计算所述集装箱箱号的第二校验码；若所述第一校验码与所述第二校验码一致，则确定识别出的所述集装箱箱号正确，若所述第一校验码与所述第二校验码不一致，则确定识别出的所述集装箱箱号有误。

8.根据权利要求7所述的装置，其特征在于，

所述第一确定模块包括：第二确定模块，用于通过所述状态信息中所述吊具的位置和所述吊车的位置确定所述集装箱的位置。

9.根据权利要求8所述的装置，其特征在于，第一采集模块包括下述模块中的至少之一：

第三采集模块，用于若所述吊车位于集装箱拖车区域且所述吊车的第一位置在第一预设时间段内未发生变化，则调用与所述第一位置所对应的至少一组第一采集子装置获取所述集装箱的顶部图像和承载所述集装箱的拖车的图像；

第四采集模块，用于当所述吊具吊起所述集装箱之后，且所述吊具的高度达到第一预设高度时，触发至少一组第二采集子装置采集所述集装箱的第一侧面和第二侧面的图像；

第五采集模块，用于当所述吊具吊起所述集装箱之后，且所述吊具的高度达到第二预设高度时，触发至少一组第三采集子装置采集所述集装箱的第三侧面和第四侧面的图像，其中，所述第二预设高度高于所述第一预设高度；

第六采集模块，用于当所述吊具吊起所述集装箱之后，且所述吊具的高度达到第三预设高度时，触发至少一组第四采集子装置采集所述集装箱的底面的图像，其中，所述第三预设高度高于所述第二预设高度；

第七采集模块，用于若所述吊车位于船舶区域且所述吊车的第二位置在第二预设时间段内未发生变化，在所述吊具开锁时，调用与所述第二位置对应的第五采集子装置抓拍所述集装箱的碑位的图像；

其中，所述第一侧面与所述第二侧面相对设置，所述第一侧面和所述第二侧面为平行于码头的侧面，所述第三侧面和所述第四侧面相对设置，所述第三侧面和所述第四侧面均与所述第一侧面和所述第二侧面连接；

其中，所述采集装置包括：所述第一采集子装置、所述第二采集子装置、所述第三采集子装置、所述第四采集子装置以及所述第五采集子装置中的至少之一。

10.一种用于集装箱理货的信息处理系统，其特征在于，包括：

终端服务器包括：位置确定装置，用于在桥吊系统对集装箱进行理货的过程中，基于所述桥吊系统的状态信息确定所述集装箱在所述桥吊系统中的位置；控制装置，与所述位置确定装置连接，所述控制装置包括控制子装置，所述控制子模块用于在所述桥吊系统的吊具的位置和吊车的位置到达不同的预设位置时，确定所述集装箱的在特定时刻处于所述桥吊系统的预设位置以及所述桥吊系统的工作状态，根据所述工作状态控制与所述预设位置所对应的采集装置采集所述集装箱的理货图像，所述工作状态包括：装货状态与卸货状态，所述装货状态与所述卸货状态所对应的理货图像顺序不同；

采集装置，安装在所述桥吊系统上，与所述控制装置连接，用于在抓拍的过程中按照理货图像顺序采集所述集装箱各不同部位的理货图像，其中，所述理货图像至少包括所述集装箱的至少一个面的图像；

所述终端服务器还包括：图像处理装置，与所述采集装置连接，用于基于预设笔划库检测所述集装箱的至少一个面的图像的第一灰度图中的笔划区域，并合并检测到的所述笔划区域得到字符区域，其中，所述预设笔划库包括集装箱箱号的笔划样本，每个所述笔划样本中包含部分或全部笔划；基于所述字符区域得到各个字符的字符图像块；对所述各个字符的字符图像块的特征进行字符识别，得到所述各个字符的识别结果，并根据集装箱箱号的编码规则，分别对集装箱箱号包括的箱主号、箱体注册码，以及箱体ISO号分别进行确认，如果对应字段的识别结果存在错误或者不一致，则将所述箱主号、所述箱体注册码和所述箱体ISO号分别用对应的特定分类器进行识别，得到识别结果，并组合所述识别结果，得到所述集装箱箱号，以获取所述桥吊系统对所述集装箱进行理货的理货信息；

其中，所述终端服务器还包括：

第一校验单元，用于在组合所述识别结果，得到所述集装箱箱号之后，基于数字分类器识别的所述集装箱箱号中的第一校验码；按照预设编码信息计算所述集装箱箱号的第二校验码；若所述第一校验码与所述第二校验码一致，则确定识别出的所述集装箱箱号正确，若所述第一校验码与所述第二校验码不一致，则确定识别出的所述集装箱箱号有误。

11.根据权利要求10所述的系统，其特征在于，

所述位置确定装置，包括位置处理子装置，用于通过所述状态信息中所述吊具的位置和所述吊车的位置确定所述集装箱的位置。

12.根据权利要求11所述的系统，其特征在于，所述采集装置包括如下所述的至少一组采集子装置：

设置在桥吊系统的各个连系梁上的至少三组第一采集子装置，用于在接收到第一控制子信号的情况下，采集桥吊系统的车道上的拖车的图像和集装箱的顶面的图像；还用在接收到第二控制子信号的情况下，采集所述集装箱的第三侧面和第四侧面的图像，其中，所述连系梁与所述车道垂直设置，所述第一控制子信号为所述吊车位于集装箱拖车区域且所述吊车的第一位置在第一预设时间段内未发生变化时，所述控制装置包括的控制子装置根据车道信息生成得到，所述第二控制子信号为所述控制子装置在所述吊具吊起所述集装箱，且所述吊具的高度达到第二预设高度的情况下生成得到；

设置在所述桥吊系统的海侧横梁和路侧横梁上的至少一组第二采集子装置，用于在接收到第三控制子信号的情况下，采集所述集装箱的第一侧面和第二侧面的图像，所述第三控制子信号为所述控制子装置在所述吊具吊起所述集装箱，且所述吊具的高度达到所述第一预设高度的情况下生成得到；

设置在泊位上的至少一组第五采集子装置，用于在接收到第四控制子信号的情况下，抓拍所述集装箱的碑位的图像，所述第四控制子信号为所述吊车位于船舶区域且所述吊车的位置在第二预设时间段内未发生变化的情况下，在根据所述吊车的当前坐标判断集装箱所在的第二位置后，所述控制子装置根据所述第二位置生成得到，所述至少一组第五采集子装置与所述第二位置对应；

设置在桥吊系统的车道上的至少一组第四采集子装置，用于在接收到第五控制子信号的情况下，采集所述集装箱的底面的图像，所述第五控制子信号为所述控制子装置在所述吊具吊起所述集装箱，且所述吊具的高度达到第三预设高度的情况下生成得到；

其中，所述第二预设高度高于所述第一预设高度，所述第三预设高度高于所述第二预设高度，所述第一侧面与所述第二侧面相对设置，所述第一侧面和所述第二侧面为平行于码头的侧面，所述第三侧面和所述第四侧面相对设置，所述第三侧面和所述第四侧面均与所述第一侧面和所述第二侧面连接。

13.根据权利要求12所述的系统，其特征在于，所述采集装置中的各个采集子装置包括：具有至少一个自由度的球形摄像机。

14.根据权利要求11所述的系统，其特征在于，控制子装置包括：

读取单元，用于读取所述状态信息中所述桥吊吊具的初始位置信息；

第一确定单元，用于根据所述桥吊吊具的初始位置信息确定所述桥吊系统中吊车的位置；若所述桥吊系统的吊车的位置指示所述吊车位于集装箱拖车区域，则判断出所述桥吊系统的工作状态为装货状态；若所述桥吊系统的吊车的位置指示所述吊车位于船舶区域，则判断出所述桥吊系统的工作状态为卸货状态；

第二确定单元，用于根据所述装货状态或所述卸货状态确定采集所述理货图像的顺序，并按照所述顺序生成控制所述采集装置的控制信号。

15.根据权利要求11至14中任意一项所述的系统，其特征在于，

所述终端服务器通过控制线获取可编程逻辑控制器中的所述状态信息；

塔吊交换机，所述终端服务器通过网线与所述塔吊交换机连接，所述塔吊交换机通过网线与所述采集装置连接，所述终端服务器通过所述塔吊交换机向所述采集装置发送所述控制信号。

16.根据权利要求10所述的系统，其特征在于，所述终端服务器还包括：

第二校验单元，用于在组合所述识别结果，得到所述集装箱箱号之后，获取所述集装箱的各个面的图像中识别出的集装箱箱号和所述集装箱箱号的识别置信度；将最大的识别置信度对应的所述集装箱箱号作为所述集装箱箱号的识别结果。

Images