CN106067023B

CN106067023B - 基于图像处理的集装箱箱号及集卡车号识别系统及方法

Info

Publication number: CN106067023B
Application number: CN201610387591.1A
Authority: CN
Inventors: 孙超; 高艳龙; 陈福兴; 郑英美; 孟朝辉
Original assignee: Cathay Nebula Science & Technology Co ltd
Current assignee: Cathay Nebula Science & Technology Co ltd
Priority date: 2016-06-02
Filing date: 2016-06-02
Publication date: 2021-08-17
Anticipated expiration: 2036-06-02
Also published as: CN106067023A

Abstract

本发明公开了一种基于图像处理的集装箱箱号及集卡车号识别系统及方法，系统包括工控机、PLC、以太网交换机和摄像机，其中：工控机分别与以太网交换机和PLC连接，以太网交换机分别与摄像机和TOS系统连接。本系统在集装箱装卸船的过程中，通过PLC控制器控制摄像机进行高速拍照，并将实时图像通过以太网传输给工控机，由工控机上运行的箱号识别软件识别出集装箱号后再通过以太网将结果传输给TOS作业系统统一管理。本系统解决了港口码头作业过程中，集装箱号码由人工登记导致集装箱装载效率低和人工失误导致集卡车与需要装载的集装箱不匹配的技术问题。本系统在各种环境下都能达到较高的识别率，有效地提高了岸桥作业的效率。

Description

基于图像处理的集装箱箱号及集卡车号识别系统及方法

技术领域

本发明涉及一种基于图像处理的集装箱箱号及集卡车号识别系统及方法，用于辅助港口岸桥集装箱的装卸作业。

背景技术

随着现代物流管理技术的发展，加快货物通道的管理自动化已成为十分紧迫的任务。对于码头来说，码头的集装箱吞吐量严重影响着码头的效益。目前,码头上大多采用的是人工指挥集装箱的装卸,由人工对集装箱的箱号进行登记，其缺点是安全隐患大，效率很低，影响集装箱的装卸速度，不利于整个港口的高速运作。另外，由于人工失误可能导致集装箱与装卸的集卡车不能正确匹配而为集装箱运输到目的地带来不必要的麻烦。在这种背景下，集装箱号码自动识别系统应运而生。

基于图像技术的集装箱箱号识别大致可分为三个步骤：

1、集装箱号码的定位：从拍摄的图片中确定箱号所在的矩形区域；

2、集装箱号码的分割：从定位的矩形区域，分割出单个的字符区域；

3、集装箱号码的识别：最后对每个字符区域识别出相应的字母、数字。

从上述三个步骤可以看出集装箱号码的区域定位是整个流程的基础，而集装箱号排列方式多种多样，字体、字号及颜色不一，再加上集装箱上各种图案、文字的干扰都加大了集装箱号码定位的难度。

目前已知的集装箱号码定位方法有：

1、基于跳变点的集装箱箱号定位：该方法首先对图片进行水平或垂直方向的一阶差分计算，然后逐行或逐列进行扫描，统计一行或一列中一阶差分值大于某个阈值的像素点的个数。如果该像素点的个数大于某个阈值，则将该行认为是集装箱箱号区域可能的行位置。扫描结束后，通过对可能的行位置或列位置的进一步分析，完成集装箱号码的定位过程。

缺点：该方法通过统计灰度的跳变点数进行集装箱箱号的粗定位，因此对噪声较敏感。另外当箱号字符的排列存在一定程度的倾斜时,会由于检测的跳变点数不足造成定位失败。

2、基于形态学的集装箱箱号定位方法：该方法首先获得集装箱图片的边缘检测图，然后对获得的边缘图像进行一系列形态学的开闭等运算，尽可能的去除掉干扰区域，最后结合集装箱箱号的排列特点找到正确的集装箱箱号位置。

缺点：该方法对集装箱图片的边缘图像进行形态学处理，这就要求检测到的集装箱箱号区域的边缘信息完整，而实际上通常由于应用背景的复杂、天气、灯光等因素的干扰，检测到的边缘信息并不理想。

发明内容

为了克服现有技术的缺点，本发明提供了一种基于图像处理的集装箱箱号及集卡车号识别系统及方法，采用了近年来在自然场景文字检测问题上取得的最新成果，该方法对箱号的排列方向、倾斜度、光照及色彩的变化具有较好的鲁棒性。

本发明所采用的技术方案是：一种基于图像处理的集装箱箱号及集卡车号识别系统，包括工控机、PLC、以太网交换机和摄像机，其中：工控机分别与以太网交换机和PLC连接，以太网交换机分别与摄像机和TOS系统连接；所述PLC将吊具开闭锁状态和编码器信息发送给工控机，并接收工控机发出的控制指令；所述工控机根据接收的吊具开闭锁状态和编码器信息生成抓拍命令发送给摄像机，所述摄像机将拍摄的集装箱箱号和集卡车车头图像传送给工控机，所述工控机对摄像机拍摄的图像进行识别，并将识别出的集装箱箱号和集卡车号发送给TOS系统。

本发明还提供了一种基于图像处理的集装箱箱号及集卡车号识别方法，集装箱箱号的识别包括如下步骤：

(1)将摄像机拍摄的图像进行灰度化处理，得到灰度图像；

(2)通过计算灰度图像的最大稳定极值区域获得字符候选区域；

(3)对字符候选区域进行预过滤，得到字符区域；

(4)从字符区域中获取箱号或车号区域；

(5)获取每个箱号或车号字符的位置；

(6)利用神经网络对字符二值图像进行识别并输出结果；

对于集卡车号的识别，在对图像进行灰度化处理前先将图像旋转90度。

与现有技术相比，本发明的积极效果是：在集装箱装卸船的过程中，通过PLC控制器控制安装在岸桥鞍梁和连系梁的摄像机进行高速拍照，并将实时图像通过以太网传输给工控机，由工控机上运行的箱号识别软件识别出集装箱号后再通过以太网将结果传输给TOS作业系统统一管理。本系统充分结合岸桥作业的实际情况，将摄像机、PLC控制器、小车编码器、起升编码器、工控机以及TOS作业系统结合起来，同时利用计算机视觉和模式识别领域的最新技术解决了：

1、港口码头作业过程中，集装箱号码由人工登记导致集装箱装载效率低；

2、由于人工失误导致集卡车与需要装载的集装箱不匹配。

本发明充分考虑了各种集装箱箱型并利用岸桥的建筑结构来安装摄像机，能够对集装箱和集卡车抓拍到清晰的图片。在此基础上本发明利用MSER(maximally stableextremal region，最大稳定极值区域)特征具有文字颜色、大小及仿射不变的特征，因此在各种环境下都能达到较高的识别率，有效地提高了岸桥作业的效率。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本系统的结构示意图；

图2是40尺及以上箱型为一个触发组的示意图；

图3是双20尺箱型为一个触发组的示意图；

图4是单20尺箱型为一个触发组的示意图；

图5是像素点的连通关系示意图。

具体实施方式

一种基于图像处理的集装箱箱号及集卡车号识别系统，如图1所示，包括工控机、PLC、以太网交换机、摄像机等，其中：工控机分别与以太网交换机和PLC连接，摄像机通过IO转以太网与以太网交换机连接，以太网交换机与TOS系统连接。

工控机为本系统中的主数据处理单元，负责对摄像机拍摄的所有视频数据进行实时处理，识别出集装箱箱号和集卡车号，并将识别结果传输给TOS系统(码头作业系统)，并通过与PLC接口实现信息的获取和控制命令的下发。

PLC为大车控制系统，可以通过网络、串口、DP等多种连接方式与外部设备进行数据交互，将小车编码器、起升编码器、吊具开闭锁状态等信息发送给工控机，并接收工控机的指令实现控制的执行。

摄像头安装于岸桥连系梁及鞍梁上，对集装箱及集卡车进行实时视频采集，在收到工控机发送的抓拍命令后，将实时图片传输给工控机用于识别。

在岸桥的两侧鞍梁上安装了两组共6台摄像机用于拍摄集装箱箱号。在吊具抓取集装箱后运动过程中动态实时抓拍不同面带有箱号信息的图像，抓取的时机选择在吊具处于闭锁状态、起升或下降到距地面高度在6米时进行触发拍摄。摄像机根据PLC传输来的箱型的不同分为几个不同的触发组，40尺及以上为一个触发组(如图2所示)、双20尺为一个触发组(如图3所示)，单20尺为一个触发组(如图4所示)。

在岸桥两侧的连系梁上各安装一个摄像机，在集装箱装卸时控制摄像机采集集卡车车头图像用于集卡车车号的识别。

一、集装箱箱号识别方法，包括如下步骤：

1、将摄像机拍摄的集装箱图像进行灰度化处理：

摄像机采集的原始集装箱箱号图像为RGB格式，按照以下公式将其转化为灰度格式图片：

Gray＝0.229×R+0.587×G+0.114×B

其中R,G,B分别表示红、绿、蓝三个通道各自的像素值，Gray为处理后像素的灰度值。

2、对处理后的灰度图像计算最大稳定极值区域MSER，得到箱号字符候选区域：

灰度化后的图像每个像素点处的取值在[0,255]范围内，对于每个i∈[0,255]，Sⁱ＝{p|Gray(p)≤i}表示灰度值不超过i的所有像素点的集合。依照像素点的连通关系(分为四连通和八连通两种，如图5所示)，可以将Sⁱ划分成互不相交的连通区域。设

为一个连通域，|R_i|表示区域R_i的像素个数。当i由0逐步增大到255时，|R_i|也会随着增加。当给定i的增长幅度d时,使用

来表示区域R_i随i变化的稳定性，当i使得上式取值最小时,区域R_i就是一个MSER(最大稳定极值区域)。因四连通关系计算量小且产生的MSER区域与八连通区域相差不大，实际算法中采用区域的四连通关系，并设定增长幅度d的值为20。

以上步骤找到的区域对应箱号灰度值比背景小的情况，如果箱号灰度值比背景的大，将灰度图像做值域上翻转即可：Gray＝255-Gray。

3、对非字符区域进行预过滤：

最大稳定极值区域包含了字符和非字符的区域，可以利用字符的几何性质过滤掉非字符的区域。如字符区域的最小外包矩形的宽高比不会小于0.1，字符区域的像素点的个数不会太大(不超过3600个像素点)和太小(不少于20个像素点)。

4、获取箱号区域：

按水平和竖直方向将两个相邻字符区域组合成一对，计算通过每个区域对中心点的直线与其他字符区域的相交个数，相交个数最多的直线为一行或一列文本区域。重复以上步骤直到所有的区域被包含在某一行或一列。组合成的文本行或文本列构成了箱号区域。

5、获取每个箱号字符的位置：

根据箱号区域的中心坐标及区域中包含的字符个数，确定每个区域代表的箱号类型。根据每个箱号区域中字符的中心坐标，按照从左到右，从上到下的顺序确定字符的先后位置。

6、利用神经网络对字符二值图像进行识别并输出结果：

字符识别部分调用了HALCON图像库的OCR接口，对定位到的字符区域通过训练好的模型给出识别结果和结果的置信度值(为(0,1)之间的小数值)。

二、集卡车号识别方法，包括如下步骤：

以上识别集装箱箱号的步骤同样适用于集卡车号的识别。由于岸桥连系梁与集卡车道平行，因此摄像机拍摄到的集卡车号在识别前需要旋转90度。

Claims

1.一种基于图像处理的集装箱箱号及集卡车号识别系统的识别方法，其特征在于：集装箱箱号的识别包括如下步骤：

（1）将摄像机拍摄的图像进行灰度化处理，得到灰度图像；

（2）通过计算灰度图像的最大稳定极值区域获得字符候选区域；

（3）对字符候选区域进行预过滤，得到字符区域；

（4）从字符区域中获取箱号或车号区域：按水平和竖直方向将两个相邻字符组合成区域对，计算通过每个区域对的中心点的直线与其他字符区域的相交个数，相交个数最多的直线作为一行或一列文本区域；重复该步骤直到所有的区域被包含在某一行或一列文本区域，组合成的文本行或文本列即构成箱号或车号区域；

（5）获取每个箱号或车号字符的位置；

（6）利用神经网络对字符二值图像进行识别并输出结果；

对于集卡车号的识别，在对图像进行灰度化处理前先将图像旋转90度；其中：

所述基于图像处理的集装箱箱号及集卡车号识别系统包括工控机、PLC、以太网交换机和摄像机，其中：工控机分别与以太网交换机和PLC连接，以太网交换机分别与摄像机和TOS系统连接；所述PLC将吊具开闭锁状态和编码器信息发送给工控机，并接收工控机发出的控制指令；所述工控机根据接收的吊具开闭锁状态和编码器信息生成抓拍命令发送给摄像机，所述摄像机将拍摄的集装箱箱号和集卡车车头图像传送给工控机，所述工控机对摄像机拍摄的图像进行识别，并将识别出的集装箱箱号和集卡车号发送给TOS系统。

2.根据权利要求1所述的基于图像处理的集装箱箱号及集卡车号识别系统的识别方法，其特征在于：按如下公式对图像进行灰度化处理：

3.根据权利要求1所述的基于图像处理的集装箱箱号及集卡车号识别系统的识别方法，其特征在于：计算灰度图像的最大稳定极值区域的方法是：寻找使得

取值最小的i，连通域R_i即为一个最大稳定极值区域，其中：

，Sⁱ表示灰度值不超过i的所有像素点的集合，

，

表示连通域R_i的像素个数，d表示当i由0逐步增大到255时的增长幅度。

4.根据权利要求3所述的基于图像处理的集装箱箱号及集卡车号识别系统的识别方法，其特征在于：若最大稳定极值区域对应箱号或车号灰度值比背景大时，需将灰度图像做值域上翻转。

5.根据权利要求1所述的基于图像处理的集装箱箱号及集卡车号识别系统的识别方法，其特征在于：对字符候选区域进行预过滤时，将最小外包矩形的宽高比小于0.1的区域、像素点个数超过3600个像素点的区域或像素点个数少于20个像素点的区域过滤掉。

6.根据权利要求1所述的基于图像处理的集装箱箱号及集卡车号识别系统的识别方法，其特征在于：所述摄像机在吊具抓取集装箱后运动过程中动态实时抓拍不同面带有箱号信息的图像，抓取的时机选择在吊具处于闭锁状态、起升或下降到距地面高度在6米时进行触发拍摄，摄像机根据PLC传输来的箱型的不同分为不同的触发组，其中：40尺及以上为一个触发组，双20尺为一个触发组，单20尺为一个触发组。