CN110348451A - 铁路集装箱装卸过程中的箱号自动采集及识别方法 - Google Patents

铁路集装箱装卸过程中的箱号自动采集及识别方法 Download PDF

Info

Publication number
CN110348451A
CN110348451A CN201910648364.3A CN201910648364A CN110348451A CN 110348451 A CN110348451 A CN 110348451A CN 201910648364 A CN201910648364 A CN 201910648364A CN 110348451 A CN110348451 A CN 110348451A
Authority
CN
China
Prior art keywords
container
case number
image
character
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910648364.3A
Other languages
English (en)
Other versions
CN110348451B (zh
Inventor
欧阳�
罗建桥
曹泽卫
李柏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201910648364.3A priority Critical patent/CN110348451B/zh
Publication of CN110348451A publication Critical patent/CN110348451A/zh
Application granted granted Critical
Publication of CN110348451B publication Critical patent/CN110348451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种铁路集装箱装卸过程中的箱号自动采集及识别方法，分别采集集装箱顶面和侧面的图像，对存在不同箱体颜色的集装箱图像进行通用的预处理；在图像二值化的基础上对箱号印刷颜色进行判断；通过连通域分析定位箱号的印刷区域；根据箱号区域最小外接矩的长宽比阈值判断箱号的排列方式，分别进行不同方向投影顺序的字符分割；搭建3个神经网络模型分类器分别对集装箱箱号中三部分字符进行识别，并对集装箱顶面和侧面的箱号识别结果进行互相校验。本发明克服了由于磨损导致字符局部剥落对识别结果的影响，实现了对不同颜色和排列方式集装箱箱号的识别，结合不同面集装箱箱号的互检以及集装箱校验码的自检，完成集装箱箱号的快速准确识别。

Description

铁路集装箱装卸过程中的箱号自动采集及识别方法
技术领域
本发明涉及图像智能识别技术领域，具体为一种铁路集装箱装卸过程中的箱号自动采集及识别方法。
背景技术
集装箱作为一种装载体，如图1所示，被广泛应用于全球物流运输业中。集装箱不仅存在多种规格尺寸，而且箱体表面喷涂的颜色也不唯一。为实现对集装箱的全球统一化管理，规定每一个投入运营的集装箱必须印刷独有的箱号，如图1中白色框内所示。集装箱箱号由11位字符组成，可分为3个部分：①4位大写的英文字母；②6位阿拉伯数字；③1位数字，即校验码。铁路集装箱货场对每一个集装箱的管理都有严格的规定，包括卸车堆放区域和装车摆放顺序。例如：在装车时，同一节车厢的集装箱摆放位置为重箱在前，轻箱在后，这是因为火车在紧急制动时，由于惯性的作用，如果同一节车厢的集装箱装车顺序为前轻后重，那么将会出现严重的后箱撞击前箱事故。集装箱箱号作为集装箱的唯一标识，可通过集装箱箱号的识别从集装箱管理系统中间接获取集装箱的重量信息，指导完成集装箱卸车区域的正确堆放和装车顺序的正确摆放。目前，对于铁路集装箱箱号的识别主要采用人工记录的方式，由货场旁的记录人员辅助起重机内的操作人员完成装卸工作，存在主观性大、效率低下等问题。因此，为提高铁路集装箱货场的工作效率和自动化程度，迫切需要开发高效准确的箱号自动识别方法。
目前已有的集装箱箱号自动识别方法大都基于机器视觉技术，主要应用于进出货场时的道路“门式”闸口处，安装在闸口处的图像采集装置自动采集集装箱的箱号。由于门式集装箱的采集场景简单，图像质量比较稳定，因此易于机器视觉识别。文献[1](王胜,陈宁.一种改进的集装箱箱号自动识别系统[J].电视技术,2015,39(19).)研制了一种改进的集装箱箱号自动识别系统，采用逆向扫描的方式提取箱号区域，根据区域重心定位并分割字符，利用概率神经网络完成箱号字符的识别。由于该方法没有对字符的颜色进行判断，因此不能同时识别白色字体和黑色字体的箱号。文献[2](黄鼎隆；马修·罗伯特·斯科特；董登科；黄伟林.集装箱箱号识别方法、装置及电子设备[p].中国专利:CN107832767A,2018-03-23.)提出了一种集装箱箱号识别方法、装置及电子设备，通过基于卷积神经网络的深度学习模型分别提取每个字符图像中对应的字符特征，完成箱号的识别。该方法仅利用了集装箱一个面的箱号信息，缺乏校验步骤。文献[3](李诚,李建华.一种自动化集装箱起吊箱号拍照识别装置[P].中国专利:CN207129853U,2018-03-23.)提出了一种自动化集装箱起吊箱号拍照识别装置，该装置可随锁座移动，通过机械手控制摄像头的位置，完成对集装箱某一面箱号的采集，如图2所示。
综上所述，目前基于机器视觉的铁路集装箱装卸过程中的箱号识别存在以下三个问题：
1)现有箱号采集数据单一。现有方法是在起重机锁座上安装一个拍照装置对集装箱的一个面进行拍照，由于集装箱存在磨损导致字符剥落，因此对采集一个面的图像难以保证集装箱箱号的完整性。
2)对白色字体和黑色字体的箱号识别通用性差。目前的检测方法仅以白色字体的箱号为研究对象，对于箱号图像的预处理、定位和分割不具有通用性。首先，白色字体和黑色字体的箱号在二值化后分别表示背景和目标，固定的阈值难以区分不同字体颜色的箱号。
3)箱号的识别结果缺乏校验。现有的方法主要是针对特定面的单张集装箱图片进行箱号的提取，对于箱号中的大写字母和数字识别并未加以区分，箱号的识别结果仅依赖于一张图片的信息，没有采用不同面的箱号识别结果进行交叉验证。
发明内容
针对上述问题，本发明的目的在于提供一种能够在集装箱装卸过程中对集装箱两个不同面的箱号进行采集，对两种字体颜色的箱号进行通用性识别，结合两个面的识别结果进行校验的铁路集装箱装卸过程中的箱号采集及识别方法。通过集装箱装车和卸车两个过程中的箱号识别，实现集装箱信息的全流程跟踪。技术方案如下：
一种铁路集装箱装卸过程中的箱号自动采集方法，具体包括：
A：布置拍摄装置
在起重机的锁具上安装集装箱顶面拍摄装置，集装箱顶面拍摄装置包括激光测距仪和俯拍摄像头；
在起重机的支腿上安装集装箱侧面拍摄装置，集装箱侧面拍摄装置包括水平拍摄摄像头；
B：集装箱装车过程中的图像采集
步骤b1：起重机控制锁具移动至待装车集装箱的正上方，从上往下向待装车集装箱移动，采用激光测距仪监测锁具与集装箱顶面的高度距离，通过高度距离阈值跟踪，自动触发俯拍摄像头对集装箱顶面进行拍摄，获得集装箱顶面图像，不需要增加起重机额外的动作；
步骤b2：起重机控制锁具锁住集装箱，将其移动至铁路货车的正上方，从上往下向货车移动，通过与起重机控制系统的信息交互，获取锁具的空间坐标信息，当其值达到系统设定的阈值时，自动触发水平拍摄摄像头对集装箱侧面进行拍摄，获得集装箱侧面图像，不需要增加起重机额外的动作；
C：集装箱卸车过程中的图像采集
步骤c1：起重机控制锁具移动至待卸车集装箱的正上方，从上往下向待卸车集装箱移动，采用激光测距仪监测锁具与集装箱顶面的高度距离，通过高度距离阈值跟踪，自动触发俯拍摄像头对集装箱顶面进行拍摄，获得集装箱顶面图像，不需要增加起重机额外的动作；
步骤c2：起重机控制锁具锁住集装箱，向正上方移动，通过与起重机控制系统的信息交互，获取锁具的空间坐标信息，当其值达到系统设定的阈值时，自动触发水平拍摄摄像头对集装箱侧面进行拍摄，获得集装箱侧面图像，不需要增加起重机额外的动作。
一种铁路集装箱装卸过程中的箱号识别方法，包括以下步骤：
步骤1：对获取的集装箱图像进行预处理，得到预处理后的灰度图像；
步骤2：采用最大类间方差法对图像进行二值化处理，根据二值化图像的像素值统计信息判断箱号印刷字符的颜色，并统一表征印刷信息；
步骤3：对二值化后的集装箱图像进行连通域分析，结合箱号印刷字符固有的高宽比和面积大小范围的特点，从所有连通域中提取出属于集装箱箱号和集装箱ISO代码的区域构成连通域集合；
步骤4：提取连通域集合的最小外接矩形，通过判断所提取的外接矩形长宽比与长宽比阈值的大小，确定箱号的为纵向或横向排列方式；
步骤5：根据箱号的排列方式对箱号进行字符分割；
步骤6：对所有分割的字符进行归一化处理，对集装箱箱号三个组成部分的字符分别建立BP神经网络模型，分别对三个组成部分进行识别，得到完整的集装箱箱号。
进一步的，所述步骤6之后还包括：
步骤7：将集装箱顶面和侧面字符识别结果相互校验：对比集装箱顶面和侧面每一位箱号字符的识别结果，若识别结果一致则不需要更正；若识别结果不一致，则取两个识别结果中准确率高的那一个作为最终的箱号字符；
识别结果由箱号校验码根据集装箱固有的校验规则，对箱号识别结果进行校验。
更进一步的，所述步骤1具体包括：
步骤11：对获取的彩色图像进行灰度化；
步骤12：采用中值滤波法对集装箱灰度图像进行平滑处理；
步骤13：对去噪后的集装箱图像使用直方图均衡化处理，增强集装箱图像的边缘；
步骤14：倾斜图像的旋转矫正：使用Sobel算子提取集装箱图像的水平边缘，再利用Hough变换检测集装箱上边缘的直线并计算图像的倾斜角度；最后通过仿射变换完成倾斜集装箱图像的旋转矫正；
步骤15：图像裁剪：利用Sobel算子分别完成集装箱水平边缘和竖直边缘的检测，利用Hough直线检测定位集装箱的上边缘和右边缘，通过图像裁剪去掉周围环境的背景信息，只保留集装箱的内容。
更进一步的，所述步骤2具体包括：
步骤21：计算图像背景和目标的类间方差：
设灰度图像包含L个灰度级且像素总数为N，灰度值为i的像素个数为Ni，则灰度值为i的像素概率为Pi＝Ni/N；设灰度阈值T将图像分为背景C1＝[0,1,2,...,T]和目标C2＝[T+1,T+2,...,L-1]两类，则C1和C2的类间方差计算公式为：
得到集装箱二值化的自适应阈值
步骤22：将灰度图像G(x,y)转换为B(x,y)，表示为：
式中，B(x,y)表示集装箱图像中位于点(x,y)处的二值化值，取值为0或1；
步骤23：判断集装箱号印刷字符的颜色；
其中，sum表示像素数求和；
步骤24：对sum(B(x,y)＝1)大于sum(B(x,y)＝0)时的二值化图像取反，统一以B(x,y)＝1表示印刷信息。
更进一步的，所述步骤3具体包括：结合拍摄图像的特点，定义箱号字符连通域高宽比范围为[Dmin,Dmax]，面积大小范围为[Smin,Smax]；对每一个连通域进行判断：若某个通域的高宽比di∈[Dmin,Dmax]，并且该连通域的面积si∈[Smin,Smax]，则该连通域属于箱号字符或ISO代码区域，将其提取出来放入连通域集合；否则，属于噪声或干扰信息，将其删除。
更进一步的，所述步骤5具体包括：当箱号为纵向排列时，首先对箱号区域的二值图像进行竖直方向投影，将箱号区域分割为列文本序列，然后对列文本序列进行水平方向投影，分割并统计前11个字符，即完成箱号11位字符的按序分割；当箱号为横向排列时，首先对箱号区域的二值图像进行水平方向投影，将箱号区域分割为行文本序列，然后对行文本序列进行竖直方向投影，分割并统计前11个字符，即完成箱号11位字符的按序分割。
更进一步的，所述归一化处理具体为：按高度归一、水平等比缩放、中心对准的策略将所有字符归一化到标准大小，完成字符的统一表征。
本发明的有益效果是：1)本发明在图像采集方案中，采用PLC控制摄像头的拍摄时刻，具有可扩展性和可移植性，且不需要增加起重机额外的动作；2)在集装箱箱号的识别方法中，提出了一种集装箱箱号印刷颜色的判断方法，为建立一个通用的箱号识别算法，对黑白图像进行二值统一；3)集装箱箱号由11个字符按序组成，在字符识别前，根据箱号区域最小外接矩的长宽比阈值，提出了一种箱号排列方式的判断方法，根据排列方式进行相应方向投影顺序的字符分割；4)提出采用3个神经网络分类器分别对字母、数字和校验码进行识别，有效避免在同一分类器中错误识别相似字符的问题，提高相似字符的识别精度；5)提出对集装箱顶面和侧面箱号识别结果的互相校验方法，克服集装箱由于磨损导致字符局部剥落对识别结果的影响；6)实现了对不同颜色、不同排列方式集装箱箱号识别的通用流程描述，结合不同面集装箱箱号的互检以及集装箱校验码的自检，完成集装箱箱号的快速准确识别。
附图说明
图1为集装箱图像及箱号。
图2为文献[3]中的箱号拍照装置。
图3为铁路集装箱装卸过程中的箱号采集示意图。
图4为箱体旋转矫正前后对比示意图。
图5为图像裁剪示意图。
图6为箱号区域提取示意图；(a)所有连通域；(b)集装箱箱号字符连通域。
图7为箱号区域的最小外接矩形示意图。
图8集装箱箱号识别基本流程图。
图中：1-集装箱顶面拍摄装置；2-安装集装箱侧面拍摄装置；3-起重机；4-集装箱。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。本发明对集装箱图像的采集装置分别安装在起重机的锁座和支腿侧，采用PLC控制触发拍摄装置进行图像采集。对集装箱箱号的识别，提出了通用性强的预处理方法，提出了对不同颜色集装箱箱号的判断方法，对箱号不同排列方式的判断方法，针对箱号识别精度不高的问题，提出使用3个神经网络分类器分别对集装箱箱号中的4位大写字母、6位阿拉伯数字和1位校验码进行识别，避免由于字符的相似导致识别错误率高的问题。最终的箱号识别是结合两个面箱号互检和箱号校验码自检的结果。
本发明设计在起重机的不同位置安装两组图像拍摄装置，在集装箱装卸过程中，通过相应的触发信号控制摄像头对集装箱的不同面进行拍摄，得到含有集装箱箱号的图像。铁路集装箱装卸过程中的箱号采集方案如图3所示，可分为装车或卸车两个过程，如下所述：
(1)集装箱装车过程中的图像采集
第一步：起重机3控制锁具移动至待装车集装箱的正上方，从上往下向待装车集装箱移动，通过2中的激光测距仪监测锁具与集装箱顶面的高度距离，通过高度距离阈值跟踪，自动触发2中的摄像头对集装箱顶面进行拍摄，获得集装箱顶面的图像，不需要增加起重机额外的动作。
第二步：起重机3控制锁具锁住集装箱，将其移动至铁路货车的正上方，从上往下向货车移动，通过集成的可编程逻辑控制器(PLC)从起重机3的控制系统中获取吊具的空间坐标信息，当其值达到系统设定的阈值时，自动触发1中的摄像头对集装箱侧面进行拍摄，获得集装箱侧面的图像，不需要增加起重机额外的动作。
至此，在铁路集装箱装车过程中，对集装箱顶面和侧面的图像拍摄完毕。
(2)集装箱卸车过程中的图像采集
第一步：起重机3控制锁具移动至待卸车集装箱的正上方，从上往下向待卸车集装箱移动，通过2中的激光测距仪监测锁具于集装箱顶面的高度距离，通过高度距离阈值跟踪，自动触发2中的摄像头对集装箱顶面进行拍摄，获得集装箱顶面的图像，不需要增加起重机额外的动作。
第二步：起重机3控制锁具锁住集装箱，向正上方移动，通过集成的可编程逻辑控制器(PLC)从起重机3的控制系统中获取吊具的空间坐标信息，当其值达到系统设定的阈值时，触发1中的摄像头对集装箱侧面进行拍摄，获得集装箱侧面的图像，不需要增加起重机额外的动作。
至此，在铁路集装箱卸车过程中，对集装箱顶面和侧面的图像拍摄完毕。
集装箱箱号的识别方法流程图如图8所示，具体步骤如下：
步骤1：对获取的集装箱图像进行预处理，得到预处理后的灰度图像。
铁路集装箱的装卸是在开放的环境中进行的，获取的集装箱图片质量不仅易受拍摄角度、箱体倾斜的影响，而且在箱体表面可能有锈斑、油漆渍等不同类型噪声的存在，在以上描述的复杂场景中识别集装箱箱号存在一定的难度，因此需对获取的集装箱进行必要的预处理，包括：图像灰度化、图像去噪、图像增强、倾斜矫正和图像裁剪。
1.灰度化。集装箱表面上的各种信息在颜色上有着极大的对比度，因此本发明使用彩色摄像头获取集装箱的彩色图像。由于铁路集装箱装卸过程消耗的时间较短，为加快对箱号的处理速度，首先对获取的彩色图像进行灰度化，如公式(1)所示：
G(x,y)＝0.299×R+0.587×G+0.114×B (1)
其中：R,G,B为彩色图像的3个颜色分量。
2.中值滤波。为减少甚至避免箱体表面上噪声对箱号识别的影响，采用图像平滑技术对灰度图像进行去噪。经典的图像平滑包括空域法和频域法，由于频域法耗时大，故采用空域法中的中值滤波方法对集装箱灰度图像进行平滑处理，中值滤波是抑制噪声的非线性方法，在保证图像轮廓和边界的同时，过滤掉图像的噪声。
3.直方图均衡化。对去噪后的集装箱图像使用直方图均衡化处理，增强集装箱图像的边缘，有利于后期的集装箱倾斜矫正。
4.图像倾斜矫正。充分利用集装箱的上边缘信息完成倾斜图像的旋转矫正，具体为：首先，使用Sobel算子提取集装箱图像的水平边缘；然后，利用Hough变换检测集装箱上边缘的直线并计算图像的倾斜角度；最后，通过仿射变换完成倾斜集装箱图像的旋转矫正。矫正前后对比的集装箱图像对比如图4所示。
5.图像裁剪。拍摄的集装箱图片不仅含有集装箱的内容，还存在周围环境的背景信息。为了避免周围环境对集装箱箱号的识别带来影响，再次利用Sobel算子分别完成集装箱水平边缘和竖直边缘的检测，利用Hough直线检测定位集装箱的上边缘和右边缘，通过图像裁剪去掉周围环境的背景信息，只保留集装箱的内容，如下图5所示。
步骤2：采用最大类间方差法对图像进行二值化处理，根据二值化图像的像素值统计信息判断箱号印刷字符的颜色，并统一表征印刷信息。
集装箱表面含箱号的印刷信息与背景存在高对比度，如图1所示，为从集装箱图片中提取含集装箱箱号的区域，采用最大类间方差法(即大津法)对图像进行二值化处理。设灰度图像包含L个灰度级且像素总数为N，灰度值为i的像素个数为Ni，那么灰度值为i的像素概率为Pi＝Ni/N，假设灰度阈值T将图像分为背景C1＝[0,1,2,...,T]和目标C2＝[T+1,T+2,...,L-1]两类，则C1和C2的类间方差计算公式为：
最大化公式(2)，得到集装箱二值化的自适应阈值经二值化后，灰度图像G(x,y)可转换为B(x,y)，表示为：
此时，需要判断印刷信息是取B(x,y)＝1还是B(x,y)＝0，即判断在集装箱表面印刷的字体为黑色还是白色。根据集装箱的特点可知，印刷字体占图像的比例远小于0.5，所以只需根据面积判断，面积为像素数量和，即sum(B(x,y)＝1)是大于还是小于sum(B(x,y)＝0)(sum表示求和)。若sum(B(x,y)＝1)小于sum(B(x,y)＝0)，则B(x,y)＝1表示印刷信息，且印刷字体颜色为白色；相反，若sum(B(x,y)＝1)大于sum(B(x,y)＝0)，则B(x,y)＝0表示印刷信息，且印刷字体颜色为黑色。为统一对不同字体颜色集装箱箱号的识别流程，对sum(B(x,y)＝1)大于sum(B(x,y)＝0)时的二值化图像取反，统一为B(x,y)＝1表示印刷信息。箱号印刷字体颜色判断的公式如下：
其中，B(x,y)为集装箱二值化图像中位于点(x,y)处的像素值，取值为0或1，sum为求和符号。
步骤3：对二值化后的集装箱图像进行连通域分析，结合箱号印刷字符固有的高宽比和面积大小范围的特点，从所有连通域中提取出属于集装箱箱号和集装箱ISO代码的区域构成连通域集合。
运用数学形态学方法对二值化后的集装箱图像进行连通域分析，结合箱号印刷字符固有的高宽比和面积大小范围的特点，从所有连通域中提取出属于集装箱箱号和集装箱ISO代码的区域。具体为：结合拍摄图像的特点，定义箱号字符连通域高宽比范围为[Dmin,Dmax]，面积大小范围为[Smin,Smax]，对每一个连通域进行判断：若其高宽比di∈[Dmin,Dmax]并且面积大小si∈[Smin,Smax]，则箱号的所有字符均属于该连通域集合(由于集装箱的ISO码与箱号具有相同的高宽比和面积大小范围，所以该连通域集合既包含箱号也包含ISO码)；否则，属于噪声或干扰信息，将其删除。箱号区域提取如图6所示。属于箱号字符区域的判断公式表示为：
Dmin<di<Dmax&&Smin<si<Smax (5)
其中，di表示集装箱连通域i的高宽比，Dmin和Dmax分别表示系统设定的最小高宽比阈值和最大高宽比阈值，si表示集装箱连通域i的面积，Smin和Smax分别表示系统设定的最小面积阈值和最大面积阈值。
步骤4：提取连通域集合的最小外接矩形，通过判断所提取的外接矩形长宽比与长宽比阈值的大小，确定箱号的为纵向或横向排列方式。
集装箱箱号存在横向排列和纵向排列两种方式，而横向排列又分为1行、2行、3行和4行四种方式。由于集装箱箱号的识别不仅是对单个字符的识别，更重要的是对字符序列进行识别，因此需要保证识别的字符序列与箱号的排序一致。在对字符进行识别之前，必须判断箱号是横向印刷的还是纵向印刷的。提取连通域集合的最小外接矩形SR＝l×h，结合集装箱箱号固有的特点：横向排列的外接矩形长宽比始终大于纵向排列的外接矩形长宽比，根据分析设置合理的长宽比阈值μ，通过判断所提取的外接矩形长宽比与阈值μ的大小，获知箱号的排列方式。箱号区域最小外接矩形如图7所示(此处展示了两种不同排列方式的箱号最小外接矩)。具体为：如果外界矩形的长宽比小于阈值μ，则按纵向排列；否则，按横向排列。可用公式化表示为：
其中，l和h分别表示箱号区域最小外接矩形的长和宽，μ为系统设定的长宽比阈值。
步骤5：根据箱号的排列方式对箱号进行字符分割。
确定了箱号的排列方式之后，对两种不同排列方式的箱号分别进行字符分割。当箱号为纵向排列时，首先对箱号区域的二值图像进行竖直方向投影，将箱号区域分割为列文本序列，然后对列文本序列进行水平方向投影，分割并统计前11个字符，即完成箱号11位字符的按序分割；当箱号为横向排列时，首先对箱号区域的二值图像进行水平方向投影，将箱号区域分割为行文本序列，然后对行文本序列进行竖直方向投影，分割并统计前11个字符，即完成箱号11位字符的按序分割。
步骤6：对所有分割的字符进行归一化处理，对集装箱箱号三个组成部分(前4位为大写英文字母，中间6位为阿拉伯数字，最后一位校验码为带边框的阿拉伯数字)的字符分别建立BP神经网络模型，分别对三个组成部分进行识别，得到完整的集装箱箱号。
由于拍摄角度的影响，分割出的集装箱字符大小存在一定程度的变形，对所有分割的字符进行归一化处理，即按高度归一、水平等比缩放、中心对准的策略将所有字符归一化到标准大小，完成字符的统一表征。BP(Back Propagation)网络，又被称为误差信号反馈网络，是神经网络中使用最广泛的一类，具有非线性映射能力、泛化能力、容错能力和全局逼近能力等优点，被选作本文集装箱字符识别的分类器。为避免因不同字符间相似度较大造成箱号识别精度不高的问题(如字母B与数字8，字母D和数字0，字母I和数字1，字母O和数字0，字母S和数字5)，对集装箱箱号三个组成部分的字符分别建立BP神经网络模型，分三部分对集装箱箱号进行识别，然后将识别结果组合为11位集装箱箱号。通过该步骤，加强了对不同字符的区分程度，增强了算法的鲁棒性。
步骤7：将集装箱顶面和侧面字符识别结果相互校验：对比集装箱顶面和侧面每一位箱号字符的识别结果，若识别结果一致则不需要更正；若识别结果不一致，则取两个识别结果中准确率高的那一个作为最终的箱号字符；识别结果由箱号校验码根据集装箱固有的校验规则，对箱号识别结果进行校验。
两个面的字符识别结果相互校验：由于同一集装箱各面印刷的箱号完全一致，因此可以进行相互校验，具体为：分为对比集装箱顶面和侧面每一位箱号字符的识别结果，若识别结果一致则不需要更正，若识别结果不一致，则取两个识别结果中准确率高的那一个作为最终的箱号字符。箱号校验码校验：由于每一个集装箱箱号都存在唯一的校验码，根据集装箱固有的校验规则，对箱号识别结果进行校验。通过该步骤，不仅克服了集装箱由于磨损导致字符局部剥落对识别结果的影响，还削弱了由于锈斑导致字符识别精度低等问题。
集装箱校验码的校验规则规定：每一个字母和数字都有一个运算的对应值，箱号的前10位字母和数字的对应值从0-Z对应数值为0-38，除去11、22和33。设箱号第i位的对应值为Ni，则箱号校验码的值可由下式计算：
其中，％表示取模符号。

Claims (8)

1.一种铁路集装箱装卸过程中的箱号自动采集方法，其特征在于，具体包括：
A：布置拍摄装置
在起重机(3)的锁具上安装集装箱顶面拍摄装置(1)，集装箱顶面拍摄装置(1)包括激光测距仪和俯拍摄像头；
在起重机的支腿上安装集装箱侧面拍摄装置(2)，集装箱侧面拍摄装置(2)包括水平拍摄摄像头；
B：集装箱装车过程中的图像采集
步骤b1：起重机(3)控制锁具移动至待装车集装箱的正上方，从上往下向待装车集装箱移动，采用激光测距仪监测锁具与集装箱顶面的高度距离，通过高度距离阈值跟踪，自动触发俯拍摄像头对集装箱顶面进行拍摄，获得集装箱顶面图像；
步骤b2：起重机(3)控制锁具锁住集装箱，将其移动至铁路货车的正上方，从上往下向货车移动，通过与起重机(3)控制系统的信息交互，获取锁具的空间坐标信息，当其值达到系统设定的阈值时，自动触发水平拍摄摄像头对集装箱侧面进行拍摄，获得集装箱侧面图像；
C：集装箱卸车过程中的图像采集
步骤c1：起重机(3)控制锁具移动至待卸车集装箱的正上方，从上往下向待卸车集装箱移动，采用激光测距仪监测锁具与集装箱顶面的高度距离，通过高度距离阈值跟踪，自动触发俯拍摄像头对集装箱顶面进行拍摄，获得集装箱顶面图像；
步骤c2：起重机(3)控制锁具锁住集装箱，向正上方移动，通过与起重机(3)控制系统的信息交互，获取吊具的空间坐标信息，当其值达到系统设定的阈值时，触发水平拍摄摄像头对集装箱侧面进行拍摄，获得集装箱侧面图像。
2.一种铁路集装箱装卸过程中的箱号识别方法，其特征在于，包括以下步骤：
步骤1：对获取的集装箱图像进行预处理，得到预处理后的灰度图像；
步骤2：采用最大类间方差法对图像进行二值化处理，根据二值化图像的像素值统计信息判断箱号印刷字符的颜色，并统一表征印刷信息；
步骤3：对二值化后的集装箱图像进行连通域分析，结合箱号印刷字符固有的高宽比和面积大小范围的特点，从所有连通域中提取出属于集装箱箱号和集装箱ISO代码的区域构成连通域集合；
步骤4：提取连通域集合的最小外接矩形，通过判断所提取的外接矩形长宽比与长宽比阈值的大小，确定箱号的为纵向或横向排列方式；
步骤5：根据箱号的排列方式对箱号进行字符分割；
步骤6：对所有分割的字符进行归一化处理，对集装箱箱号三个组成部分的字符分别建立BP神经网络模型，分别对三个组成部分进行识别，得到完整的集装箱箱号。
3.根据权利要求2所述的铁路集装箱装卸过程中的箱号识别方法，其特征在于，所述步骤6之后还包括：
步骤7：将集装箱顶面和侧面字符识别结果相互校验：对比集装箱顶面和侧面每一位箱号字符的识别结果，若识别结果一致则不需要更正；若识别结果不一致，则取两个识别结果中准确率高的那一个作为最终的箱号字符；
识别结果由箱号校验码根据集装箱固有的校验规则，对箱号识别结果进行校验。
4.根据权利要求2所述的铁路集装箱装卸过程中的箱号识别方法，其特征在于，所述步骤1具体包括：
步骤11：对获取的彩色图像进行灰度化；
步骤12：采用中值滤波法对集装箱灰度图像进行平滑处理；
步骤13：对去噪后的集装箱图像使用直方图均衡化处理，增强集装箱图像的边缘；
步骤14：倾斜图像的旋转矫正：使用Sobel算子提取集装箱图像的水平边缘，再利用Hough变换检测集装箱上边缘的直线并计算图像的倾斜角度；最后通过仿射变换完成倾斜集装箱图像的旋转矫正；
步骤15：图像裁剪：利用Sobel算子分别完成集装箱水平边缘和竖直边缘的检测，利用Hough直线检测定位集装箱的上边缘和右边缘，通过图像裁剪去掉周围环境的背景信息，只保留集装箱的内容。
5.根据权利要求2所述的铁路集装箱装卸过程中的箱号识别方法，其特征在于，所述步骤2具体包括：
步骤21：计算图像背景和目标的类间方差：
设灰度图像包含L个灰度级且像素总数为N，灰度值为i的像素个数为Ni，则灰度值为i的像素概率为Pi＝Ni/N；设灰度阈值T将图像分为背景C1＝[0,1,2,...,T]和目标C2＝[T+1,T+2,...,L-1]两类，则C1和C2的类间方差计算公式为：
得到集装箱二值化的自适应阈值
步骤22：将灰度图像G(x,y)转换为B(x,y)，表示为：
式中，B(x,y)表示集装箱图像中位于点(x,y)处的二值化值，取值为0或1；
步骤23：判断集装箱号印刷字符的颜色；
其中，sum表示像素数求和；
步骤24：对sum(B(x,y)＝1)大于sum(B(x,y)＝0)时的二值化图像取反，统一为B(x,y)＝1表示印刷信息。
6.根据权利要求2所述的铁路集装箱装卸过程中的箱号识别方法，其特征在于，所述步骤3具体包括：结合拍摄图像的特点，定义箱号字符连通域高宽比范围为[Dmin,Dmax]，面积大小范围为[Smin,Smax]；对每一个连通域进行判断：若某个通域的高宽比di∈[Dmin,Dmax]，并且该连通域的面积si∈[Smin,Smax]，则该连通域属于箱号字符或ISO代码区域，将其提取出来放入连通域集合；否则，属于噪声或干扰信息，将其删除。
7.根据权利要求2所述的铁路集装箱装卸过程中的箱号识别方法，其特征在于，所述步骤5具体包括：当箱号为纵向排列时，首先对箱号区域的二值图像进行竖直方向投影，将箱号区域分割为列文本序列，然后对列文本序列进行水平方向投影，分割并统计前11个字符，即完成箱号11位字符的按序分割；当箱号为横向排列时，首先对箱号区域的二值图像进行水平方向投影，将箱号区域分割为行文本序列，然后对行文本序列进行竖直方向投影，分割并统计前11个字符，即完成箱号11位字符的按序分割。
8.根据权利要求2所述的铁路集装箱装卸过程中的箱号识别方法，其特征在于，所述归一化处理具体为：按高度归一、水平等比缩放、中心对准的策略将所有字符归一化到标准大小，完成字符的统一表征。
CN201910648364.3A 2019-07-18 2019-07-18 铁路集装箱装卸过程中的箱号自动采集及识别方法 Active CN110348451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910648364.3A CN110348451B (zh) 2019-07-18 2019-07-18 铁路集装箱装卸过程中的箱号自动采集及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910648364.3A CN110348451B (zh) 2019-07-18 2019-07-18 铁路集装箱装卸过程中的箱号自动采集及识别方法

Publications (2)

Publication Number Publication Date
CN110348451A true CN110348451A (zh) 2019-10-18
CN110348451B CN110348451B (zh) 2022-12-13

Family

ID=68178787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910648364.3A Active CN110348451B (zh) 2019-07-18 2019-07-18 铁路集装箱装卸过程中的箱号自动采集及识别方法

Country Status (1)

Country Link
CN (1) CN110348451B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796698A (zh) * 2019-11-07 2020-02-14 厦门市美亚柏科信息股份有限公司 一种最大面积、最小长宽比的车辆排重方法和装置
CN110826497A (zh) * 2019-11-07 2020-02-21 厦门市美亚柏科信息股份有限公司 一种基于最小距离法的车辆排重方法、装置及存储介质
CN110852252A (zh) * 2019-11-07 2020-02-28 厦门市美亚柏科信息股份有限公司 一种基于最小距离、最大长宽比的车辆排重方法和装置
CN110852250A (zh) * 2019-11-07 2020-02-28 厦门市美亚柏科信息股份有限公司 一种基于最大面积法的车辆排重方法、装置及存储介质
CN111753734A (zh) * 2020-06-24 2020-10-09 深圳中集智能科技有限公司 集装箱箱号识别系统、识别方法和电子设备
CN111862408A (zh) * 2020-06-16 2020-10-30 北京华电天仁电力控制技术有限公司 一种智能门禁控制方法
CN112528721A (zh) * 2020-04-10 2021-03-19 福建电子口岸股份有限公司 一种桥吊集卡安全定位方法和系统
WO2021258195A1 (en) * 2020-06-22 2021-12-30 Canscan Softwares And Technologies Inc. Image-based system and method for shipping container management with edge computing
CN113903018A (zh) * 2021-03-22 2022-01-07 南京中理外轮理货有限公司 一种基于神经网络的集装箱号识别方法
CN114120297A (zh) * 2021-11-29 2022-03-01 红云红河烟草(集团)有限责任公司 一种面向高效出库的烟箱条码及破损检测系统及方法
CN114283512A (zh) * 2021-11-03 2022-04-05 宁波大榭招商国际码头有限公司 一种基于双识别引擎的智能闸口管理方法
CN116721042A (zh) * 2023-08-10 2023-09-08 广东石油化工学院 基于多阈值二值化的摄像图像倾斜校正方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026177A (en) * 1995-08-29 2000-02-15 The Hong Kong University Of Science & Technology Method for identifying a sequence of alphanumeric characters
CN102024144A (zh) * 2010-11-23 2011-04-20 上海海事大学 集装箱箱号自动识别方法
CN103332597A (zh) * 2013-07-08 2013-10-02 宁波大榭招商国际码头有限公司 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法
US8628014B1 (en) * 2012-05-15 2014-01-14 John M. Hoffer, Jr. Light field instruction symbol identifier and method of use
CN105701490A (zh) * 2016-02-24 2016-06-22 上海海事大学 一种基于图像熵的集装箱箱号自适应定位方法
CN106067023A (zh) * 2016-06-02 2016-11-02 北京国泰星云科技有限公司 基于图像处理的集装箱箱号及集卡车号识别系统及方法
CN106203539A (zh) * 2015-05-04 2016-12-07 杭州海康威视数字技术股份有限公司 识别集装箱箱号的方法和装置
CN107832767A (zh) * 2017-11-14 2018-03-23 深圳码隆科技有限公司 集装箱箱号识别方法、装置及电子设备
CN109492449A (zh) * 2019-01-04 2019-03-19 清华大学 箱体识别系统、识别方法、检查设备及港口设施

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026177A (en) * 1995-08-29 2000-02-15 The Hong Kong University Of Science & Technology Method for identifying a sequence of alphanumeric characters
CN102024144A (zh) * 2010-11-23 2011-04-20 上海海事大学 集装箱箱号自动识别方法
US8628014B1 (en) * 2012-05-15 2014-01-14 John M. Hoffer, Jr. Light field instruction symbol identifier and method of use
CN103332597A (zh) * 2013-07-08 2013-10-02 宁波大榭招商国际码头有限公司 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法
CN106203539A (zh) * 2015-05-04 2016-12-07 杭州海康威视数字技术股份有限公司 识别集装箱箱号的方法和装置
CN105701490A (zh) * 2016-02-24 2016-06-22 上海海事大学 一种基于图像熵的集装箱箱号自适应定位方法
CN106067023A (zh) * 2016-06-02 2016-11-02 北京国泰星云科技有限公司 基于图像处理的集装箱箱号及集卡车号识别系统及方法
CN107832767A (zh) * 2017-11-14 2018-03-23 深圳码隆科技有限公司 集装箱箱号识别方法、装置及电子设备
CN109492449A (zh) * 2019-01-04 2019-03-19 清华大学 箱体识别系统、识别方法、检查设备及港口设施

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周艳华: "基于视频的箱号识别系统", 《港口科技》 *
黄深广等: "基于计算机视觉的集装箱箱号识别", 《港口装卸》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852250B (zh) * 2019-11-07 2022-12-02 厦门市美亚柏科信息股份有限公司 一种基于最大面积法的车辆排重方法、装置及存储介质
CN110826497A (zh) * 2019-11-07 2020-02-21 厦门市美亚柏科信息股份有限公司 一种基于最小距离法的车辆排重方法、装置及存储介质
CN110852252A (zh) * 2019-11-07 2020-02-28 厦门市美亚柏科信息股份有限公司 一种基于最小距离、最大长宽比的车辆排重方法和装置
CN110852250A (zh) * 2019-11-07 2020-02-28 厦门市美亚柏科信息股份有限公司 一种基于最大面积法的车辆排重方法、装置及存储介质
CN110796698A (zh) * 2019-11-07 2020-02-14 厦门市美亚柏科信息股份有限公司 一种最大面积、最小长宽比的车辆排重方法和装置
CN110826497B (zh) * 2019-11-07 2022-12-02 厦门市美亚柏科信息股份有限公司 一种基于最小距离法的车辆排重方法、装置及存储介质
CN110852252B (zh) * 2019-11-07 2022-12-02 厦门市美亚柏科信息股份有限公司 一种基于最小距离、最大长宽比的车辆排重方法和装置
CN110796698B (zh) * 2019-11-07 2022-11-29 厦门市美亚柏科信息股份有限公司 一种最大面积、最小长宽比的车辆排重方法和装置
CN112528721A (zh) * 2020-04-10 2021-03-19 福建电子口岸股份有限公司 一种桥吊集卡安全定位方法和系统
CN112528721B (zh) * 2020-04-10 2023-06-06 福建电子口岸股份有限公司 一种桥吊集卡安全定位方法和系统
CN111862408A (zh) * 2020-06-16 2020-10-30 北京华电天仁电力控制技术有限公司 一种智能门禁控制方法
WO2021258195A1 (en) * 2020-06-22 2021-12-30 Canscan Softwares And Technologies Inc. Image-based system and method for shipping container management with edge computing
CN111753734A (zh) * 2020-06-24 2020-10-09 深圳中集智能科技有限公司 集装箱箱号识别系统、识别方法和电子设备
CN113903018A (zh) * 2021-03-22 2022-01-07 南京中理外轮理货有限公司 一种基于神经网络的集装箱号识别方法
CN114283512A (zh) * 2021-11-03 2022-04-05 宁波大榭招商国际码头有限公司 一种基于双识别引擎的智能闸口管理方法
CN114120297A (zh) * 2021-11-29 2022-03-01 红云红河烟草(集团)有限责任公司 一种面向高效出库的烟箱条码及破损检测系统及方法
CN116721042A (zh) * 2023-08-10 2023-09-08 广东石油化工学院 基于多阈值二值化的摄像图像倾斜校正方法

Also Published As

Publication number Publication date
CN110348451B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN110348451A (zh) 铁路集装箱装卸过程中的箱号自动采集及识别方法
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
Wen et al. An algorithm for license plate recognition applied to intelligent transportation system
Yuan et al. A robust and efficient approach to license plate detection
CN103824066B (zh) 一种基于视频流的车牌识别方法
Gou et al. Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines
LeBourgeois Robust multifont OCR system from gray level images
CN108596166A (zh) 一种基于卷积神经网络分类的集装箱箱号识别方法
CN107103317A (zh) 基于图像融合和盲反卷积的模糊车牌图像识别算法
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN107729899A (zh) 一种车牌号码识别方法及装置
CN105184291B (zh) 一种多类型车牌检测方法及系统
Yoo et al. Image matching using peak signal-to-noise ratio-based occlusion detection
CN110689003A (zh) 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN113128507A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN114387592B (zh) 一种复杂背景下字符定位和识别方法
Lee et al. Real-time automatic vehicle management system using vehicle tracking and car plate number identification
Ullah et al. An approach of locating Korean vehicle license plate based on mathematical morphology and geometrical features
CN116052152A (zh) 一种基于轮廓检测和深度神经网络的车牌识别系统
CN107742357A (zh) 一种纸币冠字号的识别方法及装置
Zhou et al. Hybridization of appearance and symmetry for vehicle-logo localization
Choi et al. Localizing slab identification numbers in factory scene images
CN109977714A (zh) 一种仓储货物多qr码一体化视觉定位方法
CN110766001B (zh) 基于cnn和rnn的银行卡卡号定位与端到端识别方法
Fang et al. 1-D barcode localization in complex background

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant