CN108596166A - 一种基于卷积神经网络分类的集装箱箱号识别方法 - Google Patents
一种基于卷积神经网络分类的集装箱箱号识别方法 Download PDFInfo
- Publication number
- CN108596166A CN108596166A CN201810332166.1A CN201810332166A CN108596166A CN 108596166 A CN108596166 A CN 108596166A CN 201810332166 A CN201810332166 A CN 201810332166A CN 108596166 A CN108596166 A CN 108596166A
- Authority
- CN
- China
- Prior art keywords
- case number
- character
- image
- container
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000012805 post-processing Methods 0.000 claims abstract description 8
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 230000000452 restraining effect Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 6
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络分类的集装箱箱号识别方法，其包括有以下步骤：S1、获取集装箱不同方向的RGB图像，通过对RGB图像进行一系列预处理，从而对图像中的集装箱箱号区域进行定位；S2、对S1步骤中已经定位的箱号区域进行透视变换与二值化处理，通过基于字符边框与投影法相结合的处理方法，对各类箱号字符进行准确分割；S3、将S2步骤中分割好的箱号字符按照其在箱号中的位置顺序，输入预设好的五层卷积神经网络模型，将识别结果进行组合，通过后处理得到准确的集装箱箱号。本发明能够准确应对各类字符变形、残缺、粘连等问题，实现更高的识别准确率和识别速率。
Description
技术领域
本发明涉及一种图像处理方法，属于图像处理技术领域，尤其是指一种基于卷积神经网络分类的集装箱箱号识别方法。
背景技术
随着科技进步与世界各国贸易的巨大增长，物流运输行业逐年加速发展，其中全球海运量逐年创下新高。集装箱作为海运的主要运输装载方式，在海运中有着十分重要的地位。在海运繁荣的同时，对集装箱的管理需要更加现代化的手段，实现对巨量的集装箱进行追踪、货物中转与货船存储规划等目的。
集装箱箱号是每个集装箱的专有标识码，对箱号进行自动识别是对集装箱进行各种高效管理操作的基础，如：所属公司、集装箱追踪、货物中转等。然而，由于全球对于集装箱箱号自动化识别并没有制定统一的标准，目前主要是使用图像处理技术实现对箱号的自动识别。但是，对错误识别的集装箱只能通过人工识别记录与校对箱号，这无疑增加了人力成本与流转时间。
由于集装箱流转环境变化大与使用时间长，对集装箱的箱体及字符区域会造成一定影响，如:字符残缺、污渍遮挡等。这些因素对集装箱箱号的识别准确率都存在重大影响。目前，箱号识别系统对于箱号中残缺、粘连等字符，不能进行完整分割；同时对于分割出的残缺字符识别准确率低。而对于错误识别的集装箱仍然只能通过人工识别记录与校对箱号，这无疑增加了人力成本与流转时间。
发明内容
本发明的目的在于克服现有技术中的不足与缺陷，提供一种基于卷积神经网络分类的集装箱箱号识别方法，该识别方法能够准确的定位分割残缺、粘连等各类箱号字符，利用卷积神经网络的良好分类性能，对提取出的各类字符进行分类识别，能够应对各类字符变形、残缺、粘连等问题，实现更高的识别准确率和识别速率。
为了实现上述目的，本发明按照以下技术方案实现：
一种基于卷积神经网络分类的集装箱箱号识别方法，其包括有以下步骤：
S1、获取集装箱不同方向的RGB图像，通过对RGB图像进行灰度化处理、高斯滤波处理、边缘检测处理和形态学处理一系列预处理，从而对图像中的集装箱箱号区域进行定位；
S2、对S1步骤中已经定位的箱号区域进行透视变换与二值化处理，通过基于字符边框与投影法相结合的处理方法，对各类箱号字符进行准确分割；
S3、将S2步骤中分割好的箱号字符按照其在箱号中的位置顺序，输入预设好的五层卷积神经网络模型，将识别结果进行组合，通过后处理得到准确的集装箱箱号。
进一步，所述S1步骤中：
采用以下公式对获取的RBG图像进行灰度化处理，以减小图像大小，降低系统识别全过程的计算量：
Grey＝0.2989*R+0.5870*G+0.1140*B，式中R、G和B表示图像三通道数值；
采用以下公式对上述灰度图像进行滤波，以去除细节和噪声，使得图像模糊化：
公式采用5*5高斯核，标准差σ为1.5。
进一步，所述S1步骤中：
采用以下Canny边缘检测算法，对上述滤波后的图像进行边缘检测，根据箱号的高度、宽度和面积特征对边缘矩形框进行筛选，得到箱号候选区域：
式中ThresMax与ThresMin为图像的最大与最小灰度值；
采用形态学对上述箱号候选区域进行腐蚀与膨胀操作，使得分离的箱号字符边框相互连接，通过对连接后的区域进行箱号长、高特征筛选，将箱号区域定位出来，达到集装箱箱号定位效果。
进一步，所述S2步骤中，对已经定位出的箱号区域使用透视变换，使得箱号在水平或竖直方向上，并分割出透视变换后的箱号区域；使用大津法对分割出的箱号区域图像求得最佳阈值，使用该阈值对箱号区域进行二值化处理。
进一步，所述S2步骤中，采用基于字符边框的方法，对上述二值化处理的图像进行处理，得到所有的字符边框信息；同时采用投影法对上述二值化处理的图像进行扫描，得到存在的所有字符的分割点；将上述两种方法处理后的信息进行对比融合，筛选出错误边框，利用正确边框特征信息，对错误边框进行融合与分离，分割出残缺与粘连字符。
进一步，所述S3步骤中，五层卷积神经网络模型训练搭建包括有：对大量的集装箱进行箱号字符分割，得到包含各个角度、各类形变、残缺和光照变化的字符图片；对得到的字符图片数据集进行识别分类，对相似的字符分作一类，随机选择出每类样本中的若干图像分为测试集和训练数据集，对所有类的测试集和训练数据集分别进行统一处理，做出两个LMDB文件，供卷积神经网络训练使用；搭建一个五层的卷积神经网络模型，将两个LMDB文件输入网络进行训练，通过数十万次的参数迭代，使得损失函数值收敛到一个最小值，将收敛时的神经网络模型状态保存，得到一个高精度的箱号字符识别模型。
进一步，所述S3步骤中，后处理包括有：对识别箱号中的前4位字母与后7位数字进行后处理，相似字符识别结果根据其位置确定准确识别结果；对识别的箱号进行校验，校验正确则输出箱号，否则，根据对错误识别结果的总结，调整个别常箱号字符识别结果，再一次进行校验输出。
本发明与现有技术相比，其有益效果为：
1、使用基于字符边框方法与投影法相结合的分割方法，能够准确的应对各类字符变形、残缺、粘连等状况，完整提取出单个字符；
2、使用五层卷积神经网络进行字符分类识别，使得整个系统对于11位字符的识别时间控制在0.94s以内，能够实时对图像识别输出；同时由于卷积神经网络优异的泛化能力，对各类形变字符有很好的识别能力，使得整个系统的识别率得到提高；
3、有效减少了人工校验记录成本，减少了集装箱流转时间，加快了港口工作效率。
为了能更清晰的理解本发明，以下将结合附图说明详细阐述本发明的具体实施方式。
附图说明
图1是本发明的识别方法的流程框图。
图2是图1中集装箱箱号定位方法的流程框图。
图3是图1中箱号字符分割方法的流程框图。
图4a至4b是本发明实施例集装箱箱号定位的效果示意图。
图5a至5f是本发明实施例粘连箱号字符分割的效果示意图。
图6a至6b是本发明实施例残缺箱号字符分割的效果示意图。
图7是本发明五层卷积神经网络模型结构示意图。
备注说明：图4a为列箱号示意图，图4b为行箱号示意图；图5a为集装箱原图定位示意图，图5b为箱号二值化示意图，图5c是投影直方图，图5d是边框法示意图，图5e是边框修整示意图，图5f是分割字符图像示意图；图6a是矫正矩形框示意图，图6b是分割字符效果示意图。
具体实施方式
如图1所示为本发明所述集装箱箱号识别方法的流程框图，其包括的具体步骤如下。
S101步骤，获取摄像头拍摄的集装箱图片。
S102步骤，将拍摄的图像输入识别系统后，系统先定位出集装箱箱号，输出箱号定位矩形框区域的四个坐标；该S102步骤详细步骤由一系列的图像处理步骤组成。在一个可选的实例中，具体过程如下所述，参见附图2：
S201步骤为接收RGB图片信息。
S202步骤为对RGB箱号图片进行灰度化处理：由闸口拍摄的图像为尺寸固定的8位彩色RGB图像，而灰度图像只需要单通道的8位灰度级像素点表示，所需存储空间只需彩色图片中的三分之一，使得整个识别系统的运算量大大减少，可以缩短了系统耗时，灰度化处理的公式如下式，RGB表示对应三通道的值，Grey＝0.2989*R+0.5870*G+0.1140*B。
S203步骤为使用高斯滤波器对S202得到的灰度图像进行滤波去噪处理，通过使用一个二维的高斯核算子与图像区域做卷积运算处理，达到去除细节与噪声，使得图像模糊化，二维高斯公式为：式中选用5*5的高斯核，标准差σ为1.5。
S204步骤为使用Canny边缘检测算子，检测S203步骤滤波输出图像中的所有边缘，并进行箱号候选区域筛选，Canny算子得到的边缘图像效果最好，边缘较窄且清晰，字符边缘连接完整，同时各字符之间不易粘连；在Canny边缘检测算法中需要使用两个阈值检测强边缘与弱边缘，本实施例选取的两个阈值公式如下：式中ThresMax与ThresMin为图像的最大与最小灰度值；对该步骤检测得到的所有边缘进行矩形框筛选，将符合字符宽、高、宽高比、面积的矩形框进行筛选保留。
S205步骤为对步骤S204筛选得到的所有矩形框，在灰度图中使用一个大矩形将其整体分割出来，例如在箱号侧面图片中，候选区域只占整体图像的很小一部分，将其分割出来对候选步骤能过减少计算量与内存。
S206步骤为在S205步骤提取的候选区域进行形态学处理，将候选字符框进行融合，使得箱号的11位分散字符能够连接起来，通过对融合后的区域长与高进行筛选能够准确定位出箱号区域；该步骤中，首先对筛选出的边框进行集装箱行箱号检测，若没有符合特征的检测结果，则进行集装箱列箱号检测，第一步是先进行膨胀，将相邻的字符区域进行连接，再进行腐蚀，使集装箱背部的噪声区域不连接到集装箱号，之后再膨胀一次，使得集装箱号中英文字符、箱体注册码与验证码之间能够连接起来，最后进行边框条件筛选，符合箱号整体的长度或者高度的区域将被定位出来；对于行集装箱号，结构元水平值大于竖直方向，列结构元相反；行箱号检测与列箱号检测使用的腐蚀与膨胀结果元的大小互为颠倒，在行箱号检测中，结果元水平方向尺寸较大，竖直方向较小，本发明竖直方向取2；列箱号相反。
S207步骤为将S206步骤定位出的箱号矩形框区域的四个坐标输出，在本实施方式中，该过程得到的箱号定位效果如图4a所示。至此，本发明已能够准确的定位出集装箱箱号区域。
S103步骤，根据定位出的箱号区域，将其单独分割出来，对其进行透视变换与二值化处理，再利用基于字符边框信息与投影法相结合的方法，将11位箱号单独分割出来，并将其统一字符格式。在一个可选的实例中，具体过程如下所述，参见附图3。
S301步骤为接收S207步骤中输出的四个箱号区域坐标。
S302步骤为箱号区域提取，将定位后的区域从整张灰度图中提取出来进行单个箱号字符分割。
S303步骤为对S302步骤提取出的箱号区域图片进行透视变换处理，在实际情况中，图片的集装箱箱号可能不在水平或者竖直方向上，常常与此方向上存在一定夹角，如图4b中显示，箱号与水平方向存在一定夹角，这种现象称为透视现象，透视现象的产生是由于拍照设备的原因，拍摄时镜头与目标存在一定的角度或高度造成的畸变现象，对于这种现象，可以使用透视变换对箱号区域进行单独的畸变矫正。
透视变换是将图片投影到一个全新的坐标空间，也称作投影映射，它是二维(x，y)转换到三维(X，Y，Z)，再到降维到另一个二维(x′，y′)空间的映射，下面公式为投射到(X,Y,Z)空间变换公式，通过乘以一个系数矩阵转换：
以下公式为三维(X，Y，Z)降维到另一个二维(x′，y′)空间的映射公式：
经过透视变换后的箱号区域，所有箱号都在一条直线上，方便后续处理。
S304步骤为箱号二值化，对S303步骤矫正并分割出来的集装箱箱号，在进行字符分割前，需要进行一些预处理；从箱号灰度图像中可以看出，箱号与背景对比度高，应对图片进行图像二值化，突出箱号区域，对字符分割做准备。
图像二值化是将图像上的所有像素点的灰度值根据一定规则统一设置为0或255，是后续图像处理技术的基础，从256个灰度级强制减少到只有黑、白2个灰度级，所以二值化的过程是图像信息丢失的过程；通常，直接在灰度图像上进行图像处理，时间难以接受，而在二值化图像上做图像处理速度可以大大提高；根据分割提取出的箱号灰度图片，箱号字符与背景对比明显，且背景区域灰度级较稳定，所以选择大津法(Otsu)，该方法利用图像的灰度分布特性，通过使用聚类思想，将图像划分为背景和目标两个部分，并计算此背景与目标之间的类间方差；类间方差值越大则表示构成图像的背景与目标的差异越大，也就越容易区分出背景与目标；如果两部分被错误划分都会导致背景与目标差别比实际差别小；所以，通过使类间方差最大的分割表示错误划分概率最小，是一种最优化方法。在本实施方式中，该步骤得到了图像为图5所示。
图片二值化之后，分别进行两个步骤：步骤S305与步骤S306：
S305步骤为基于边框的字符扫描，该步骤使用Canny边缘检测算子检测字符整体边缘，并对其转换为字符矩形框，对于字符之间间隙明显、没有残缺粘连的箱号，可以使用矩形框一次定位出11位字附，并分割出来，但是对于粘连与残缺字符，效果不如预期。
S306步骤使用投影法对二值化图片进行投影分析，对于行箱号使用竖直方向投影，列箱号使用水平方向投影，透过灰度直方图投影，扫描出每个灰度分布之间的投影间隙，保存为分割点，通过分割点之间的灰度分布确定出每个字符的左右分割点，该步骤不能确定粘连字符的分割点。
通过融合S305步骤与S306步骤得到的信息，可以找出不符合字符特征的边框与边缘分割点。
S307步骤为将S305步骤得到的矩形框的左右分割信息与S306步骤得到的分割点信息进行融合，将相互之间吻合，且符合字符宽度特征的边框为正确边框，该部分边框可以直接完整分割出单个箱号字符；对于不相符的边框与分割点分S308步骤和S309步骤两类情况考虑：
S308步骤对于残缺字符，会产生多个不连接的部分，基于边框的方法将每个小部分单独定位。将S307步骤使用投影法得到的分割点对此部分多个边框进行融合，并在垂直方向使用投影法确定字符高度，将残缺的字符部分划归到一个矩形框中；此步骤的一个实施例如图6所示，箱号的前三位字符都有残缺，第三位字符“L”使用投影法将得到2组分割点，第一位字符“T”使用边框法将得到上下2个边框。
S309步骤对于粘连的字符先进行重扫描，并减去一个阈值，对于轻微粘连字符，通过减去一个阈值，可以得到清晰的分割点，但粘连严重的字符，其投影结果难以发现分割点；此时使用S307步骤中保存的正确字符边框进行字符特征提取，如字符宽、高的中位数，使用得到的宽(行箱号)中位数或高(列箱号)对粘连字符进行宽度划分，通过对已矫正与正确边框的计数，结合粘连部分对中位数取整运算可以确定出粘连字符中存在几位字符；此步骤的一个实施例如图5所示，图5c中箱号的第三位与第四位字符粘连，其投影直方图中难以找的分割点，边框法也将粘连划归到一个边框，通过S309步骤得到的边框修正图如图5e所示，进一步得到的分割字符如图5f所示；通常箱号的第11位字符由一个边框包含，通过使用S309步骤中的字符宽与高的中位数对第11位的矩形框进行调整，达到去除边框的效果。
S104步骤，基于卷积神经网络的箱号字符识别，使用收集到的大量箱号字符图片，搭建一个五层的卷积神经网络模型并训练，提取每类字符的高维特征，得到一个高精度识别模型。
收集的训练字符图片中，包含各种类型的字符形变、字符残缺粘连、白天光照变化、夜间补光处理等，同时集装箱背景也各不相同，如：集装箱主题颜色、箱体表面纹理、箱号字体等；考虑到个别字母与数字字符存在相似，如：字母O与数字0、字母I与数字1，对相似的字符全部归为一类，通过基于字符在箱号中的位置关系，使用后处理对其进行具体识别，达到减少训练时间与模型复杂度，提高相似字符识别率。
S104步骤训练数据为每类共2000张32*16的BMP格式图片，共32类，其中1700张用于训练卷积神经网络，剩下的300张用于测试神经网络。训练前，将训练数据与测试数据分别随机打乱顺序，经过预处理统一做成LMDB文件，避免卷积神经网络模型对每张图片进行读取造成训练缓慢。
如图7所示，卷积神经网络模型共有五层(不含池化层)，第一层为具有6个卷积核的卷积层C1，步长为1，卷积核为5*5。因为输入图像中字符紧凑，在输入图像边界上也存在着重要信息，所有用0填充输入图像的边界，使输入到卷积层的输入格式为36*20，使得输入图像的边界特征信息在卷积层中也能得到基于卷积神经网络的集装箱箱号识别系统充分考虑。卷积核尺寸为5*5，输入图像进行相邻卷积时的像素区域重叠面积大，使得每个像素都得到充分利用，配合其后的最大值池化层，使得每个输出值得感受野为6*6，能够很好的表达图像特征。池化层S1后再继续使用一个卷积层C2，卷积核大小还使用5*5，采用50层特征图输出。其后是一个最大值池化层S2。接着是两层全连接层，将得到的特征图展开为一个固定长度的一维向量输入到第一层全连接层中。F1参数占整个网络的87.8％，两层全连接层参数一共占总数的98.7％，是整个网络训练的绝对主要部分。
S105步骤，识别结果检验，对S104步骤识别的结果根据箱号顺序进行箱号规则校验，判断其识别结果是否正确。
该步骤中，通过箱号位置对相似字符进行分别，如字母0与数字0，如果其字符位置在前四位，即箱主码中，则为字母O；如果其在后7位，则为数字0。集装箱箱号的前十位生成规如下公式所示，character表示选择的字符，[character]表示该字符对应的数值，每一个字符都有一个专门对应的数值，length表示该字符在箱号中的位置。
codelength＝[character]×2length-1 length∈[1，10]
第十一位的检验码生成规则为：
S106步骤，后处理步骤，即有些字符因为形变较大，使得卷积神经网络难以识别，这些字符是误差的主要来源。通过对大量字符的识别验证，结合字母与数字相互位置分离的特点，总结了一些错误识别的规律，如：数字位中9会识别为B、数字位中1会识别为T。这些错误对于人眼观察也难以识别，但可以通过总结错误规律，很好的改正错误，提高系统的识别准确率。
本发明并不局限于上述具体实施方式，如果对本发明的各种改动或变型不脱离本发明的精神和范围，倘若这些改动和变型属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。
Claims (7)
1.一种基于卷积神经网络分类的集装箱箱号识别方法，其特征在于包括有以下步骤：
S1、获取集装箱不同方向的RGB图像，通过对RGB图像进行灰度化处理、高斯滤波处理、边缘检测处理和形态学处理一系列预处理，从而对图像中的集装箱箱号区域进行定位；
S2、对S1步骤中已经定位的箱号区域进行透视变换与二值化处理，通过基于字符边框与投影法相结合的处理方法，对各类箱号字符进行准确分割；
S3、将S2步骤中分割好的箱号字符按照其在箱号中的位置顺序，输入预设好的五层卷积神经网络模型，将识别结果进行组合，通过后处理得到准确的集装箱箱号。
2.根据权利要求1所述一种基于卷积神经网络分类的集装箱箱号识别方法，其特征在于：所述S1步骤中，
采用以下公式对获取的RBG图像进行灰度化处理，以减小图像大小，降低系统识别全过程的计算量：
Grey＝0.2989*R+0.5870*G+0.1140*B,式中R、G和B表示图像三通道数值；
采用以下公式对上述灰度图像进行滤波，以去除细节和噪声，使得图像模糊化：
公式采用5*5高斯核，标准差σ为1.5。
3.根据权利要求2所述一种基于卷积神经网络分类的集装箱箱号识别方法，其特征在于：所述S1步骤中，
采用以下Canny边缘检测算法，对上述滤波后的图像进行边缘检测，根据箱号的高度、宽度和面积特征对边缘矩形框进行筛选，得到箱号候选区域：
式中ThresMax与ThresMin为图像的最大与最小灰度值；
采用形态学对上述箱号候选区域进行腐蚀与膨胀操作，使得分离的箱号字符边框相互连接，通过对连接后的区域进行箱号长、高特征筛选，将箱号区域定位出来，达到集装箱箱号定位效果。
4.根据权利要求3所述一种基于卷积神经网络分类的集装箱箱号识别方法，其特征在于：所述S2步骤中，
对已经定位出的箱号区域使用透视变换，使得箱号在水平或竖直方向上，并分割出透视变换后的箱号区域；
使用大津法对分割出的箱号区域图像求得最佳阈值，使用该阈值对箱号区域进行二值化处理。
5.根据权利要求4所述一种基于卷积神经网络分类的集装箱箱号识别方法，其特征在于：所述S2步骤中，
采用基于字符边框的方法，对上述二值化处理的图像进行处理，得到所有的字符边框信息；
同时采用投影法对上述二值化处理的图像进行扫描，得到存在的所有字符的分割点；
将上述两种方法处理后的信息进行对比融合，筛选出错误边框，利用正确边框特征信息，对错误边框进行融合与分离，分割出残缺与粘连字符。
6.根据权利要求5所述一种基于卷积神经网络分类的集装箱箱号识别方法，其特征在于：所述S3步骤中，五层卷积神经网络模型训练搭建包括有：
对大量的集装箱进行箱号字符分割，得到包含各个角度、各类形变、残缺和光照变化的字符图片；对得到的字符图片数据集进行识别分类，对相似的字符分作一类，随机选择出每类样本中的若干图像分为测试集和训练数据集，对所有类的测试集和训练数据集分别进行统一处理，做出两个LMDB文件，供卷积神经网络训练使用；
搭建一个五层的卷积神经网络模型，将两个LMDB文件输入网络进行训练，通过数十万次的参数迭代，使得损失函数值收敛到一个最小值，将收敛时的神经网络模型状态保存，得到一个高精度的箱号字符识别模型。
7.根据权利要求6所述一种基于卷积神经网络分类的集装箱箱号识别方法，其特征在于：所述S3步骤中，后处理包括有：对识别箱号中的前4位字母与后7位数字进行后处理，相似字符识别结果根据其位置确定准确识别结果；对识别的箱号进行校验，校验正确则输出箱号，否则，根据对错误识别结果的总结，调整个别常箱号字符识别结果，再一次进行校验输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810332166.1A CN108596166B (zh) | 2018-04-13 | 2018-04-13 | 一种基于卷积神经网络分类的集装箱箱号识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810332166.1A CN108596166B (zh) | 2018-04-13 | 2018-04-13 | 一种基于卷积神经网络分类的集装箱箱号识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108596166A true CN108596166A (zh) | 2018-09-28 |
| CN108596166B CN108596166B (zh) | 2021-10-26 |
Family
ID=63622407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810332166.1A Active CN108596166B (zh) | 2018-04-13 | 2018-04-13 | 一种基于卷积神经网络分类的集装箱箱号识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596166B (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492448A (zh) * | 2018-11-13 | 2019-03-19 | 国网河北省电力有限公司电力科学研究院 | 标签编码一致性校验方法及装置 |
| CN109583446A (zh) * | 2018-12-10 | 2019-04-05 | 中化地质矿山总局江苏地质勘查院 | 基于人工神经网络的土样盒号识别系统及方法 |
| CN109583449A (zh) * | 2018-10-29 | 2019-04-05 | 深圳市华尊科技股份有限公司 | 字符识别方法及相关产品 |
| CN109740607A (zh) * | 2018-12-26 | 2019-05-10 | 南京互连智能科技有限公司 | 字符图像的残缺区域检测和残缺字符图像恢复方法 |
| CN110119742A (zh) * | 2019-04-25 | 2019-08-13 | 添维信息科技(天津)有限公司 | 一种集装箱号的识别方法、装置及移动终端 |
| CN110210433A (zh) * | 2019-06-10 | 2019-09-06 | 南京大学 | 一种基于深度学习的集装箱箱号检测与识别方法 |
| CN110286415A (zh) * | 2019-07-12 | 2019-09-27 | 广东工业大学 | 安检违禁品检测方法、装置、设备及计算机可读存储介质 |
| CN110321884A (zh) * | 2019-06-13 | 2019-10-11 | 贝式计算(天津)信息技术有限公司 | 编号识别的方法及装置 |
| CN110414318A (zh) * | 2019-06-13 | 2019-11-05 | 北京数智源科技有限公司 | 大场景下集装箱号识别方法 |
| WO2019241134A1 (en) * | 2018-06-15 | 2019-12-19 | Siemens Healthcare Diagnostics Inc. | Specimen container characterization using a single deep neural network in an end-to-end training fashion |
| CN110598697A (zh) * | 2019-08-23 | 2019-12-20 | 上海撬动网络科技有限公司 | 一种基于粗细字符定位的集装箱箱号定位方法 |
| CN110688999A (zh) * | 2019-10-08 | 2020-01-14 | 郑州迈拓信息技术有限公司 | 马赫带效应模拟的点光源金属钢印文字检测方法 |
| CN110852324A (zh) * | 2019-08-23 | 2020-02-28 | 上海撬动网络科技有限公司 | 一种基于深度神经网络集装箱箱号检测方法 |
| CN110969054A (zh) * | 2018-09-29 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 一种集装箱箱号识别方法及装置 |
| CN111027538A (zh) * | 2019-08-23 | 2020-04-17 | 上海撬动网络科技有限公司 | 一种基于实例分割模型的集装箱检测方法 |
| CN111414844A (zh) * | 2020-03-17 | 2020-07-14 | 北京航天自动控制研究所 | 一种基于卷积循环神经网络的集装箱箱号识别方法 |
| CN111507316A (zh) * | 2020-01-17 | 2020-08-07 | 杭州东方通信软件技术有限公司 | 一种光交箱智能识别方法及系统 |
| CN111563500A (zh) * | 2020-04-10 | 2020-08-21 | 福建电子口岸股份有限公司 | 一种箱号识别方法和装置 |
| CN112149668A (zh) * | 2020-09-23 | 2020-12-29 | 北京智通云联科技有限公司 | 带有边痕的喷码识别方法及系统 |
| CN112200177A (zh) * | 2020-07-21 | 2021-01-08 | 山东文多网络科技有限公司 | 一种基于提单扫描件大数据的单号识别方法及装置 |
| CN112257830A (zh) * | 2020-10-23 | 2021-01-22 | 上海烟草集团有限责任公司 | 一种烟箱信息识别方法及系统 |
| CN113269983A (zh) * | 2021-05-19 | 2021-08-17 | 北京果枝众合科技有限公司 | 一种智慧园区新能源汽车停车位管理系统 |
| CN113903018A (zh) * | 2021-03-22 | 2022-01-07 | 南京中理外轮理货有限公司 | 一种基于神经网络的集装箱号识别方法 |
| CN113971811A (zh) * | 2021-11-16 | 2022-01-25 | 北京国泰星云科技有限公司 | 一种基于机器视觉和深度学习的集装箱特征智能识别方法 |
| CN114529893A (zh) * | 2021-12-22 | 2022-05-24 | 电子科技大学成都学院 | 集装箱编码识别方法及装置 |
| CN115527209A (zh) * | 2022-09-22 | 2022-12-27 | 宁波港信息通信有限公司 | 用于岸桥箱号识别的方法、装置、系统和计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060123051A1 (en) * | 2004-07-06 | 2006-06-08 | Yoram Hofman | Multi-level neural network based characters identification method and system |
| CN101650780A (zh) * | 2009-09-08 | 2010-02-17 | 宁波中科集成电路设计中心有限公司 | 一种集装箱箱号识别方法 |
| CN106203417A (zh) * | 2016-07-12 | 2016-12-07 | 北京科技大学 | 一种粘连字符可分割的人民币冠字号识别方法 |
| CN106203237A (zh) * | 2015-05-04 | 2016-12-07 | 杭州海康威视数字技术股份有限公司 | 集装箱拖车编号的识别方法和装置 |
| CN107832767A (zh) * | 2017-11-14 | 2018-03-23 | 深圳码隆科技有限公司 | 集装箱箱号识别方法、装置及电子设备 |
-
2018
- 2018-04-13 CN CN201810332166.1A patent/CN108596166B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060123051A1 (en) * | 2004-07-06 | 2006-06-08 | Yoram Hofman | Multi-level neural network based characters identification method and system |
| CN101650780A (zh) * | 2009-09-08 | 2010-02-17 | 宁波中科集成电路设计中心有限公司 | 一种集装箱箱号识别方法 |
| CN106203237A (zh) * | 2015-05-04 | 2016-12-07 | 杭州海康威视数字技术股份有限公司 | 集装箱拖车编号的识别方法和装置 |
| CN106203417A (zh) * | 2016-07-12 | 2016-12-07 | 北京科技大学 | 一种粘连字符可分割的人民币冠字号识别方法 |
| CN107832767A (zh) * | 2017-11-14 | 2018-03-23 | 深圳码隆科技有限公司 | 集装箱箱号识别方法、装置及电子设备 |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11763461B2 (en) | 2018-06-15 | 2023-09-19 | Siemens Healthcare Diagnostics Inc. | Specimen container characterization using a single deep neural network in an end-to-end training fashion |
| WO2019241134A1 (en) * | 2018-06-15 | 2019-12-19 | Siemens Healthcare Diagnostics Inc. | Specimen container characterization using a single deep neural network in an end-to-end training fashion |
| CN110969054A (zh) * | 2018-09-29 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 一种集装箱箱号识别方法及装置 |
| CN110969054B (zh) * | 2018-09-29 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 一种集装箱箱号识别方法及装置 |
| CN109583449A (zh) * | 2018-10-29 | 2019-04-05 | 深圳市华尊科技股份有限公司 | 字符识别方法及相关产品 |
| CN109492448A (zh) * | 2018-11-13 | 2019-03-19 | 国网河北省电力有限公司电力科学研究院 | 标签编码一致性校验方法及装置 |
| CN109583446A (zh) * | 2018-12-10 | 2019-04-05 | 中化地质矿山总局江苏地质勘查院 | 基于人工神经网络的土样盒号识别系统及方法 |
| CN109740607A (zh) * | 2018-12-26 | 2019-05-10 | 南京互连智能科技有限公司 | 字符图像的残缺区域检测和残缺字符图像恢复方法 |
| CN109740607B (zh) * | 2018-12-26 | 2023-07-21 | 南京互连智能科技有限公司 | 字符图像的残缺区域检测和残缺字符图像恢复方法 |
| CN110119742A (zh) * | 2019-04-25 | 2019-08-13 | 添维信息科技(天津)有限公司 | 一种集装箱号的识别方法、装置及移动终端 |
| CN110119742B (zh) * | 2019-04-25 | 2023-07-07 | 添维信息科技(天津)有限公司 | 一种集装箱号的识别方法、装置及移动终端 |
| CN110210433A (zh) * | 2019-06-10 | 2019-09-06 | 南京大学 | 一种基于深度学习的集装箱箱号检测与识别方法 |
| CN110414318A (zh) * | 2019-06-13 | 2019-11-05 | 北京数智源科技有限公司 | 大场景下集装箱号识别方法 |
| CN110321884A (zh) * | 2019-06-13 | 2019-10-11 | 贝式计算(天津)信息技术有限公司 | 编号识别的方法及装置 |
| CN110286415A (zh) * | 2019-07-12 | 2019-09-27 | 广东工业大学 | 安检违禁品检测方法、装置、设备及计算机可读存储介质 |
| CN110852324A (zh) * | 2019-08-23 | 2020-02-28 | 上海撬动网络科技有限公司 | 一种基于深度神经网络集装箱箱号检测方法 |
| CN111027538A (zh) * | 2019-08-23 | 2020-04-17 | 上海撬动网络科技有限公司 | 一种基于实例分割模型的集装箱检测方法 |
| CN110598697A (zh) * | 2019-08-23 | 2019-12-20 | 上海撬动网络科技有限公司 | 一种基于粗细字符定位的集装箱箱号定位方法 |
| CN110688999A (zh) * | 2019-10-08 | 2020-01-14 | 郑州迈拓信息技术有限公司 | 马赫带效应模拟的点光源金属钢印文字检测方法 |
| CN110688999B (zh) * | 2019-10-08 | 2020-08-28 | 合肥海诺恒信息科技有限公司 | 马赫带效应模拟的点光源金属钢印文字检测方法 |
| CN111507316A (zh) * | 2020-01-17 | 2020-08-07 | 杭州东方通信软件技术有限公司 | 一种光交箱智能识别方法及系统 |
| CN111414844B (zh) * | 2020-03-17 | 2023-08-29 | 北京航天自动控制研究所 | 一种基于卷积循环神经网络的集装箱箱号识别方法 |
| CN111414844A (zh) * | 2020-03-17 | 2020-07-14 | 北京航天自动控制研究所 | 一种基于卷积循环神经网络的集装箱箱号识别方法 |
| CN111563500A (zh) * | 2020-04-10 | 2020-08-21 | 福建电子口岸股份有限公司 | 一种箱号识别方法和装置 |
| CN112200177A (zh) * | 2020-07-21 | 2021-01-08 | 山东文多网络科技有限公司 | 一种基于提单扫描件大数据的单号识别方法及装置 |
| CN112149668A (zh) * | 2020-09-23 | 2020-12-29 | 北京智通云联科技有限公司 | 带有边痕的喷码识别方法及系统 |
| CN112257830A (zh) * | 2020-10-23 | 2021-01-22 | 上海烟草集团有限责任公司 | 一种烟箱信息识别方法及系统 |
| CN113903018A (zh) * | 2021-03-22 | 2022-01-07 | 南京中理外轮理货有限公司 | 一种基于神经网络的集装箱号识别方法 |
| CN113269983A (zh) * | 2021-05-19 | 2021-08-17 | 北京果枝众合科技有限公司 | 一种智慧园区新能源汽车停车位管理系统 |
| CN113971811A (zh) * | 2021-11-16 | 2022-01-25 | 北京国泰星云科技有限公司 | 一种基于机器视觉和深度学习的集装箱特征智能识别方法 |
| CN114529893A (zh) * | 2021-12-22 | 2022-05-24 | 电子科技大学成都学院 | 集装箱编码识别方法及装置 |
| CN115527209A (zh) * | 2022-09-22 | 2022-12-27 | 宁波港信息通信有限公司 | 用于岸桥箱号识别的方法、装置、系统和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108596166B (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596166A (zh) | 一种基于卷积神经网络分类的集装箱箱号识别方法 | |
| CN107545239B (zh) | 一种基于车牌识别与车辆特征匹配的套牌检测方法 | |
| CN104751187B (zh) | 抄表图像自动识别方法 | |
| Wen et al. | An algorithm for license plate recognition applied to intelligent transportation system | |
| CN104751142B (zh) | 一种基于笔划特征的自然场景文本检测方法 | |
| CN104700092B (zh) | 一种基于模板和特征匹配相结合的小字符数字识别方法 | |
| CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| CN102024144A (zh) | 集装箱箱号自动识别方法 | |
| CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
| CN103034848B (zh) | 一种表单类型的识别方法 | |
| CN102629322B (zh) | 一种基于边界点笔画形状的字符特征提取方法及应用 | |
| CN110119741A (zh) | 一种有背景的卡证图像信息识别方法 | |
| CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
| CN108197644A (zh) | 一种图像识别方法和装置 | |
| CN111539330B (zh) | 一种基于双svm多分类器的变电站数显仪表识别方法 | |
| CN111626249B (zh) | 题目图像中几何图形的识别方法、装置和计算机存储介质 | |
| CN109784341A (zh) | 一种基于lstm神经网络的医疗单据识别方法 | |
| CN107195069A (zh) | 一种人民币冠字号自动识别方法 | |
| CN110689003A (zh) | 低照度成像车牌识别方法、系统、计算机设备及存储介质 | |
| CN112580383A (zh) | 二维码识别方法、装置、电子设备及存储介质 | |
| CN111626145A (zh) | 一种简捷有效的残缺表格识别及跨页拼接方法 | |
| WO2022121021A1 (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| CN110766001B (zh) | 基于cnn和rnn的银行卡卡号定位与端到端识别方法 | |
| CN108205678A (zh) | 一种含有亮斑干扰的铭牌文字识别处理方法 | |
| CN114445814B (zh) | 一种字符区域提取方法、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |