CN113792780B - 基于深度学习和图像后处理的集装箱号识别方法 - Google Patents

基于深度学习和图像后处理的集装箱号识别方法 Download PDF

Info

Publication number
CN113792780B
CN113792780B CN202111056947.0A CN202111056947A CN113792780B CN 113792780 B CN113792780 B CN 113792780B CN 202111056947 A CN202111056947 A CN 202111056947A CN 113792780 B CN113792780 B CN 113792780B
Authority
CN
China
Prior art keywords
container number
box
network
image
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111056947.0A
Other languages
English (en)
Other versions
CN113792780A (zh
Inventor
陈平平
游索
陈锋
陈宏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111056947.0A priority Critical patent/CN113792780B/zh
Publication of CN113792780A publication Critical patent/CN113792780A/zh
Application granted granted Critical
Publication of CN113792780B publication Critical patent/CN113792780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习和图像后处理的集装箱号识别方法，包括以下步骤：步骤S1:获取包含集装箱箱号区域的图片并预处理，构建集装箱号数据集；步骤S2:构建YOLOv3网络并训练；步骤S3:基于训练好的YOLOv3网络获取集装箱号初始框定区域,并结合CRAFT网络输出的文本区域分,输出集装箱箱号区域截取；步骤S4:基于LeNet5网络，构建用于集装箱号码识别的网络；步骤S5:将集装箱箱号区域截取输入用于集装箱号码识别的网络，得到最终的识别结果。本发明可输出任意方向的矩形框，实现更加精准的箱号检测，有效的解决了箱号区域内多余的背景和干扰字符的问题。

Description

基于深度学习和图像后处理的集装箱号识别方法
技术领域
本发明涉及计算机视觉领域，涉及一种基于深度学习和图像后处理的集装箱号识别方法。
背景技术
随着国际贸易和社会经济的迅速发展，我国对物流运输行业的需求日益增长，集装箱作为货物运输的重要运载容器，在整个运输体系的方式占有举足轻重的地位。为实现大规模集装箱运输及管理的自动化、信息化和智能化，设计一个精准、高效集装箱箱号的识别系统显得尤为重要。
传统常用的集装箱箱号检测方法有基于边缘检测、基于数学形态学和基于最大稳定极值区域(MSER)三种，如文献[1]黄深广,翁茂,史俞,等.基于计算机视觉的集装箱箱号识别[J].港口装卸.2018(1):1－4提出基于字符边缘特征的定位方法,利用字符的边缘特征信息来对集装箱号进行定位,然而边缘特征的方法适用于字符边界明显、背景简单的箱号区域，对于图像模糊的，背景杂乱的集装箱号图像效果并不佳；文献[2]王炎,贺俊吉.基于数学形态学的集装箱箱号快速定位算法[J].计算机工程与设计,2015,36(08):2162-2166提出了一种基于数学形态学的箱号定位方法，利用膨胀、腐蚀等基本运算处理图像，改进行列自适应数学形态学结构元素对箱号进行粗定位，当图片背景杂乱，图片噪声过多时，就难以检测出来；文献[3]沈寒蕾，徐婕，邹斌.基于MSER的集装箱号低秩矫正研究[J].工程数学学报.2018(2):123－136提出了最大稳定极值区域的方法，通过灰度化的方法得到最大稳定极值区域，再进行后处理，从而达到对集装箱号定位的目的。上述传统的图像学处理方法因为图片复杂的背景、图片噪声等因素，箱号检测难免有一定的局限性，且检测速度相对较低。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习和图像后处理的集装箱号识别方法，有效的解决了箱号区域内多余的背景和干扰字符的问题。
为实现上述目的，本发明采用如下技术方案：
一种基于深度学习和图像后处理的集装箱号识别方法，包括以下步骤：
步骤S1:获取包含集装箱箱号区域的图片并预处理，构建集装箱号数据集；
步骤S2:构建YOLOv3网络并训练；
步骤S3:基于训练好的YOLOv3网络获取集装箱号初始框定区域,并结合CRAFT网络输出的文本区域分,输出集装箱箱号区域截取；
步骤S4:基于LeNet5网络，构建用于集装箱号码识别的网络；
步骤S5:将集装箱箱号区域截取输入用于集装箱号码识别的网络，得到最终的识别结果。
进一步的，所述步骤S1具体为：
步骤S11:分析集装箱号要检测和识别的类型，确定包含该类信息的图片为训练图片；
步骤S12:采集集装箱数据集；
步骤S13:利用LabeIimg_windows，标注集装箱号码区域，将号码区域矩形框的位置信息与分类信息以xml文件形式保存，得到初始集装箱号数据集；
步骤S14:对初始集装箱号数据集进行数据增强处理，得到集装箱号数据集。
进一步的，所述集装箱号要检测和识别的类型包括横向和纵向方向的集装箱号。
进一步的，所述步骤S2具体为：
步骤S21:采用深度学习框架darknet-53进行训练，初始参数设定为：
初始学习-learning rate：0.001；
权重衰减系数-decay：0.0005；
冲量常数-momentum：0.9；
训练世代-epoch：50
步骤S22:对训练集的标注框,利用K-means聚类生成YOLOv3网络训练所需的Anchor Boxes,针对检测三种不同尺寸的集装箱号，共生成9个Anchor Box；
步骤S23:利用Anchor Boxes得到预测边界框Bounding Box，并通过逻辑回归预测出边界框内有物体的概率分数，每个Bounding Box输出(x，y，w，h，confidence)五个基本参数，以及i个预测类别参数；
其中，(x，y)是边界框的中心坐标，(w，h)为边界框的宽高，confidence为置信度，i表示本次YOLOv3预测的类别个数；
步骤S24:计算损失值：
步骤S25:开始训练，训练结束后保存权重文件。
步骤S26:利用步骤S35保存权重文件检测待识别图片，得到YOLOv3检测的坐标数据。
进一步的，所述损失值计算，具体如下：
Figure BDA0003255034260000041
Figure BDA0003255034260000042
Figure BDA0003255034260000043
Loss＝lbox+lobj+lcls
其中lbox表示Bounding Box坐标预测的损失函数，λcoord为权重值，S2表示网格数，对应三种不同大小的特征图，S2值分别为13×13，26×26，52×52，B表示Box，代表边界预测框，i表示第i个网格，j表示该网格类的第j个边界预测框，
Figure BDA0003255034260000051
表示判断网格i中的第j个边界框是否预测到了正确的类别，/>
Figure BDA0003255034260000052
分别表示第i个网格内预测框的x、y坐标，真实框x、y坐标,/>
Figure BDA0003255034260000053
分别表示预测框的宽、高和输入图像的宽、高,这里的值都是归一化后的值，取值范围为0～1.lobj表示置信度损失函数，λnoobj为权重值,/>
Figure BDA0003255034260000054
网格i中的第j个边界框预测到了正确的类别,/>
Figure BDA0003255034260000055
网格i中的第j个边界框未预测到正确的类别,Ci表示第i个框含有物体的置信度，第一个/>
Figure BDA0003255034260000056
为1，第二个/>
Figure BDA0003255034260000057
为0；lcls表示物体类别的损失函数，
Figure BDA0003255034260000058
网格i中的第j个边界框预测到了正确的类别，pi(c)表示c为正确类的概率，当c为正确类别时，/>
Figure BDA0003255034260000059
否则/>
Figure BDA00032550342600000510
将三个损失函数相加，就得到了网络总的损失函数。
进一步的，所述步骤S3具体为：
步骤S31:将待识别图片输入CRAFT网络，输出图片的文本区域分；
步骤S32:遍历步骤S41生成的文本区域分图像的每一个像素点，获取字符中心点坐标；
步骤S33:利用最小二乘法对YOLOv3输出框内的字符中心点进行直线拟合，并将拟合的直线所在像素点的值设置为255；
步骤S34:将步骤S33处理后的文本区域分灰度图像进行二值化处理，利用连通域法得到拟合直线所在连通域，并利用最小外接矩形法得到该连通域最小外接矩形的坐标；
步骤S35:将步骤S34所得的坐标数据还原到原图坐标，并截取图像，获得检测结果。
进一步的，所述步骤S4具体为：
步骤S41:预处理检测截取图像，包括图像尺寸调整、图像灰度化、图像二值化；
步骤S42:统计步骤S41得到的二值图像的黑白像素点，得到筛选阈值，同时利用连通域方法，以该阈值筛选按照位置顺序得到单个字符；
步骤S43:将步骤S41得到的字符进行展宽、归一化处理，分类并保存起来，作为LeNet5网络字符训练集，训练结束后保存权重文件；在识别阶段，利用该权重识别单个字符；
步骤S44:在步骤S43挑选易识别混淆的字符，包括“I”和“T”、“O”和“D”，制作二分类数据集，训练得到新的权重，对上述识别到的字符进行二次分类。
本发明与现有技术相比具有以下有益效果：
本发明以YOLOv3网络检测的矩形框为初始目标框，结合CRAFT网络输出的文本区域分，利用最小二乘法以及连通域等方法优化初始目标框，可输出任意方向的矩形框，实现更加精准的箱号检测，有效的解决了箱号区域内多余的背景和干扰字符的问题。利用检测的流程采集原集装箱号码的单字符数据，并作为训练集，使得识别网络对集装箱号的识别更具针对性，识别效果更佳
附图说明
图1为本发明实施例的结构流程图。
图2为本发明实施例中步骤S1中采集部分数据集效果图。
图3为本发明实施例中步骤S41中CRAFT网络输出的文本区域分热图与原图。
图4为本发明实例中步骤S4优化YOLOv3初始框后处理流程图。
图5为本发明实施例中步骤S42中CRAFT文本区域分字符中心点像素示例图。
图6为本发明实施例中步骤S43中对中心点最小二乘法拟合直线过程图。
图7为本发明实施例中步骤S44连通域选取目标箱号区域过程示例图。
图8为本发明实施例中步骤S5构建箱号码识别的流程图。
图9为本发明实施例中步骤S53中连通域提取字符效果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于深度学习和图像后处理的集装箱号识别方法，包括以下步骤：
步骤S1:获取包含集装箱箱号区域的图片并预处理，构建集装箱号数据集；
步骤S2:构建YOLOv3网络并训练；
步骤S3:基于训练好的YOLOv3网络获取集装箱号初始框定区域,并结合CRAFT网络输出的文本区域分,输出集装箱箱号区域截取；
步骤S4:基于LeNet5网络，构建用于集装箱号码识别的网络；
步骤S5:将集装箱箱号区域截取输入用于集装箱号码识别的网络，得到最终的识别结果。
在本实施例中，步骤S1具体为：
步骤S11:分析集装箱号要检测和识别的类型，包括横向和纵向方向的集装箱号，确定包含该类信息的图片为训练图片；
步骤S12:采集集装箱数据集，如图2所示；；
步骤S13:利用LabeIimg_windows，标注集装箱号码区域，将号码区域矩形框的位置信息与分类信息以xml文件形式保存，得到初始集装箱号数据集；
步骤S14:设计图像处理方法增广数据集，包括图像旋转变换，图像尺度变换，图像拼接；保存经过图像变换后的图片，同时以txt文件格式保存变换后的标注坐标信息。
在本实施例中，所述步骤S2具体为：
步骤S21:采用深度学习框架darknet-53进行训练，初始参数设定为：
初始学习-learning rate：0.001；
权重衰减系数-decay：0.0005；
冲量常数-momentum：0.9；
训练世代-epoch：50
步骤S22:对训练集的标注框,利用K-means聚类生成YOLOv3网络训练所需的Anchor Boxes,针对检测三种不同尺寸的集装箱号，共生成9个Anchor Box；
优选的，在本实施例中，步骤S22，具体如下：
将数据集标签坐标数据，即Bounding box提取出来，并转化成宽和高的形式保存；
初始化9个Cluster box，在步骤S321中随机选取9个值作为聚类中心的初始值；
计算每个Bounding box与每个Cluster box的IOU值。IOU计算方法：通过Boundingbox与Cluster box得它们最小的高Hmin,最小的宽Wmin，
Sintersection＝Hmin×Wmin
Sunion＝Sbounding+Scluster-Sintersection
IOU＝Sintersection/Sunion
其中Hmin、Wmin分别为Bounding box与Cluster box最小的高和宽，Sbounding、Scluster分别为Bounding box和Cluster box的面积。
定义用来表示误差的距离参数d＝1-IOU，分别计算每个Bounding box到9个Cluster box的误差，比较每个Bounding box的9个误差的值，并将Bounding box分给误差最小对应的Cluster box；
分别计算每一个Cluster的box高宽的平均值，并作为新的聚类中心继续步骤S324，直到中心点不在变化，即为最终的聚类结果。
步骤S23:利用Anchor Boxes得到预测边界框Bounding Box，并通过逻辑回归预测出边界框内有物体的概率分数，每个Bounding Box输出(x，y，w，h，confidence)五个基本参数，以及i个预测类别参数；
其中，(x，y)是边界框的中心坐标，(w，h)为边界框的宽高，confidence为置信度，i表示本次YOLOv3预测的类别个数；
步骤S24:计算损失值：
Figure BDA0003255034260000101
Figure BDA0003255034260000102
Figure BDA0003255034260000103
Loss＝lbox+lobj+lcls
其中lbox表示Bounding Box坐标预测的损失函数，λcoord为权重值，S2表示网格数，对应三种不同大小的特征图，S2值分别为13×13，26×26，52×52，B表示Box，代表边界预测框，i表示第i个网格，j表示该网格类的第j个边界预测框，
Figure BDA0003255034260000104
表示判断网格i中的第j个边界框是否预测到了正确的类别，/>
Figure BDA0003255034260000105
分别表示第i个网格内预测框的x、y坐标，真实框x、y坐标,/>
Figure BDA0003255034260000106
分别表示预测框的宽、高和输入图像的宽、高,这里的值都是归一化后的值，取值范围为0～1.lobj表示置信度损失函数，λnoobj为权重值,/>
Figure BDA0003255034260000111
网格i中的第j个边界框预测到了正确的类别,/>
Figure BDA0003255034260000112
网格i中的第j个边界框未预测到正确的类别,Ci表示第i个框含有物体的置信度，第一个/>
Figure BDA0003255034260000113
为1，第二个/>
Figure BDA0003255034260000114
为0；lcls表示物体类别的损失函数，
Figure BDA0003255034260000115
网格i中的第j个边界框预测到了正确的类别，pi(c)表示c为正确类的概率，当c为正确类别时，/>
Figure BDA0003255034260000116
否则/>
Figure BDA0003255034260000117
将三个损失函数相加，就得到了网络总的损失函数。
步骤S25:开始训练，训练结束后保存权重文件。
步骤S26:利用步骤S35保存权重文件检测待识别图片，得到YOLOv3检测的坐标数据。
在本实施例中，步骤S3具体为：
步骤S31:将待识别图片输入CRAFT网络，输出图片的文本区域分；
步骤S32:遍历步骤S41生成的文本区域分图像的每一个像素点，获取字符中心点坐标；
步骤S33:利用最小二乘法对YOLOv3输出框内的字符中心点进行直线拟合，并将拟合的直线所在像素点的值设置为255；
在实施例中，设拟合直线方程y＝ax+b，根据最小二乘法的原理，拟合出来的直线与输入的每一个点的距离平方和最小，有目标函数：
Figure BDA0003255034260000118
当F最小时，对目标函数求偏导，参数a,b满足：
Figure BDA0003255034260000121
可得方程组：
Figure BDA0003255034260000122
解方程组得到a,b的值，即得到拟合的直线，直线拟合过程示例如图6所示，其中矩形框为YOLOv3输出的检测框。
另外，在实际的集装箱号检测中，字符方向的直线拟合往往会受到干扰字符的影响，特别是检测倾斜横排集装箱号，YOLOv3可能会框到多余的干扰字符，本文采取二次拟合的方案以得到效果更佳拟合直线；
步骤S34:将步骤S33处理后的文本区域分灰度图像进行二值化处理，利用连通域法得到拟合直线所在连通域，并利用最小外接矩形法得到该连通域最小外接矩形的坐标；
步骤S35:将步骤S34所得的坐标数据还原到原图坐标，并截取图像，获得检测结果。
在本实施例中，步骤S4具体为：
步骤S41:预处理检测截取图像，包括图像尺寸调整、图像灰度化、图像二值化；
优选的，在本实例中，检测截取图像由于原图像的缘故，其像素大小可能会过大或者过小，当像素过小时，会对接下来的识别准确率造成影响，而像素过大时，则会影响识别的效率，本实例以700像素为最大宽或高的基准，同比例的缩放图像，即缩放后的宽和高中的最大值为700。本实例采取的二值化方法为Otsu阈值法，以减少图像二值化受到户外光线不均照射、字符与背景灰度值相差较小的影响。
步骤S42:统计步骤S41得到的二值图像的黑白像素点，得到筛选阈值，同时利用连通域方法，以该阈值筛选按照位置顺序得到单个字符；
优选的，在本实例中，如字符为白色像素，则统计白色像素的数目，将该数目值除以50即为本次筛选阈值，经过验证，此比例能够较好的滤除图像中的噪点。
步骤S43:将步骤S41得到的字符进行展宽、归一化处理，分类并保存起来，作为LeNet5网络字符训练集，训练结束后保存权重文件；在识别阶段，利用该权重识别单个字符；
优选的，在本实例中，字符展宽，即将截取出来的字符背景四周填充为矩形，以避免归一化后字符发生形变，保证字符为等比例缩放，归一化大小为36×36。
步骤S44:在步骤S43挑选易识别混淆的字符，包括“I”和“T”、“O”和“D”，制作二分类数据集，训练得到新的权重，对上述识别到的字符进行二次分类。
优选的，在本实例中，当由连通域得到的所有字符经过LeNet5(36分类)网络之后，在字符截取正常的情况下，会得到11位的集装箱号字符，并且1～4位为英文字母，5～11位为数字。对于一些容易分类错误的英文字母和数字，例如，“B”和“8”、“G”和“6”、“I”和“1”、“O”和“0”、“S”和“5”、“Z”和“2”。若1～4位出现以上数字，则将其改为对应容易分类错误的英文字母。反之，若5～11位出现以上英文字母，则将其改为对应容易分类错误的数字。经过第一次修改之后，对于拍摄不佳的号码，1～4位的英文字母之间仍然会有判断错误的可能，比如“D”和“O”，“I”和“T”。先用LeNet5对两个字符进行二分类的训练，得到权重数据。当1～4位中出先“D”、“O”、“I”和“T”时，用对应的权重进行LeNet5网络二次分类，这样确保了识别的准确度。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于深度学习和图像后处理的集装箱号识别方法，其特征在于，包括以下步骤：
步骤S1:获取包含集装箱箱号区域的图片并预处理，构建集装箱号数据集；
步骤S2:构建YOLOv3网络并训练；
步骤S3:基于训练好的YOLOv3网络获取集装箱号初始框定区域,并结合CRAFT网络输出的文本区域分,输出集装箱箱号区域截取；
步骤S4:基于LeNet5网络，构建用于集装箱号码识别的网络；
步骤S5:将集装箱箱号区域截取输入用于集装箱号码识别的网络，得到最终的识别结果；
所述步骤S2具体为：
步骤S21:采用深度学习框架darknet-53进行训练，初始参数设定为：
初始学习-learningrate：0.001；
权重衰减系数-decay：0.0005；
冲量常数-momentum：0.9；
训练世代-epoch：50；
步骤S22:对训练集的标注框,利用K-means聚类生成YOLOv3网络训练所需的AnchorBoxes,针对检测三种不同尺寸的集装箱号，共生成9个AnchorBox；
步骤S23:利用Anchor Boxes得到预测边界框Bounding Box，并通过逻辑回归预测出边界框内有物体的概率分数，每个Bounding Box输出(x,y,w,h,confidence)五个基本参数，以及i个预测类别参数；
其中，(x,y)是边界框的中心坐标，(w,h)为边界框的宽高，confidence为置信度，i表示本次YOLOv3预测的类别个数；
步骤S24:计算损失值：
步骤S25:开始训练，训练结束后保存权重文件；
步骤S26:利用步骤S35保存权重文件检测待识别图片，得到YOLOv3检测的坐标数据。
2.根据权利要求1所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述步骤S1具体为：
步骤S11:分析集装箱号要检测和识别的类型，确定包含该类信息的图片为训练图片；
步骤S12:采集集装箱数据集；
步骤S13:利用LabeIimg_windows，标注集装箱号码区域，将号码区域矩形框的位置信息与分类信息以xml文件形式保存，得到初始集装箱号数据集；
步骤S14:对初始集装箱号数据集进行数据增强处理，得到集装箱号数据集。
3.根据权利要求2所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述集装箱号要检测和识别的类型包括横向和纵向方向的集装箱号。
4.根据权利要求1所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述损失值计算，具体如下：
Figure QLYQS_1
Figure QLYQS_2
Figure QLYQS_3
Loss＝lbox+lobj+lcls
其中lbox表示Bounding Box坐标预测的损失函数，λcoord为权重值，S2表示网格数，对应三种不同大小的特征图，S2值分别为13×13，26×26，52×52，B表示Box，代表边界预测框，i表示第i个网格，j表示第j个边界预测框，xi，yi，
Figure QLYQS_5
分别表示第i个网格内预测框的x、y坐标，真实框x、y坐标，wi，hi，/>
Figure QLYQS_9
分别表示预测框的宽、高和输入图像的宽、高，这里的值都是归一化后的值，取值范围为0～1；lobj表示置信度损失函数，λnoobj为权重值，/>
Figure QLYQS_11
网格i中的第j个边界框预测到了正确的类别,/>
Figure QLYQS_6
网格i中的第j个边界框未预测到正确的类别,Ci表示第i个框含有物体的置信度，第一个/>
Figure QLYQS_7
为1，第二个/>
Figure QLYQS_8
为0；lcls表示物体类别的损失函数，pi(c)表示c为正确类的概率，当c为正确类别时，/>
Figure QLYQS_10
否则/>
Figure QLYQS_4
将三个损失函数相加，就得到了网络总的损失函数。
5.根据权利要求1所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述步骤S3具体为：
步骤S31:将待识别图片输入CRAFT网络，输出图片的文本区域分；
步骤S32:遍历步骤S41生成的文本区域分图像的每一个像素点，获取字符中心点坐标；
步骤S33:利用最小二乘法对YOLOv3输出框内的字符中心点进行直线拟合，并将拟合的直线所在像素点的值设置为N；
步骤S34:将步骤S33处理后的文本区域分灰度图像进行二值化处理，利用连通域法得到拟合直线所在连通域，并利用最小外接矩形法得到该连通域最小外接矩形的坐标；
步骤S35:将步骤S34所得的坐标数据还原到原图坐标，并截取图像，获得检测结果。
6.根据权利要求1所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述步骤S4具体为：
步骤S41:预处理检测截取图像，包括图像尺寸调整、图像灰度化、图像二值化；
步骤S42:统计步骤S41得到的二值图像的黑白像素点，得到筛选阈值，同时利用连通域方法，以该阈值筛选按照位置顺序得到单个字符；
步骤S43:将步骤S41得到的字符进行展宽、归一化处理，分类并保存起来，作为LeNet5网络字符训练集，训练结束后保存权重文件；在识别阶段，利用该权重识别单个字符；
步骤S44:在步骤S43挑选易识别混淆的字符，包括“I”和“T”、“O”和“D”，制作二分类数据集，训练得到新的权重，对上述识别到的字符进行二次分类。
CN202111056947.0A 2021-09-09 2021-09-09 基于深度学习和图像后处理的集装箱号识别方法 Active CN113792780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111056947.0A CN113792780B (zh) 2021-09-09 2021-09-09 基于深度学习和图像后处理的集装箱号识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111056947.0A CN113792780B (zh) 2021-09-09 2021-09-09 基于深度学习和图像后处理的集装箱号识别方法

Publications (2)

Publication Number Publication Date
CN113792780A CN113792780A (zh) 2021-12-14
CN113792780B true CN113792780B (zh) 2023-07-14

Family

ID=78879820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111056947.0A Active CN113792780B (zh) 2021-09-09 2021-09-09 基于深度学习和图像后处理的集装箱号识别方法

Country Status (1)

Country Link
CN (1) CN113792780B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110414318A (zh) * 2019-06-13 2019-11-05 北京数智源科技有限公司 大场景下集装箱号识别方法
CN110826379A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于特征复用与YOLOv3的目标检测方法
CN112232237A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 车辆流量的监控方法、系统、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8570377B2 (en) * 2010-01-11 2013-10-29 Hi-Tech Solutions Ltd. System and method for recognizing a unit load device (ULD) number marked on an air cargo unit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826379A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于特征复用与YOLOv3的目标检测方法
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110414318A (zh) * 2019-06-13 2019-11-05 北京数智源科技有限公司 大场景下集装箱号识别方法
CN112232237A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 车辆流量的监控方法、系统、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于深度学习的集装箱箱号自动识别》;崔循;《中国优秀硕士学位论文全文数据库信息科技辑》;1-54页 *

Also Published As

Publication number Publication date
CN113792780A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN111310850B (zh) 车牌检测模型的构建方法及系统、车牌检测方法及系统
CN109086714A (zh) 表格识别方法、识别系统及计算机装置
CN108334881B (zh) 一种基于深度学习的车牌识别方法
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN112395996A (zh) 财务票据ocr识别及影像处理方法、系统及可读存储介质
CN111353491B (zh) 一种文字方向确定方法、装置、设备及存储介质
CN111325769A (zh) 一种目标对象检测方法及装置
CN112052845A (zh) 图像识别方法、装置、设备及存储介质
CN107240185B (zh) 一种冠字号识别方法、装置、设备及存储介质
US20140079316A1 (en) Segmentation co-clustering
CN112418180A (zh) 表格数据提取方法、装置、设备及计算机存储介质
CN113033543A (zh) 曲形文本识别方法、装置、设备及介质
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN111652117A (zh) 一种对多文档图像分割的方法及介质
CN116612479A (zh) 一种轻量级的票据ocr识别方法及系统
CN115131590A (zh) 目标检测模型的训练方法、目标检测方法及相关设备
CN114581928A (zh) 一种表格识别方法及系统
CN111402185A (zh) 一种图像检测方法及装置
CN111832497B (zh) 一种基于几何特征的文本检测后处理方法
CN116343237A (zh) 基于深度学习和知识图谱的票据识别方法
CN112200789A (zh) 一种图像识别的方法及装置、电子设备和存储介质
CN113792780B (zh) 基于深度学习和图像后处理的集装箱号识别方法
Varkentin et al. Development of an application for car license plates recognition using neural network technologies
Oublal et al. An advanced combination of semi-supervised Normalizing Flow & Yolo (YoloNF) to detect and recognize vehicle license plates
Nguyen et al. Digital transformation for shipping container terminals using automated container code recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant