CN110210433B - 一种基于深度学习的集装箱箱号检测与识别方法 - Google Patents

一种基于深度学习的集装箱箱号检测与识别方法 Download PDF

Info

Publication number
CN110210433B
CN110210433B CN201910494473.4A CN201910494473A CN110210433B CN 110210433 B CN110210433 B CN 110210433B CN 201910494473 A CN201910494473 A CN 201910494473A CN 110210433 B CN110210433 B CN 110210433B
Authority
CN
China
Prior art keywords
container
network
container number
deep learning
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910494473.4A
Other languages
English (en)
Other versions
CN110210433A (zh
Inventor
李武军
尤晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201910494473.4A priority Critical patent/CN110210433B/zh
Publication of CN110210433A publication Critical patent/CN110210433A/zh
Application granted granted Critical
Publication of CN110210433B publication Critical patent/CN110210433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于深度学习的集装箱箱号检测与识别方法，其使用深度学习的方法对集装箱进行实时检测和识别：在集装箱数据集构建阶段，对集装箱图片进行采集、过滤和标注得到集装箱数据集；在集装箱检测与识别网络构建阶段，构建轻量级检测与识别网络框架；在集装箱检测与识别网络训练阶段，训练数据预处理，使用真实标记训练检测与识别网络，保存模型参数；在集装箱检测与识别网络预测阶段，图像预处理，输入到检测网络和识别网络中，将检测识别出的集装箱箱号按序排列输出。

Description

一种基于深度学习的集装箱箱号检测与识别方法
技术领域
本发明为一种基于深度学习的集装箱箱号检测与识别方法，涉及基于深度学习的自然场景文本检测和识别领域，特别适用于集装箱箱号实时检测识别。
背景技术
集装箱运输作为一种最先进的运输方式，其具有“安全、迅速、简便、廉价”的特点，有利于减少运输的环节，可以结合公路、铁路、水路和航空等多种运输方式实现多式联运。每个集装箱都有一个根据一定规则生成的箱号编码，其是该集装箱在全世界范围内唯一标识，因此在运输过程中，往往需要通过对集装箱箱号进行检测识别，从而对集装箱进行追踪和物流管理。
传统的集装箱箱号检测与识别技术主要采取人工设计特征。首先获取集装箱的前后左右四面箱号图像；然后对图像灰度化，使用方向梯度直方图、尺度不变特征变换求取图像特征；接着通过基于滑动窗口的穷举搜索方法或者基于图像区域相似度的选择性搜索来产生箱号位置和箱号字符位置信息；然后使用支持向量机和决策树等方法对其进行识别。该种方法具有速度慢、准确率低和鲁棒性差等缺点，特别在复杂的场景中，这些缺点更加显著。
发明内容
发明目的：目前传统的集装箱箱号检测与识别技术使用人工设计特征，该种方法识别准确率低、速度慢，不能满足高精度实时识别的要求。针对上述问题，出于对识别速度、准确率和部署成本考虑，本发明基于深度学习，首先构建了一个集装箱箱号检测与识别数据集。然后使用卷积神经网络和循环神经网络构建轻量级检测和识别网络模型；接着对检测网络和识别网络进行训练；最后根据训练好的检测与识别模型对集装箱图片进行预测。该发明具有速度快、准确率高、对硬件依赖弱和鲁棒性强等特点。
技术方案：一种基于深度学习的集装箱箱号检测与识别方法，包括集装箱箱号检测与识别数据集构建，基于深度学习的集装箱箱号检测网络训练，基于深度学习的集装箱箱号识别网络训练，以及利用训练好的网络对集装箱箱号进行预测的过程。
所述集装箱箱号检测与识别数据集构建的具体步骤为：
步骤101，采集真实场景下集装箱图片；
步骤102，对图片进行筛选过滤，去除无效图片；
步骤103，标注箱号的位置信息以及箱号的字符串信息；
基于深度学习的集装箱箱号检测框架训练步骤为：
步骤201，初始化集装箱箱号检测网络框架参数；
步骤202，输入集装箱图片、真实箱号位置标记至数据处理平台；
步骤203，在数据处理平台，对输入的集装箱图片进行随机旋转、裁剪和标准化等预处理操作；
步骤204，使用预处理后的集装箱图片及其位置标记作为监督信息对集装箱箱号检测部分进行训练；
步骤205，保存训练好的集装箱箱号检测部分网络框架和网络参数至数据平台存储系统；
基于深度学习的集装箱箱号识别框架训练步骤为：
步骤301，初始化集装箱箱号识别网络框架参数；
步骤302，输入集装箱箱号的箱号图片和箱号字符串标记；
步骤303，对输入的集装箱箱号图片进行随机旋转、灰度化和标准化等预处理操作；
步骤304，使用预处理后的箱号图片及对应的箱号字符串标记作为监督信息对集装箱箱号识别部分进行训练；
步骤305，保存训练好的集装箱箱号识别部分的网络框架和网络参数至数据平台存储系统。
利用训练好的基于深度学习的集装箱箱号检测与识别框架，对集装箱图片进行箱号预测的具体步骤为：
步骤401，读取保存的集装箱箱号检测和识别部分网络框架和网络参数；
步骤402，输入要预测的集装箱图片至数据处理平台，在数据处理平台对图像进行噪声过滤、对比度调整和去雾处理等预处理操作；
步骤403，将预处理后的图片输入到集装箱箱号检测框架，得到集装箱箱号位置信息；
步骤404，根据箱号位置信息裁剪出集装箱箱号图片并输入到集装箱箱号识别网络框架中；
步骤405，根据集装箱箱号的检测和识别结果对识别出的箱号信息进行排序输出。
有益效果：与现有技术相比，本发明提供的基于深度学习的集装箱箱号检测与识别方法，通过构建集装箱箱号检测与识别数据集，检测与识别网络模型的构建和训练，提高了集装箱箱号检测与识别的速度、准确率和鲁棒性。
附图说明
图1a为采集到的集装箱图片；
图1b为对应集装箱图片的标注信息；
图2为本发明实施的基于深度学习的集装箱箱号检测网络结构图；
图3为本发明实施的基于深度学习的集装箱箱号检测算法训练流程图；
图4为本发明实施的基于深度学习的集装箱箱号识别算法训练流程图；
图5为本发明实施的基于深度学习的集装箱箱号检测与识别算法预测流程图；
图6为本发明实施的基于深度学习的集装箱箱号检测与识别算法预测效果图；
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
基于深度学习的集装箱箱号检测与识别方法，主要分为集装箱箱号检测与识别数据集构建部分、集装箱箱号检测与识别网络架构构建部分、集装箱箱号检测与识别训练部分和集装箱箱号预测部分。
图1为基于深度学习的集装箱箱号检测与识别数据标注图。对于采集到的集装箱图片，如图1a，集装箱箱号由4部分组成，第一部分由4位英文字母组成(UETU)，为集装箱所属单位码；第二部分是由6位数字组成(238375)，是箱体注册码，唯一标识符；第3部分是校验码(0)；第四部分是箱型代码(22G1)。整体箱号信息为“UETU-238375-0-22G1”。图1b即为对应的标注信息，其由箱号位置信息{x1,y1,x2,y2,x3,y3,x4,y4}和箱号字符串表示。
图2为基于深度学习的集装箱箱号检测网络结构图。该网络结构采用U型网络结构，网络的左侧为特征提取部分，可以采取残差神经网络和密集连接卷积神经网络等网络结构；右侧为特征融合部分，通过上采样、特征通道拼接和卷积操作实现。对于输入图像，其首先通过网络特征提取部分得到每个阶段中间特征表示，然后通过上采样、通道拼接和卷积操作从下往上不断的对特征进行融合，最后得到通道数为1的显著图，通道数为5的几何图。对于图像中位置p，显著图中该位置的值s(p)表明该点为文本的分类得分，几何图中该位置的值
Figure BDA0002088111040000041
分别表明该点到其箱号区域的上、下、左、右四个方向的距离以及该箱号区域与水平方向的夹角。
表1为基于深度学习的集装箱箱号识别部分网络结构。由两层卷积层；三层门控循环卷积层；两层双向长短期记忆网络；四层最大值池化层组成。
表1
层名 输出尺寸 操作
输入图像 - -
层1 200x32x64 卷积
层2 100x16x64 最大化池化
层3 100x16x64 门控循环卷积
层4 50x8x64 最大化池化
层5 50x8x128 门控循环卷积
层6 51x4x128 最大化池化
层7 51x4x256 门控循环卷积
层8 52x2x256 最大化池化
层9 52x1x512 卷积
层10 51x256 双向长短期记忆网络
层11 51x37 双向长短期记忆网络
图3为基于深度学习的集装箱箱号检测算法训练流程图。训练过程描述如下：在训练开始时，首先对集装箱箱号检测网络结构参数进行初始化；将集装箱图片及其位置标记信息输入到训练平台，然后在训练平台对集装箱图片做随机旋转、随机裁剪和标准化等预处理操作；然后将图片输入到集装箱检测网络中，得到预测显著图和几何图；再根据集装箱箱号位置标记得到真实显著图和几何图；根据预测显著图、预测几何图、真实显著图和真实几何图计算检测网络损失，根据损失更新检测网络参数。不断重复以上过程，直到达到一定轮数，训练结束，保存检测网络参数。
图4为基于深度学习的集装箱箱号识别算法训练流程图。训练过程描述如下：在训练开始时，首先对集装箱箱号识别网络结构参数进行初始化；将集装箱箱号图片及其字符串标记输入到训练平台，然后在训练平台对箱号图片做随机旋转、灰度化和标准化等预处理操作；接着将图片输入到识别网络中；最后使用时序连接分类损失函数根据真实字符串标记计算损失，根据损失更新识别网络参数。不断重复以上过程，直到达到一定轮数，训练结束，保存识别网络参数。
图5为基于深度学习的集装箱箱号检测与识别算法预测流程图。具体流程如下：首先加载集装箱检测和识别模型参数到平台中；然后输入要预测的集装箱图片；对输入图片进行噪声过滤、去雾等预处理操作；然后将图片输入到集装箱检测网络中，得到预测显著图和预测几何图，根据阈值求得箱号预测位置，使用非极大值抑制方法去除冗余位置；接着根据预测箱号位置将箱号图片裁剪出，得到集装箱箱号图片；将集装箱箱号图片输入到集装箱识别网络中得到对应的箱号预测字符串信息；最后将得到的预测字符串信息按照所属单位码、箱体注册码、校验码和箱型代码的次序输出。
图6为基于深度学习的集装箱箱号检测与识别算法预测效果图。其中矩形框为集装箱检测网络预测的箱号位置；白色小号文字为集装箱识别网络预测的字符串信息；最下方文字为最终输出的集装箱箱号信息。

Claims (7)

1.一种基于深度学习的集装箱箱号检测与识别方法，其特征在于，该方法包含以下步骤：
1)集装箱箱号检测与识别数据集的构建；
2)基于深度学习的集装箱箱号检测与识别框架构建；
所述步骤2)中，集装箱箱号检测网络采用U型网络结构，其左侧为特征提取部分，右侧为特征融合部分；对于特征提取部分得到的每个阶段中间特征表示，通过上采样、通道拼接和卷积操作从下往上不断的对特征进行融合，最后得到通道数为1的显著图与通道数为5的几何图；对于图像中位置p，显著图中该位置的值s(p)表明该位置为文本的分类得分，几何图中该位置的值
Figure FDA0004078716550000011
Figure FDA0004078716550000012
分别表明该位置到其箱号区域的上、下、左、右四个方向的距离以及该箱号区域与水平方向的夹角；
3)基于深度学习的集装箱箱号检测与识别框架训练；
4)利用训练好的框架对集装箱箱号进行预测的过程。
2.如权利要求1所述的基于深度学习的集装箱箱号检测与识别方法，其特征在于，所述步骤1)中，对于收集到的集装箱图片，标注箱号的位置信息以及箱号的字符串信息，从而实现集装箱箱号数据集的构建。
3.如权利要求1所述的基于深度学习的集装箱箱号检测与识别方法，其特征在于所述步骤2)中，集装箱箱号识别网络部分由两层卷积层；三层门控循环卷积层；两层双向长短期记忆网络；四层最大值池化层组成。
4.如权利要求1所述的基于深度学习的集装箱箱号检测与识别方法，其特征在于，基于深度学习的集装箱箱号检测框架训练步骤为：
步骤201，初始化集装箱箱号检测网络框架参数；
步骤202，输入集装箱图片、真实箱号位置标记至数据处理平台；
步骤203，在数据处理平台，对输入的集装箱图片进行预处理操作；
步骤204，使用预处理后的集装箱图片及其位置标记作为监督信息对集装箱箱号检测部分进行训练；
步骤205，保存训练好的集装箱箱号检测部分网络框架和网络参数至数据平台存储系统；
基于深度学习的集装箱箱号识别框架训练步骤为：
步骤301，初始化集装箱箱号识别网络框架参数；
步骤302，输入集装箱箱号的箱号图片和箱号字符串标记；
步骤303，对输入的集装箱箱号图片进行预处理操作；
步骤304，使用预处理后的箱号图片及对应的箱号字符串标记作为监督信息对集装箱箱号识别部分进行训练；
步骤305，保存训练好的集装箱箱号识别部分的网络框架和网络参数至数据平台存储系统。
5.如权利要求1所述的基于深度学习的集装箱箱号检测与识别方法，其特征在于，所述基于深度学习的集装箱箱号检测框架训练中，对集装箱图片做预处理操作后；将图片输入到集装箱检测网络中，得到预测显著图和几何图；再根据集装箱箱号位置标记得到真实显著图和几何图；接着根据预测显著图、预测几何图、真实显著图和真实几何图计算检测网络损失，根据损失更新检测网络参数；不断重复以上过程，直到达到设定轮数，训练结束，保存检测网络参数。
6.如权利要求1所述的基于深度学习的集装箱箱号检测与识别方法，其特征在于所述基于深度学习的集装箱箱号识别框架训练中，对箱号图片做预处理操作后；将图片输入到识别网络中；最后使用时序连接分类损失函数根据真实字符串标记计算损失，根据损失更新识别网络参数；不断重复以上过程，直到达到设定轮数，训练结束，保存识别网络参数。
7.如权利要求1所述的基于深度学习的集装箱箱号检测与识别方法，其特征在于所述步骤4)中，利用训练好的框架对集装箱箱号进行预测的过程为：首先加载集装箱检测和识别模型的参数到平台中；然后输入要预测的集装箱图片；对输入图片进行初预处理操作；然后将图片输入到集装箱检测网络中，得到预测显著图和预测几何图，根据阈值求得箱号预测位置，使用非极大值抑制方法去除冗余位置；接着根据预测箱号位置将箱号图片裁剪出，得到集装箱箱号图片；将集装箱箱号图片输入到集装箱识别网络中得到对应的箱号预测字符串信息；最后将得到的预测字符串信息按照所属单位码、箱体注册码、校验码和箱型代码的次序输出。
CN201910494473.4A 2019-06-10 2019-06-10 一种基于深度学习的集装箱箱号检测与识别方法 Active CN110210433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910494473.4A CN110210433B (zh) 2019-06-10 2019-06-10 一种基于深度学习的集装箱箱号检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910494473.4A CN110210433B (zh) 2019-06-10 2019-06-10 一种基于深度学习的集装箱箱号检测与识别方法

Publications (2)

Publication Number Publication Date
CN110210433A CN110210433A (zh) 2019-09-06
CN110210433B true CN110210433B (zh) 2023-04-28

Family

ID=67791457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910494473.4A Active CN110210433B (zh) 2019-06-10 2019-06-10 一种基于深度学习的集装箱箱号检测与识别方法

Country Status (1)

Country Link
CN (1) CN110210433B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127452A (zh) * 2019-12-27 2020-05-08 上海箱云物流科技有限公司 一种基于云端处理的集装箱智能ocr识别方法
CN111414844B (zh) * 2020-03-17 2023-08-29 北京航天自动控制研究所 一种基于卷积循环神经网络的集装箱箱号识别方法
CN113673608A (zh) * 2021-06-03 2021-11-19 厦门锐特信息技术有限公司 一种基于PaddleOCR框架集装箱号识别系统和方法
CN114092947B (zh) * 2022-01-04 2022-05-20 湖南师范大学 一种文本检测方法、装置、电子设备及可读存储介质
CN115527209A (zh) * 2022-09-22 2022-12-27 宁波港信息通信有限公司 用于岸桥箱号识别的方法、装置、系统和计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572828B2 (en) * 2015-10-28 2020-02-25 Qomplx, Inc. Transfer learning and domain adaptation using distributable data models
CN107832767A (zh) * 2017-11-14 2018-03-23 深圳码隆科技有限公司 集装箱箱号识别方法、装置及电子设备
CN108596166B (zh) * 2018-04-13 2021-10-26 华南师范大学 一种基于卷积神经网络分类的集装箱箱号识别方法

Also Published As

Publication number Publication date
CN110210433A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110210433B (zh) 一种基于深度学习的集装箱箱号检测与识别方法
CN106778835B (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN109166094B (zh) 一种基于深度学习的绝缘子故障定位识别方法
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN103984943B (zh) 一种基于贝叶斯概率框架的场景文本识别方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN112818951B (zh) 一种票证识别的方法
CN106815323B (zh) 一种基于显著性检测的跨域视觉检索方法
CN110689012A (zh) 一种端到端的自然场景文本识别方法及系统
CN108921850B (zh) 一种基于图像分割技术的图像局部特征的提取方法
CN114155527A (zh) 一种场景文本识别方法和装置
CN116110036B (zh) 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
CN111507353B (zh) 一种基于文字识别的中文字段检测方法及系统
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN115880704A (zh) 一种病例的自动编目方法、系统、设备及存储介质
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN111612802B (zh) 一种基于现有图像语义分割模型的再优化训练方法及应用
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法
CN116363655A (zh) 一种财务票据识别方法及系统
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统
CN115880477A (zh) 一种基于深度卷积神经网络的苹果检测定位方法与系统
CN111126513B (zh) 一种通用物体实时学习、识别系统及其学习、识别方法
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN114898290A (zh) 一种海上船舶实时检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant