CN111563500A - 一种箱号识别方法和装置 - Google Patents

一种箱号识别方法和装置 Download PDF

Info

Publication number
CN111563500A
CN111563500A CN202010278992.XA CN202010278992A CN111563500A CN 111563500 A CN111563500 A CN 111563500A CN 202010278992 A CN202010278992 A CN 202010278992A CN 111563500 A CN111563500 A CN 111563500A
Authority
CN
China
Prior art keywords
image
box
model
adopting
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010278992.XA
Other languages
English (en)
Inventor
王宸
罗永祥
刘键涛
魏秋新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian E Port Co ltd
Original Assignee
Fujian E Port Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian E Port Co ltd filed Critical Fujian E Port Co ltd
Priority to CN202010278992.XA priority Critical patent/CN111563500A/zh
Publication of CN111563500A publication Critical patent/CN111563500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种箱号识别方法和装置，包括如下步骤：1)输入集装箱原始图片；2)使用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像；3)采用CPTN模型对箱型图像进行文本检测；4)采用CRNN模型对文本检测的所有结果进行OCR识别；5)将识别结果按照箱号格式进行正则化，输出最终的箱号。

Description

一种箱号识别方法和装置
技术领域
本发明涉及集装箱领域，特别是指一种箱号识别方法和装置。
背景技术
随着科技进步与世界各国贸易的巨大增长，物流运输行业逐年加速发展，其中全球海运量逐年创下新高。集装箱作为海运的主要运输装载方式，在海运中有着十分重要的地位。在海运繁荣的同时，对集装箱的管理需要更加现代化的手段，实现对巨量的集装箱进行追踪、货物中转与货船存储规划等目的。
集装箱箱号是每个集装箱的专有标识码，对箱号进行自动识别是对集装箱进行各种高效管理操作的基础，如：所属公司、集装箱追踪、货物中转等。然而，由于全球对于集装箱箱号自动化识别并没有制定统一的标准，目前主要是使用图像处理技术实现对箱号的自动识别。但是，对错误识别的集装箱只能通过人工识别记录与校对箱号，这无疑增加了人力成本与流转时间。
目前，箱号识别系统对于箱号中残缺、粘连等字符，不能进行完整分割；同时对于分割出的残缺字符识别准确率低。而对于错误识别的集装箱仍然只能通过人工识别记录与校对箱号，这无疑增加了人力成本与流转时间。现有箱号识别技术采用单个字符进行识别，识别速度较慢；并且带有箱号的图像有些存在一定拍摄的角度，识别准确率较低。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种箱号识别方法和装置，具有更高的识别准确率和识别速率。
本发明采用如下技术方案：
一种箱号识别方法，其特征在于，包括如下步骤：
1)输入集装箱原始图片；
2)使用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像；
3)采用CPTN模型对箱型图像进行文本检测；
4)采用CRNN模型对文本检测的所有结果进行OCR识别；
5)将识别结果按照箱号格式进行正则化，输出最终的箱号。
优选的，所述图像语义分割模型为TextonForest、基于随机森林分类器或深度学习方法。
优选的，采用基于卷积神经网络的图像语义分割模型。
优选的，所述图像预处理包括开运算，闭运算和最小外接矩阵以去除图像中的噪声。
优选的，步骤3)中，还包括对文本检测结果进行透射变换以调整角度。
优选的，步骤4)中所述CRNN模型包括：卷积层、循环层和转录层，该卷积层从输入图像中提取特征序列；该循环层预测每一帧的标签分布，该转录层将每一帧的预测变为最终的标签序列。
一种箱号识别装置，其特征在于，包括：
输入模块，用于输入集装箱原始图片；
粗定位模块，采用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像；
文本检测模块，采用CPTN模型对箱型图像进行文本检测；
OCR识别模块，采用CRNN模型对文本检测的所有结果进行OCR识别；
输出模块，将识别结果按照箱号格式进行正则化，输出最终的箱号。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
1、本发明的方法和装置，采用CPTN+CRNN，该方法可以是端到端的识别，不需要进行字符分割，识别的速度更快，识别效果更好。
2、本发明的方法和装置，采用卷积神经网络结构的语义分割模型，该模型具有学习能力，能够适应多角度多场景的箱面定位。
3、本发明的方法和装置，有效减少了人工校验记录成本，减少了集装箱流转时间，加快了港口工作效率。
附图说明
图1为本发明方法流程图；
图2为本发明输入集装箱原始图片；
图3为基于卷积神经网络的图像语义分割模型图；
图4为图像语义分割模型的效果图；
图5为分割出的箱面图像；
图6为箱型的文本检测示意图；
图7为存在角度问题的箱型图片示意图；
图8为透射变换前后示意图；
图9为CRNN模型结构图；
图10为输出结果示意图；
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
一种箱号识别方法，包括如下步骤：
1)输入集装箱原始图片，参见图1，其不限于灰度图，可以是彩色图片。
2)使用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像，参见图5。
该步骤中的图像语义分割模型用于实现在像素级别上的分类，可采用TextonForest、基于随机森林分类器或深度学习方法等语义分割方法实现，优选的，采用基于卷积神经网络的图像语义分割模型，其网络结构如图3，从左到右依次是：卷积层、池化层、上采样层、卷积层、上采样层和全连接层。语义分割后的效果如图4。
卷积层是卷积神经网络的重要组成部分，通过卷积运算可以提取输入数据的特征。池化层也叫做上采样层，它可以压缩信号特征，降低网络计算复杂度，减少下一层的计算量，防止过拟合。全连接层可以起到连接的作用，将卷积层与普通神经网络层连接起来。
其中，图像预处理包括开运算，闭运算和最小外接矩阵以去除图像中的噪声，裁剪出完整的箱面。
3)采用CPTN模型对箱型图像进行文本检测，该模型可以进行不定长序列文本检测，通过该CPTN模型可以检测箱面上的文字位置，参见图6。该CPTN模型为训练好的CPTN模型。该步骤通过目标检测方法将图像中每一行里的每个字给框出来，然后把每一行里所有字的框合并，得到一行文字的框。
另外，因存在集装箱图片存在拍摄角度问题，例如参见图7，可对裁剪的文字进行透射变换，实现角度调整，参见图8。
4)采用CRNN模型对文本检测的所有结果进行OCR识别，通过该方法把图像中每一行文字里的每个字给识别出来。CRNN为端到端文字识别模型，该模型不需要字符分割，且可以识别任意长度的序列。
具体的，参见图9，该CRNN模型从上到下包括卷积层、循环层和转录层，该卷积层从输入图像中提取特征序列；该循环层预测每一帧的标签分布，该转录层将每一帧的预测变为最终的标签序列，即为识别结果。
5)将识别结果按照箱号格式进行正则化，通过正则化防止模型过拟合，输出最终的箱号。例如：箱号的格式是4个字母+7个数字(DRYU4128939)，将所有识别结果按照“4个字母+7个数字”进行正则化，即可输出箱号。
本发明还提出一种箱号识别装置，采用上述的方法实现箱号识别，包括：
输入模块，用于输入集装箱原始图片。
粗定位模块，采用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像。
文本检测模块，采用CPTN模型对箱型图像进行文本检测。
OCR识别模块，采用CRNN模型对文本检测的所有结果进行OCR识别。
输出模块，将识别结果按照箱号格式进行正则化，输出最终的箱号。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (7)

1.一种箱号识别方法，其特征在于，包括如下步骤：
1)输入集装箱原始图片；
2)使用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像；
3)采用CPTN模型对箱型图像进行文本检测；
4)采用CRNN模型对文本检测的所有结果进行OCR识别；
5)将识别结果按照箱号格式进行正则化，输出最终的箱号。
2.如权利要求1所述的一种箱号识别方法，其特征在于：所述图像语义分割模型为TextonForest、基于随机森林分类器或深度学习方法。
3.如权利要求1所述的一种箱号识别方法，其特征在于：采用基于卷积神经网络的图像语义分割模型。
4.如权利要求1所述的一种箱号识别方法，其特征在于：所述图像预处理包括开运算，闭运算和最小外接矩阵以去除图像中的噪声。
5.如权利要求1所述的一种箱号识别方法，其特征在于：步骤3)中，还包括对文本检测结果进行透射变换以调整角度。
6.如权利要求1所述的一种箱号识别方法，其特征在于：步骤4)中所述CRNN模型包括：卷积层、循环层和转录层，该卷积层从输入图像中提取特征序列；该循环层预测每一帧的标签分布，该转录层将每一帧的预测变为最终的标签序列。
7.一种箱号识别装置，其特征在于，包括：
输入模块，用于输入集装箱原始图片；
粗定位模块，采用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像；
文本检测模块，采用CPTN模型对箱型图像进行文本检测；
OCR识别模块，采用CRNN模型对文本检测的所有结果进行OCR识别；
输出模块，将识别结果按照箱号格式进行正则化，输出最终的箱号。
CN202010278992.XA 2020-04-10 2020-04-10 一种箱号识别方法和装置 Pending CN111563500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010278992.XA CN111563500A (zh) 2020-04-10 2020-04-10 一种箱号识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010278992.XA CN111563500A (zh) 2020-04-10 2020-04-10 一种箱号识别方法和装置

Publications (1)

Publication Number Publication Date
CN111563500A true CN111563500A (zh) 2020-08-21

Family

ID=72074279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010278992.XA Pending CN111563500A (zh) 2020-04-10 2020-04-10 一种箱号识别方法和装置

Country Status (1)

Country Link
CN (1) CN111563500A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2989218A1 (en) * 2016-12-16 2018-06-16 Tata Consultancy Services Limited Method and system for container code recognition
CN108596166A (zh) * 2018-04-13 2018-09-28 华南师范大学 一种基于卷积神经网络分类的集装箱箱号识别方法
CN110414519A (zh) * 2019-06-27 2019-11-05 众安信息技术服务有限公司 一种图片文字的识别方法及其识别装置
CN110659634A (zh) * 2019-08-23 2020-01-07 上海撬动网络科技有限公司 一种基于颜色定位和字符分割的集装箱箱号定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2989218A1 (en) * 2016-12-16 2018-06-16 Tata Consultancy Services Limited Method and system for container code recognition
CN108596166A (zh) * 2018-04-13 2018-09-28 华南师范大学 一种基于卷积神经网络分类的集装箱箱号识别方法
CN110414519A (zh) * 2019-06-27 2019-11-05 众安信息技术服务有限公司 一种图片文字的识别方法及其识别装置
CN110659634A (zh) * 2019-08-23 2020-01-07 上海撬动网络科技有限公司 一种基于颜色定位和字符分割的集装箱箱号定位方法

Similar Documents

Publication Publication Date Title
CN109902622B (zh) 一种用于登机牌信息验证的文字检测识别方法
WO2019192397A1 (zh) 一种任意形状的场景文本端到端识别方法
US10896357B1 (en) Automatic key/value pair extraction from document images using deep learning
CN112800838A (zh) 一种基于深度学习的航道船舶检测与识别方法
CN111476210B (zh) 基于图像的文本识别方法、系统、设备及存储介质
CN108133235B (zh) 一种基于神经网络多尺度特征图的行人检测方法
Huang et al. Ship target detection based on improved YOLO network
CN112883795B (zh) 一种基于深度神经网络的表格快速自动提取方法
Verma et al. Automatic container code recognition via spatial transformer networks and connected component region proposals
Rashedi et al. A hierarchical algorithm for vehicle license plate localization
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN113780087A (zh) 一种基于深度学习的邮政包裹文本检测方法及设备
CN116612292A (zh) 一种基于深度学习的小目标检测方法
CN114596477A (zh) 基于领域自适应和注意力机制的雾天火车故障检测方法
CN116129291A (zh) 一种面向无人机畜牧的图像目标识别方法及其装置
CN113496212A (zh) 箱式结构的文本识别方法、装置及电子设备
CN117011614A (zh) 基于深度学习的野山参艼芦体检测和品质等级分类方法及系统
CN117237751A (zh) 一种抓取检测模型的训练方法、识别方法、系统、设备
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN111563500A (zh) 一种箱号识别方法和装置
Gregory et al. A computer vision pipeline for automatic large-scale inventory tracking
CN110610177A (zh) 字符识别模型的训练方法、字符识别方法及装置
CN113343977B (zh) 一种集装箱码头集卡车牌的多路自动识别方法
CN116612398A (zh) 基于ctpn算法的无人机巡检照片杆塔号牌文字识别方法
Reisswig et al. Chargrid-OCR: End-to-end trainable optical character recognition through semantic segmentation and object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination