CN110119742B - 一种集装箱号的识别方法、装置及移动终端 - Google Patents

一种集装箱号的识别方法、装置及移动终端 Download PDF

Info

Publication number
CN110119742B
CN110119742B CN201910337746.4A CN201910337746A CN110119742B CN 110119742 B CN110119742 B CN 110119742B CN 201910337746 A CN201910337746 A CN 201910337746A CN 110119742 B CN110119742 B CN 110119742B
Authority
CN
China
Prior art keywords
container
text
image data
area
door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910337746.4A
Other languages
English (en)
Other versions
CN110119742A (zh
Inventor
徐国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianwei Information Technology Tianjin Co ltd
Original Assignee
Tianwei Information Technology Tianjin Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianwei Information Technology Tianjin Co ltd filed Critical Tianwei Information Technology Tianjin Co ltd
Priority to CN201910337746.4A priority Critical patent/CN110119742B/zh
Publication of CN110119742A publication Critical patent/CN110119742A/zh
Application granted granted Critical
Publication of CN110119742B publication Critical patent/CN110119742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P3/00—Vehicles adapted to transport, to carry or to comprise special loads or objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D88/00—Large containers
    • B65D88/02—Large containers rigid
    • B65D88/12—Large containers rigid specially adapted for transport
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种集装箱号的识别方法及装置，方法包括：采集集装箱箱门的第一图像数据；利用基于卷积神经网络的文字检测算法对第一图像数据进行处理，确定出文字区域；获取集装箱箱门的图形特征，在文字区域对图形特征进行特征分析，以确定集装箱的箱号区域；对箱号区域进行文字识别，输出集装箱的箱号；其中，图形特征包括：集装箱箱门的轮廓和高度、集装箱箱门的文字密度、集装箱箱号的校验位；如此，利用可移动终端设备采集集装箱图像数据，降低了对设备、场地的要求；利用基于卷积神经网络的文字检测算法对图像数据进行识别，确保在自然环境下文字检测的成功率；利用集装箱箱门的图形特征进行特征分析，提高箱号的识别率。

Description

一种集装箱号的识别方法、装置及移动终端
技术领域
本发明涉及集装箱识别技术领域，尤其涉及一种集装箱号的识别方法、装置及移动终端。
背景技术
集装箱号码是码头、场站、海关，运输中的重要依据。传统的箱号识别系统主要是应用于码头、场站，海关的特殊监管区域的闸口，这种识别技术要求被识别集装箱必须到指定地点，该处必须按要求设置指定光源、多个工业摄像机，再利用图像识别技术进行识别。
可以看出，上述方案对场地要求较高，安装过程复杂，投入费用较高，只适合固定场景。但对于有些集装箱来说(比如无法移动的集装箱)，上述场地明显是不适合的，进而导致无法进行集装箱号的识别。
发明内容
针对现有技术存在的问题，本发明实施例提供了一种集装箱号的识别方法、装置及移动终端，用于解决现有技术中无法对无法移动的集装箱号进行识别的技术问题。
本发明实施例提供一种集装箱号的识别方法，应用在移动终端中，所述方法包括：
采集集装箱箱门的第一图像数据；
利用基于卷积神经网络的文字检测算法对所述第一图像数据进行处理，确定出文字区域；
获取所述集装箱箱门的图形特征，在所述文字区域对所述图形特征进行特征分析，以确定所述集装箱的箱号区域；
对所述箱号区域进行文字识别，输出所述集装箱的箱号；其中，所述图形特征包括：所述集装箱箱门的轮廓和高度、所述集装箱箱门的文字密度、所述集装箱箱号的校验位。
上述方案中，当所述图形特征为所述集装箱箱门的轮廓和高度时，所述获取所述集装箱箱门的图形特征，包括：
获取所述第一图像数据的灰度图；
根据k-means算法对所述灰度图中全部像素点的灰度值进行聚类计算，获取聚类计算后的第二图像数据；
对所述第二图像数据进行颜色分析，确定所述集装箱箱门的轮廓和高度。
上述方案中，当所述图形特征为所述集装箱箱门的文字密度时，所述获取所述集装箱箱门的图形特征，包括：
利用密度聚类算法，将所述文字区域中的文字外框分为点集合；
根据点集合的密度确定所述集装箱箱门的文字密度。
上述方案中，当所述图形特征为所述集装箱箱箱号的校验位时，所述获取所述集装箱箱门的图形特征，包括：
获取所述第一图像数据的灰度图；
对所述灰度图进行边缘检测，以获得边缘检测结果；
对所述边缘检测结果进行多边形拟合，以获得多个多边形；
根据所述集装箱箱号校验位的特征参数在各多边形中确定出所述集装箱箱号的校验位。
上述方案中，所述对所述箱号区域进行文字识别，输出所述集装箱的箱号，包括：
建立集装箱箱号特征库；
利用所述特征库对所述箱号区域进行文字识别，输出所述集装箱的箱号。
上述方案中，所述建立集装箱箱号特征库，包括：
获取不同集装箱箱号的样本数据；
合并所述样本数据，生成合并数据；
利用训练工具对所述合并数据进行训练，生成训练数据；
对所述训练数据进行校正；
根据特征库生成命令将校正后的训练数据生成集装箱箱号特征库。
本发明实施例还提供一种集装箱号的识别装置，所述装置包括：
采集单元，用于采集集装箱箱门的第一图像数据；
处理单元，用于利用基于卷积神经网络的文字检测算法对所述第一图像数据进行处理，确定出文字区域；
获取单元，用于获取所述集装箱箱门的图形特征，在所述文字区域对所述图形特征进行特征分析，以确定所述集装箱的箱号区域；
识别单元，用于对所述箱号区域进行文字识别，输出所述集装箱的箱号；其中，所述图形特征包括：所述集装箱箱门的轮廓和高度、所述集装箱箱门的文字密度、所述集装箱箱号的校验位。
上述方案中，当所述图形特征为所述集装箱箱门的轮廓和高度时，所述获取单元具体用于：
获取所述第一图像数据的灰度图；
根据k-means算法对所述灰度图中全部像素点的灰度值进行聚类计算，获取聚类计算后的第二图像数据；
对所述第二图像数据进行颜色分析，确定所述集装箱箱门的轮廓和高度。
上述方案中，当所述图形特征为所述集装箱箱门的的文字密度时，所述获取单元具体用于：
利用密度聚类算法，将所述文字区域中的文字外框分为点集合；
根据点集合的密度确定所述集装箱箱门的文字密度。
本发明实施例还提供一种移动终端，所述终端包括如上述任一项所述的方法。
本发明实施例提供了一种集装箱号的识别方法及装置，应用在移动终端中，所述方法包括：采集集装箱箱门的第一图像数据；利用基于卷积神经网络的文字检测算法对所述第一图像数据进行处理，确定出文字区域；获取所述集装箱箱门的图形特征，在所述文字区域对所述图形特征进行特征分析，以确定所述集装箱的箱号区域；对所述箱号区域进行文字识别，输出所述集装箱的箱号；其中，所述图形特征包括：所述集装箱箱门的轮廓和高度、所述集装箱箱门的文字密度、所述集装箱箱号的校验位；如此，利用可移动终端设备采集集装箱图像数据，降低了对设备、场地的要求，投入成本较低；利用基于卷积神经网络的文字检测算法对图像数据进行识别，降低对图像数据的拍摄要求，确保在自然环境下文字检测的成功率；利用集装箱箱门的图形特征进行特征分析，可以将干扰图像剔除，提高箱号的识别率，进而可以对无法移动的集装箱号进行高精度识别。
附图说明
图1为本发明实施例一提供的集装箱号的识别方法流程示意图；
图2为本发明实施例一提供的集装箱第一图像数据的灰度图；
图3为本发明实施例一提供的集装箱的第二图像数据；
图4为本发明实施例一提供的对第一图像数据的灰度图进行边缘检测的结果示意图；
图5为本发明实施例二提供的集装箱号的识别装置结构示意图。
具体实施方式
为了解决现有技术中无法对无法移动的集装箱号进行识别的技术问题，本发明提供了一种集装箱号的识别方法及装置，应用在移动终端中，所述方法包括：采集集装箱箱门的第一图像数据；利用基于卷积神经网络的文字检测算法对所述第一图像数据进行处理，确定出文字区域；获取所述集装箱箱门的图形特征，在所述文字区域对所述图形特征进行特征分析，以确定所述集装箱的箱号区域；对所述箱号区域进行文字识别，输出所述集装箱的箱号；其中，图形特征包括：所述集装箱箱门的轮廓和高度、所述集装箱箱门的文字密度、所述集装箱箱号的校验位。
下面通过附图及具体实施例对本发明的技术方案做进一步的详细说明。
实施例一
本实施例提供一种集装箱号的识别方法，应用在移动终端中，方法包括：
S110，采集集装箱箱门的第一图像数据。
本实施例中，可利用手持移动设备采集集装箱箱门的第一图像数据，移动设备可包括：智能手机、IPAD等一些智能终端。
S111，利用基于卷积神经网络的文字检测算法对所述第一图像数据进行处理，确定出文字区域。
获取到第一图像数据后，由于第一图像数据是在自然环境下采集的，因此为了提高图像中文字检测的成功率，本实施例是利用基于卷积神经网络的文字检测算法对第一图像数据进行处理的，以能高精度获取箱门上可能存在的文字区域。
其中，本实施例中的文字检测算法是基于深度学习的算法，可以直接从预先建立的图像训练数据中学习有效特征，来预测图像数据中的文本实例及几何形状。
作为一种可选的实施例，在利用基于卷积神经网络的文字检测算法对所述第一图像数据进行处理，确定出文字区域，具体实现如下：
构建主干特征提取网络，用于特征提取。
为了解决文本行尺度变换剧烈的问题，提高预测的准确率，本文利用主干特征提取网络提取第一图像数据中不同水平的特征映射图；其中，各特征映射图的尺寸分别为第一图像数据的1/32、1/16、1/8和1/4，这样就可以得到不同尺寸、不同角度的特征映射图。这样，就可以利用大尺度的特征映射图预测小的文本行，利用小尺度的特征映射图预测大的文本行。
提取到不同水平的特征映射图后，在特征合并层中将所有的特征映射图按照预先设置的合并规则从顶部向下进行合并，最终在全卷积网络(FCN，Fully ConvolutionalNetworks)的输出层获得大量的预测文字矩形区域及评分；
在预测出的多个文字矩形区域，利用非极大值抑制算法(NMS，Non-MaximumSuppression)，根据预设的重叠比率去除冗余的矩形，获得最终的预测结果，预测结果为矩形区域。
这里，在输出矩形区域时，同时还输出该矩形的得分。根据不同文本的形状，矩形区域可分为旋转矩形和水平矩形。
S112，获取所述集装箱箱门的图形特征，在所述文字区域对所述图形特征进行特征分析，以确定所述集装箱的箱号区域；
确定出文字区域之后，会获得集装箱箱门上可能的文字的全部位置，接下来就是要确定箱号区域，具体实现如下：
获取集装箱箱门的图形特征，在文字区域对图形特征进行特征分析，确定集装箱的箱号区域。其中，图形特征包括：集装箱箱门的轮廓和高度、集装箱箱门的文字密度、集装箱箱号的校验位。
本文获取的集装箱箱门必须是完整的箱门，为了提取箱门的轮廓和高度，根据箱门在第一图像数据中占有的最大区域，利用k-means算法对第一图像数据进行分割，获取箱门的轮廓。
作为一种可选的实施例，当图形特征为集装箱箱门的轮廓和高度时，获取集装箱箱门的图形特征，包括：
获取第一图像数据的灰度图，可参见图2；
根据k-means算法对所述灰度图中全部像素点的灰度值进行聚类计算，获取聚类计算后的第二图像数据；
对第二图像数据进行颜色分析，确定所述集装箱箱门的轮廓和高度。
具体地，本实施例中在k-means算法对灰度图中全部像素点的灰度值进行聚类计算时，按照预先的迭代次数进行迭代(比如10次)，将灰度值分成3种像素点的集合，把像素点数据点为第一的像素点颜色设置为白色，灰度值为255；把像素点数据点为第二的像素点颜色设置为黑色(灰度值为0)，把像素点数据点为第三的像素点颜色设置为不同于上述两种颜色的其他颜色(比如可以将灰度值设置为100)，那么聚类计算后的第二图像数据可以参见图3。
然后，通过第二图像数据中的颜色变化分析，可以确定出箱门高度和轮廓。这里，箱门高度有利于缩小箱号区域的方位，减少其他背景文字的干扰。并且由于箱门最低位置容易受地面染色或光线干扰，因此没有提取。左右两边容易受其他集装箱干扰，因此也没有提取。
作为一种可选的实施例，当确定出箱门高度和轮廓后，还要继续获取该箱门上的文字密度，那么获取集装箱箱门的图形特征，包括：
利用DBSCAN密度聚类算法，将所述文字区域中的文字外框分为点集合；
根据点集合的密度确定所述集装箱箱门的文字密度。
具体地，确定出文字区域后，可以获取到文字的外框(矩形框)，然后获取文字外框的四个顶点和一个中心点，利用DBSCAN密度聚类算法，按照点的疏密程度将各外框分成若干个点集合，点集合密度大的区域就是文字密度大的区域。
作为一种可选的实施例，获取到文字密度大的区域后，可以在该区域进行分析，以获取集装箱箱号的校验位，那么获取集装箱箱门的图形特征，包括：
获取第一图像数据的灰度图，可继续参见图2；
在文字密度大的区域对灰度图进行边缘检测，以获得边缘检测结果，边缘检测结果可参见图4；
对边缘检测结果进行多边形拟合，以获得多个最接近原始图形的多边形；
根据集装箱箱号校验位的特征参数在各多边形中确定出集装箱箱号的校验位。这里，集装箱箱号校验位的特征参数可以为：校验位的外框形状及外框的宽高比。
其中，因校验位的外框形状为矩形框。因此当获取到多个多边形后，再根据多边形的顶点数量确定出矩形框，根据校验位外方框宽高比排除干扰项，确定出校验位的外方框。
一旦确定出校验位的外方框相当于确定出了校验位的位置，那么就可以根据该校验位准确定位箱号所在的区域了。
S113，对所述箱号区域进行文字识别，输出所述集装箱的箱号。
上述步骤中，通过箱号定位，可以将箱号区域与第一图像数据分离，最终获得去除干扰图像的箱号区域。
确定出集装箱箱号区域后，可以利用文字识别算法对箱号区域进行文字识别，输出集装箱的箱号。
作为一种可选的实施例，为了提高文字识别率，对箱号区域进行文字识别，输出集装箱的箱号，包括：
建立集装箱箱号特征库；
利用特征库对所述箱号区域进行文字识别，输出集装箱的箱号。
作为一种可选的实施例，建立集装箱箱号特征库，包括：
获取不同集装箱箱号的样本数据；
合并所述样本数据，生成合并数据；
利用训练工具对所述合并数据进行训练，生成训练数据；
对训练数据进行校正；
根据特征库生成命令将校正后的训练数据生成集装箱箱号特征库。
具体地，在获取不同集装箱箱号的样本数据时，样本数据应该是较为清晰且相对水平的图形。为了提高特征库的预测精度，样本数据一般越多越好。
然后利用训练工具将各个样本数据进行合并，合并数据为.GIF格式文件。再利用训练工具将合并后的.GIF格式文件进行训练，生成训练文件，训练文件为.box格式文件。
训练数据生成后，难免会出现偏差，还需根据参考数据校正识别错误的内容及识别错误的区域。
然后利用特征库生成命令将校正后的训练数据生成集装箱箱号特征库，这样在利用该特征库进行识别时，可以提高识别精度。
基于同样的发明构思，本发明还提供一种集装箱号的识别装置，详见实施例二。
实施例二
本实施例提供一种集装箱号的识别装置，如图5所示，装置包括：采集单元51、处理单元52、获取单元53及识别单元54；其中，
采集单元51，用于采集集装箱箱门的第一图像数据；
本实施例中，采集单元51可以为手持移动设备的摄像头，移动设备可包括：智能手机、IPAD等一些智能终端。
获取到第一图像数据后，由于第一图像数据是在自然环境下采集的，因此为了提高图像中文字检测的成功率，本实施例的处理单元52是利用基于卷积神经网络的文字检测算法对第一图像数据进行处理的，以能高精度获取箱门上可能存在的文字区域。
作为一种可选的实施例，处理单元52具体用于：
构建主干特征提取网络，用于特征提取。
为了解决文本行尺度变换剧烈的问题，提高预测的准确率，本文利用主干特征提取网络提取第一图像数据中不同水平的特征映射图；其中，各特征映射图的尺寸分别为第一图像数据的1/32、1/16、1/8和1/4，这样就可以得到不同尺寸、不同角度的特征映射图。这样，就可以利用大尺度的特征映射图预测小的文本行，利用小尺度的特征映射图预测大的文本行。
提取到不同水平的特征映射图后，在特征合并层中将所有的特征映射图按照预先设置的合并规则从顶部向下进行合并，最终在全卷积网络FCN的输出层获得大量的预测文字矩形区域及评分；
在预测出的多个文字矩形区域，利用非极大值抑制算法NMS，根据预设的重叠比率除去冗余的矩形，获得最终的预测结果，预测结果为矩形区域。
这里，在输出矩形区域时，同时还输出该矩形的得分。根据不同文本的形状，矩形区域可分为旋转矩形和水平矩形。
确定出文字区域之后，会获得集装箱箱门上可能的文字的全部位置，接下来就是要确定箱号区域，具体实现如下：
获取单元53获取集装箱箱门的图形特征，在文字区域对图形特征进行特征分析，确定集装箱的箱号区域。其中，图形特征包括：集装箱箱门的轮廓和高度、集装箱箱门的文字密度、集装箱箱号的校验位。
本文获取的集装箱箱门必须是完整的箱门，为了提取箱门的轮廓和高度，获取单元53根据箱门在第一图像数据中占有的最大区域，利用k-means算法对第一图像数据进行分割，获取箱门的轮廓。
作为一种可选的实施例，当图形特征为集装箱箱门的轮廓和高度时，获取单元53用于：
获取第一图像数据的灰度图，可参见图2；
根据k-means算法对所述灰度图中全部像素点的灰度值进行聚类计算，获取聚类计算后的第二图像数据；
对第二图像数据进行颜色分析，确定所述集装箱箱门的轮廓和高度。
具体地，本实施例中在k-means算法对灰度图中全部像素点的灰度值进行聚类计算时，按照预先的迭代次数进行迭代(比如10次)，将灰度值分成3种像素点的集合，把像素点数据点为第一的像素点颜色设置为白色，灰度值为255；把像素点数据点为第二的像素点颜色设置为黑色(灰度值为0)，把像素点数据点为第三的像素点颜色设置为不同于上述两种颜色的其他颜色(比如可以将灰度值设置为100)，那么聚类计算后的第二图像数据可以参见图3。
然后，通过第二图像数据中的颜色变化分析，可以确定出箱门高度和轮廓。这里，箱门高度有利于缩小箱号区域的方位，减少其他背景文字的干扰。并且由于箱门最低位置容易受地面染色或光线干扰，因此没有提取。左右两边容易受其他集装箱干扰，因此也没有提取。
作为一种可选的实施例，当确定出箱门高度和轮廓后，还要继续获取该箱门上的文字密度，那么获取单元53用于：
利用DBSCAN密度聚类算法，将所述文字区域中的文字外框分为点集合；
根据点集合的密度确定所述集装箱箱门的文字密度。
具体地，确定出文字区域后，可以获取到文字的外框(矩形框)，然后获取文字外框的四个顶点和一个中心点，利用DBSCAN密度聚类算法，按照点的疏密程度将各外框分成若干个点集合，点集合密度大的区域就是文字密度大的区域。
作为一种可选的实施例，获取到文字密度大的区域后，可以在该区域进行分析，以获取集装箱箱号的校验位，那么获取单元53用于：
获取第一图像数据的灰度图，可继续参见图2；
在文字密度大的区域对灰度图进行边缘检测，以获得边缘检测结果，边缘检测结果可参见图4；
对边缘检测结果进行多边形拟合，以获得多个最接近原始图形的多边形；
根据集装箱箱号校验位的特征参数在各多边形中确定出集装箱箱号的校验位。这里，集装箱箱号校验位的特征参数可以为：校验位的外框形状及外框的宽高比。
其中，因校验位的外框形状为矩形框。因此当获取到多个多边形后，再根据多边形的顶点数量确定出矩形框，根据校验位外方框宽高比排除干扰项，确定出校验位的外方框。
一旦确定出校验位的外方框相当于确定出了校验位的位置，那么就可以根据该校验位准确定位箱号所在的区域了。
通过箱号定位，可以将箱号区域与第一图像数据分离，最终获得去除干扰图像的箱号区域。
识别单元54，用于对箱号区域进行文字识别，输出集装箱的箱号。
作为一种可选的实施例，为了提高文字识别率，识别单元54具体用于：
建立集装箱箱号特征库；
利用特征库对所述箱号区域进行文字识别，输出集装箱的箱号。
作为一种可选的实施例，识别单元54建立集装箱箱号特征库，包括：
获取不同集装箱箱号的样本数据；
合并样本数据，生成合并数据；
利用训练工具对合并数据进行训练，生成训练数据；
对训练数据进行校正；
根据特征库生成命令将校正后的训练数据生成集装箱箱号特征库。
具体地，在获取不同集装箱箱号的样本数据时，样本数据应该是较为清晰且相对水平的图形。为了提高特征库的预测精度，样本数据一般越多越好。
然后利用训练工具将各个样本数据进行合并，合并数据为.GIF格式文件。再利用训练工具将合并后的.GIF格式文件进行训练，生成训练文件，训练文件为.box格式文件。
训练数据生成后，难免会出现偏差，还需根据参考数据校正识别错误的内容及识别错误的区域。
然后利用特征库生成命令将校正后的训练数据生成集装箱箱号特征库，这样在利用该特征库进行识别时，可以提高识别精度。
基于同样的发明构思，本发明还提供一种移动终端，可以对无法移动的集装箱号进行识别，其识别方法与包括实施例一中的识别方法相同，故而不再赘述。
本发明实施例提供的集装箱号的识别方法、装置及移动终端能带来的有益效果至少是：
本发明实施例提供了一种集装箱号的识别方法及装置，应用在移动终端中，方法包括：采集集装箱箱门的第一图像数据；利用文字检测算法对所述第一图像数据进行处理，确定出文字区域；获取所述集装箱箱门的图形特征，在文字区域对所述图形特征进行特征分析，以确定集装箱的箱号区域；对箱号区域进行文字识别，输出集装箱的箱号；其中，图形特征包括：所述集装箱箱门的轮廓和高度、所述集装箱箱门的文字密度、所述集装箱箱号的校验位；如此，可以利用一台可移动终端设备采集集装箱图像数据，不同于传统方案中需要多个摄像头采集多个角度的图像再进行合并，进而降低了对设备、场地的要求，投入成本较低，扩展了应用场景；利用基于卷积神经网络的文字检测算法对图像数据进行识别，降低对图像数据的拍摄要求，确保在自然环境下文字检测的成功率；利用集装箱箱门的图形特征进行特征分析，可以将干扰图像剔除，提高箱号的识别率，进而可以对无法移动的集装箱号进行高精度识别。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种集装箱号的识别方法，其特征在于，应用在移动终端中，所述方法包括：
采集集装箱箱门的第一图像数据；
利用基于卷积神经网络的文字检测算法对所述第一图像数据进行处理，确定出文字区域；
获取所述集装箱箱门的图形特征，在所述文字区域对所述图形特征进行特征分析，以确定所述集装箱的箱号区域；
对所述箱号区域进行文字识别，输出所述集装箱的箱号；其中，所述图形特征包括：所述集装箱箱门的轮廓和高度、所述集装箱箱门的文字密度、所述集装箱箱号的校验位；
当所述图形特征为所述集装箱箱门的轮廓和高度时，所述获取所述集装箱箱门的图形特征，包括：
获取所述第一图像数据的灰度图；
根据k-means算法对所述灰度图中全部像素点的灰度值进行聚类计算，获取聚类计算后的第二图像数据；
对所述第二图像数据进行颜色分析，确定所述集装箱箱门的轮廓和高度；
当所述图形特征为所述集装箱箱门的文字密度时，所述获取所述集装箱箱门的图形特征，包括：
利用密度聚类算法，将所述文字区域中的文字外框分为点集合；
根据点集合的密度确定所述集装箱箱门的文字密度；
当所述图形特征为所述集装箱箱箱号的校验位时，所述获取所述集装箱箱门的图形特征，包括：
获取所述第一图像数据的灰度图；
对所述灰度图进行边缘检测，以获得边缘检测结果；
对所述边缘检测结果进行多边形拟合，以获得多个多边形；
根据所述集装箱箱号校验位的特征参数在各多边形中确定出所述集装箱箱号的校验位；
所述在所述文字区域对所述图形特征进行特征分析，以确定所述集装箱的箱号区域，包括：
确定所述集装箱箱门高度和轮廓；
获取所述集装箱箱门上的文字密度，确定箱门上文字密度最大的区域；
在箱门上文字密度最大的区域进行分析，获取所述集装箱箱号的校验位；
根据所述校验位定位所述集装箱的箱号区域。
2.如权利要求1所述的方法，其特征在于，所述对所述箱号区域进行文字识别，输出所述集装箱的箱号，包括：
建立集装箱箱号特征库；
利用所述特征库对所述箱号区域进行文字识别，输出所述集装箱的箱号。
3.如权利要求2所述的方法，其特征在于，所述建立集装箱箱号特征库，包括：
获取不同集装箱箱号的样本数据；
合并所述样本数据，生成合并数据；
利用训练工具对所述合并数据进行训练，生成训练数据；
对所述训练数据进行校正；
根据特征库生成命令将校正后的训练数据生成集装箱箱号特征库。
4.一种集装箱号的识别装置，其特征在于，所述装置包括：
采集单元，用于采集集装箱箱门的第一图像数据；
处理单元，用于利用基于卷积神经网络的文字检测算法对所述第一图像数据进行处理，确定出文字区域；
获取单元，用于获取所述集装箱箱门的图形特征，在所述文字区域对所述图形特征进行特征分析，以确定所述集装箱的箱号区域；
识别单元，用于对所述箱号区域进行文字识别，输出所述集装箱的箱号；其中，所述图形特征包括：所述集装箱箱门的轮廓和高度、所述集装箱箱门的文字密度、所述集装箱箱号的校验位。
5.如权利要求4所述的装置，其特征在于，当所述图形特征为所述集装箱箱门的轮廓和高度时，所述获取单元具体用于：
获取所述第一图像数据的灰度图；
根据k-means算法对所述灰度图中全部像素点的灰度值进行聚类计算，获取聚类计算后的第二图像数据；
对所述第二图像数据进行颜色分析，确定所述集装箱箱门的轮廓和高度。
6.如权利要求4所述的装置，其特征在于，当所述图形特征为所述集装箱箱门的文字密度时，所述获取单元具体用于：
利用密度聚类算法，将所述文字区域中的文字外框分为点集合；
根据点集合的密度确定所述集装箱箱门的文字密度。
7.一种移动终端，其特征在于，所述终端包括如权利要求1至3任一项所述的方法。
CN201910337746.4A 2019-04-25 2019-04-25 一种集装箱号的识别方法、装置及移动终端 Active CN110119742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910337746.4A CN110119742B (zh) 2019-04-25 2019-04-25 一种集装箱号的识别方法、装置及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337746.4A CN110119742B (zh) 2019-04-25 2019-04-25 一种集装箱号的识别方法、装置及移动终端

Publications (2)

Publication Number Publication Date
CN110119742A CN110119742A (zh) 2019-08-13
CN110119742B true CN110119742B (zh) 2023-07-07

Family

ID=67521506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337746.4A Active CN110119742B (zh) 2019-04-25 2019-04-25 一种集装箱号的识别方法、装置及移动终端

Country Status (1)

Country Link
CN (1) CN110119742B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659634A (zh) * 2019-08-23 2020-01-07 上海撬动网络科技有限公司 一种基于颜色定位和字符分割的集装箱箱号定位方法
CN110852324A (zh) * 2019-08-23 2020-02-28 上海撬动网络科技有限公司 一种基于深度神经网络集装箱箱号检测方法
CN111507353B (zh) * 2020-04-17 2023-10-03 新分享科技服务(深圳)有限公司 一种基于文字识别的中文字段检测方法及系统
CN113569829A (zh) * 2021-06-09 2021-10-29 浙江工商大学 集装箱编码数据识别方法及系统
CN113496212A (zh) * 2021-06-25 2021-10-12 腾讯云计算（北京）有限责任公司 箱式结构的文本识别方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024144A (zh) * 2010-11-23 2011-04-20 上海海事大学 集装箱箱号自动识别方法
CN105574513A (zh) * 2015-12-22 2016-05-11 北京旷视科技有限公司 文字检测方法和装置
CN106067023A (zh) * 2016-06-02 2016-11-02 北京国泰星云科技有限公司 基于图像处理的集装箱箱号及集卡车号识别系统及方法
CN106203539A (zh) * 2015-05-04 2016-12-07 杭州海康威视数字技术股份有限公司 识别集装箱箱号的方法和装置
CN108596166A (zh) * 2018-04-13 2018-09-28 华南师范大学 一种基于卷积神经网络分类的集装箱箱号识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024144A (zh) * 2010-11-23 2011-04-20 上海海事大学 集装箱箱号自动识别方法
CN106203539A (zh) * 2015-05-04 2016-12-07 杭州海康威视数字技术股份有限公司 识别集装箱箱号的方法和装置
CN105574513A (zh) * 2015-12-22 2016-05-11 北京旷视科技有限公司 文字检测方法和装置
CN106067023A (zh) * 2016-06-02 2016-11-02 北京国泰星云科技有限公司 基于图像处理的集装箱箱号及集卡车号识别系统及方法
CN108596166A (zh) * 2018-04-13 2018-09-28 华南师范大学 一种基于卷积神经网络分类的集装箱箱号识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"大角度透视变形集装箱图像箱号识别方法";张绍明等;《同济大学学报（自然科学版）》;20190208;第47卷(第2期);论文第1.3节 *

Also Published As

Publication number Publication date
CN110119742A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110119742B (zh) 一种集装箱号的识别方法、装置及移动终端
CN106778835B (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN109753953B (zh) 图像中定位文本的方法、装置、电子设备和存储介质
CN107358258B (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN107563379B (zh) 用于对自然场景图像中文本的定位方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN103186904A (zh) 图片轮廓提取方法及装置
CN112989995B (zh) 文本检测方法、装置及电子设备
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN113392669B (zh) 一种图像信息检测方法、检测装置及存储介质
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN113327255A (zh) 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法
CN111985488B (zh) 一种基于离线高斯模型的目标检测分割方法及系统
CN114419430A (zh) 一种基于SE-U-Net++模型的耕地地块提取方法及装置
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN116543325A (zh) 基于无人机影像的农作物人工智能自动识别方法和系统
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN113343987B (zh) 文本检测处理方法、装置、电子设备及存储介质
CN107368832A (zh) 基于图像的目标检测及分类方法
CN107145888A (zh) 视频字幕实时翻译方法
CN113658195A (zh) 图像分割方法、装置及电子设备
CN105335717A (zh) 基于智能移动终端视频抖动分析的人脸识别系统
CN110889418A (zh) 一种气体轮廓识别方法
CN117115498A (zh) 用于识别气象图的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant