CN108205673B - 用于集装箱码识别的方法和系统 - Google Patents

用于集装箱码识别的方法和系统 Download PDF

Info

Publication number
CN108205673B
CN108205673B CN201711368337.8A CN201711368337A CN108205673B CN 108205673 B CN108205673 B CN 108205673B CN 201711368337 A CN201711368337 A CN 201711368337A CN 108205673 B CN108205673 B CN 108205673B
Authority
CN
China
Prior art keywords
identification code
container identification
proposals
code
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711368337.8A
Other languages
English (en)
Other versions
CN108205673A (zh
Inventor
M·夏尔马
L·威戈
R·S·M·和巴拉古皮
E·哈桑
A·维玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tata Consultancy Services Ltd
Original Assignee
Tata Consultancy Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tata Consultancy Services Ltd filed Critical Tata Consultancy Services Ltd
Publication of CN108205673A publication Critical patent/CN108205673A/zh
Application granted granted Critical
Publication of CN108205673B publication Critical patent/CN108205673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本申请提供一种用于经由空间变换网络(STN)和连通分支(CC)确定集装箱码识别的方法和系统。所述方法包括：使用图像捕获设备来捕获集装箱的图像，使用图像预处理模块得以预处理所捕获的图像。所述方法还包括：使用区域提取模块从预处理的图像提取并且过滤区域提议，以生成重新分组的区域提议。下一步骤包括：使用分类模块通过实现受训练的空间变换网络将重新分组的区域提议分类为字符，以生成区域提议的有效群组，其具有集装箱标识码的多于一个的区块；以及最后，生成用于所述区域提议的有效群组的序列且将所生成的序列映射到预定标准集装箱标识码，以确定集装箱标识码，其中，所述预定标准集装箱标识码包括预定图案形式的字符块。

Description

用于集装箱码识别的方法和系统
相关申请的交叉引用和优先权
本专利申请要求2016年12月16日提交的印度专利申请201621042986的优先权，其通过引用完整合并到此。
技术领域
本申请总体上涉及字符检测和识别。具体地说，本申请提供一种经由空间变换网络和连通分支的用于集装箱码识别的方法和系统。
背景技术
每天数百万的船只集装箱运送去往并且来自世界的航运港口。对这些集装箱的精确簿记对于确保用于贸易货物的及时到达和调遣是关键的。每个集装箱被准予唯一的标识序列码，其当集装箱到达或离开港口时被人工记录。
用于从相机读取集装箱代码的自动化系统将是更快、更廉价并且更可靠的。然而，归因于有褶皱的集装箱表面、不同的背景布局、以及颜色、字体类型、大小、照度、模糊、定向以及其它光度失真方面的变化，按人工执行等级对集装箱编号的自动化读取和记录已经成为挑战。具体地说，有褶皱的表面意味着字符和字体由于来自3D对象的2D投影而失真，使得标准的光学字符识别(OCR)技术执行得糟糕。其它挑战包括集装箱上的锈、泥、剥离的涂料以及外部因素(例如变化的照明条件、雨、雾、雪)，其影响所抓握的车辆或集装箱图像的对比度。
基于用于定位集装箱码区域的方法的传统图像处理的性能严重取决于捕获集装箱图像的相机的定位，其中集装箱码区域是使用支持向量机(SVM)的分类器来识别的。此外，大部分现有技术教导了具有安装成本的使用多个形态(例如视觉和射频识别(RFID))以用于标识的方法和系统。其中文本印制在有褶皱的表面上的用于集装箱码识别的现有方法的效能仍留有问题。附加地，这些方法都不能够动态地适于例如空间变换网络的失真。
发明内容
在描述本方法、系统和硬件启用之前，应理解，本发明不限于所描述的特定系统和方法，因为可以存在本公开中并未明确示出的多个可能的本发明实施例。还应该理解，描述中所使用的术语目的仅在于描述特定版本或实施例，而非旨在限制本发明的范围，本发明的范围将仅由所附权利要求限定。
本申请提供一种用于经由空间变换网络和连通分支的集装箱码识别的方法和系统。
本申请提供一种用于经由空间变换网络(STN)和连通分支(CC)的集装箱码识别的计算机实现的方法，其中，所述方法包括：使用图像捕获设备(200)来捕获集装箱的图像，其中，所述图像包含所述集装箱标识码。使用图像预处理模块(210)来预处理该所捕获的图像。所述方法还包括：使用区域提取模块(212)从预处理的图像提取并且过滤区域提议，以生成重新分组的区域提议，其中，通过实现连通分支(CC)来执行提取和过滤。接下来，所述方法提供步骤：使用分类模块(214)通过实现受训练的空间变换网络(STN)来将重新分组的区域提议分类为字符，以生成区域提议的有效群组，其具有集装箱标识码的多于一个的区块。最后，根据在此所公开的方法，使用码标识模块(216)来生成用于所述区域提议的有效群组的序列且将所生成的序列映射到预定标准集装箱标识码，以确定集装箱标识码，其中，所述预定标准集装箱标识码包括预定图案形式的字符块。
在另一方面中，本申请提供一种用于经由空间变换网络(STN)和连通分支(CC)的集装箱码识别的系统(102)；包括：处理器(202)；存储器(204)；以及可操作地与所述处理器耦合的图像捕获设备(200)。图像捕获设备(200)，被配置为：捕获集装箱的图像，其中，所述图像包含所述集装箱标识码，其然后使用图像预处理模块(210)受预处理。所述系统(102)还包括：区域提取模块(212)，被配置为：从预处理的图像提取并且过滤区域提议，以生成重新分组的区域提议，其中，通过实现连通分支(CC)来执行提取和过滤。此外，所述系统(102)分类模块(214)，被配置为：通过实现受训练的空间变换网络(STN)来将重新分组的区域提议分类为字符，以生成区域提议的有效群组，其具有集装箱标识码的多于一个的区块。所述系统(102)还包括：码标识模块(216)，被配置为：生成用于所述区域提议的有效群组的序列，并且将所生成的序列映射到预定标准集装箱标识码，以确定集装箱标识码，其中，所述预定标准集装箱标识码包括预定图案形式的字符块。
在又一方面中，提供一种或多种非瞬时机器可读信息存储介质，包括一个或多个指令。所述指令当由一个或多个硬件处理器执行时使得：使用图像捕获设备(200)来捕获集装箱的图像，其中，所述图像包含所述集装箱标识码；使用图像预处理模块(210)来预处理所捕获的图像；使用区域提取模块(212)从预处理的图像提取并且过滤区域提议，以生成重新分组的区域提议，其中，通过实现连通分支(CC)来执行提取和过滤；使用分类模块(214)通过实现受训练的空间变换网络(STN)来将重新分组的区域提议分类为字符，以生成区域提议的有效群组，其具有集装箱标识码的多于一个的区块；使用码标识模块(216)来生成用于所述区域提议的有效群组的序列且将所生成的序列映射到预定标准集装箱标识码，以确定集装箱标识码，其中，所述预定标准集装箱标识码包括预定图案形式的字符块；在生成并且映射所述区域提议的有效群组之后，当所述码标识模块(216)并未确定集装箱标识码时，触发告警；使用用于ISO6346码的校验和数字来验证所确定的集装箱标识码；通过以下操作来进行图像预处理：对所述图像进行大小调整，以使得所述图像的原始大小加倍；以及对大小调整后的图像进行二元化，以分离所述图像中的所述集装箱码的一个或多个字符；通过以下操作来生成重新分组的区域提议：使用连通分支来提取区域提议，其中，所提取的区域提议根据所述预定标准集装箱标识码的结构；从所提取的区域提议过滤假阳性；以及基于相似高度的区域提议的空间位置和序列之间的相似性而进行的假阳性消除之后对所述区域提议进行重新分组；通过以下操作来生成区域的有效群组：通过使用包括用于字母的STN(STNalp)和用于数字的STN(STNd)的受训练的STN来将所分组的区域提议分类为字符；将所分组的区域提议匹配于来自预定标准码目录的字符，以生成有效区域提议，其中，所述预定标准码目录包括所述预定标准集装箱标识码的至少一个字符块；以及通过以下操作来生成序列：当所述有效区域提议的至少一个序列中包含所述预定标准集装箱标识码的所有字符块时，通过将所述有效区域提议的序列匹配于所述预定标准集装箱码来确定所述集装箱标识码；以及当所述有效区域提议的至少一个序列中不包含所述预定标准集装箱标识码的所有字符块时，使用启发法来标识有效区域提议的序列中的其余字符块，并且通过将所述有效区域提议的序列和所生成的其余字符块匹配于所述预定标准集装箱标识码来确定所述集装箱标识码。
应理解，前面的普通描述以及以下详细描述仅是示例性和解释性的，而非将本发明限制为所要求的那样。
附图说明
当结合附图阅读时，前面的发明内容以及以下优选实施例的详细描述得以更好地理解。为了示出本发明的目的，在附图中示出本发明的示例性构造；然而，本发明不限于所公开的具体方法和系统。在附图中：
图1：示出根据本主题的实施例的系统的网络实现方式；
图2：示出说明根据本主题的实施例的用于集装箱码识别的系统的框图；
图3：示出说明根据本主题的实施例的用于集装箱码识别的方法的流程图；
图4：示出具有不同块的ISO 6346集装箱码部分；以及
图5：示出具有ISO码中的各个字符的位置和类型的ISO 6346集装箱码部分。
具体实施方式
现将详细讨论示出本发明所有特征的本发明的一些实施例。
词语“包含”、“具有”、“含有”和“包括”以及它们的其它形式旨在意思上是等同的，并且是开放性的，在于：在这些词中的任一个之后的一个或多个项并非是所述一个或多个项的详尽列表，也并非仅限于所列出的一个或多个项。
还必须注意，如在此和在所附权利要求中使用的那样，单数形式的“某个”、“一个”和“这个”包括复数指代，除非上下文清楚地另外指明。虽然与在此所描述的相似或等同的任何系统和方法可以用在本发明实施例的实践或测试中，但现描述优选系统和方法。
所公开的实施例仅是本发明的示例，可以通过各种形式来实施本发明。
附图所示的要素相互操作，如以下更详细地解释的那样。然而，在阐述详细解释之前，要注意，无论如何描述特定实现方式，以下的所有讨论本质上都是示例性的，而非限制性的。例如，虽然实施方式的所选方面、特征或组件描绘为存储在存储器中，但与磨耗警告系统和方法一致的系统和方法的全部或一部分可以存储在其它机器可读介质上，遍历其而分布，或从其得以读取。
上述技术可以实现于包括任何数量的以下组件的组合的可编程计算机上执行(或可由其执行)的一个或多个计算机程序中：处理器、可由处理器(包括例如易失性以及非易失性存储器和/或存储元件)读取和/或写入的存储介质、多个输入单元以及多个输出设备。程序代码可以应用于使用任何多个输入单元录入的输入，以执行所描述的功能并且生成显示在任何多个输出设备上的输出。
可以通过任何编程语言(例如汇编语言、机器语言、高级过程编程语言或面向对象的编程语言)实现所附权利要求的范围内的每个计算机程序。编程语言可以例如是编译性或解释性编程语言。每个这种计算机程序可以实现于有形地实施在机器可读存储设备中以用于由计算机处理器执行的计算机程序产品中。
本发明的方法步骤可以由执行有形地实施在计算机可读介质上以通过操作输入并且生成输出来执行本发明的功能的一个或多个计算机处理器执行。通过示例的方式，合适的处理器包括通用微处理器和专用微处理器。通常，处理器从存储器(例如只读存储器和/或随机存取存储器)接收(读取)指令和数据并且将指令和数据写入(存储)到存储器。适合于有形地实施计算机程序指令和数据的存储设备包括例如所有形式的非易失性存储器(例如半导体存储器设备(包括EPROM、EEPROM和闪存设备)；磁盘(例如内部硬盘和可拆卸盘)；磁光盘；以及CD-ROM)。任何前述元件可以通过特别设计的ASIC(专用集成电路)或FPGA(现场可编程门阵列)得以补充，或包括于其中。计算机通常也可以将程序和数据接收(读取)自并且将程序和数据写入(存储)到非瞬时计算机可读存储介质(例如内部盘(未示出)或可拆卸盘)。
在此所公开的任何数据可以例如实现于有形地存储在非瞬时计算机可读介质上的一个或多个数据结构中。本发明实施例可以将这些数据存储在数据结构中并且从这些数据结构读取这些数据。
本申请提供一种经由空间变换网络和连通分支用于集装箱码识别的计算机实现的方法和系统。
现参照图1，示出根据本主题的实施例的经由空间变换网络和连通分支用于集装箱码识别的系统102的网络实现方式100。虽然是考虑在服务器上实现系统102来解释本主题，但应理解，系统102也可以实现于各种计算系统(例如膝上型计算机、台式计算机、笔记本、工作站、大型计算机、服务器、网络服务器等)中。在一个实现方式中，系统102可以实现于基于云的环境中。在另一实施例中，其可以实现为被设计为高效地执行所公开的发明的定制构建硬件。应理解，多个用户可以通过一个或多个用户设备104-1、104-2……104-N(下文中通称为用户设备104)或驻留在用户设备104上的应用来访问系统102。用户设备104的示例可以包括但不限于便携式计算机、个人数字助理、手持设备以及工作站。用户设备104可以通过网络106以通信方式耦合到系统102。
在一个实现方式中，网络106可以是无线网络、有线网络或其组合。网络106可以实现为不同类型的网络之一(例如内联网、局域网(LAN)、广域网(WAN)、互联网等)。网络106可以要么是专用网络要么是共享网络。共享网络表示使用各种协议(例如超文本传输协议(HTTP)、传输控制协议/互联网协议(TCP/IP)、无线应用协议(WAP)等)以与彼此进行通信的不同类型的网络的联合。此外，网络106可以包括各种网络设备，包括路由器、网桥、服务器、计算设备、存储设备等。
在一个实施例中，本发明参照图2描述系统(102)的各个组件的详细工作。系统(102)包括处理器(202)、存储器(204)以及可操作地与所述处理器耦合的图像捕获设备(200)。图像捕获设备(200)被配置为：捕获集装箱的图像，从而所捕获的图像包含集装箱标识码。
系统(102)还包括图像预处理模块(210)，其被配置为：预处理所捕获的图像。在一实施例中，图像预处理可以包括：对图像进行大小调整，以使得它们的原始大小加倍，并且对它们进行二元化，以分离字符，从而使得能够经由连通分支(CC)进行容易的提精(distillation)，以用于生成区域提议。
系统还包括区域提取模块(212)，其被配置为：从预处理的图像提取并且过滤区域提议，以生成重新分组的区域提议。在实施例中，提取区域提议包括：使用CC区域提议来提取提议，从而使得区域提议符合预定集装箱标识码，从而提取集装箱码中的每个字符。
此外，区域提取模块(212)被配置为：过滤所提取的区域提议，以生成所过滤的区域提议，从而所过滤的区域提议归因于假阳性消除而具有更小的假阳性，其中假阳性消除基于的是为获得包含相似高度的字符的聚类的高度相似性。在集装箱码是ISO6346码的实施例中，使用包含十五个字符的ISO码的预定结构并且它们的边框具有近似相等的高度(如图4所示)，可以通过基于包含相似高度的字符的聚类的高度相似性对区域提议进行聚类来过滤掉区域提议。随后，对于ISO码，可以丢弃包含少于十五个区域提议的聚类。此后，噪声(非文本区域提议)得以过滤掉，并且包含十五个或更多个区域提议的聚类进一步得到处理。
此外，区域提取模块对群组重新分组，以保留相似高度的区域提议的空间位置和序列。在集装箱标识码的字符在空间上写得彼此接近的实施例中，在固定水平或垂直图案中，关于具有这些图案的群组进行搜索，并且标识潜在码字符周围的窗口。
在此所公开的系统(102)还包括分类模块(214)，其被配置为：通过实现受训练的空间变换网络(STN)来将重新分组的区域提议分类为字符，以生成区域提议的有效群组，其具有集装箱标识码的多于一个的区块。在一实施例中，分类包括：经由受训练的STNs将所分组的区域提议分类为字符，从而STNs包括用于分别标识字母和数字的STNalp和STNdig。由于集装箱标识码是具有预定结构的预定码，因此可以在有关的STN处实现有关的STN，以在运行时间时从适当的分类器得到适当的输出。
此外，在一个方面中，分类模块可以被配置为：将这两个STN的输出匹配于包括多个预定标准集装箱标识码的集装箱标识码目录。在集装箱标识码是ISO码并且目录是ISO目录的实施例中，选择前四个字符与ISO码目录的任何项匹配的集合，并且丢弃其余。
可以注意，系统(102)所使用的STN是对于字母和数字分离地预先受训练的STN。
在此所公开的系统还包括码标识模块(216)，其被配置为：通过生成用于区域提议的有效群组的序列并且将所生成的序列映射到预定标准集装箱标识码来确定集装箱码，其中，预定标准集装箱标识码包括预定图案形式的字符块。
在一实施例中，码标识模块(216)在群组的空间位置上使用字符计数和启发法，以生成有效群组的序列。此外，检查每个匹配群组内部的区域提议的数量，并且可以确定更多群组的需求。此外，关于预定集装箱标识码的现有信息可以用于提取该码。在集装箱标识码是ISO码的实施例中，ISO码信息可以用于确定集装箱标识码，从而：a)如果第一群组具有15个区域提议，这说明该群组包含ISO码的所有三个区块(即ISO码的所有15个字符)，并且其(沿水平/垂直)以单条线书写。因此，该群组可以选作最终输出群组。b)如果在第一群组中存在11个区域提议，则这意味着该群组包含ISO码的前两个区块。于是，可以通过寻找具有相同(水平或垂直)图案的恰好4个区域提议的最接近的群组并且将该群组标识为最终群组来搜索第三个区块。c)如果匹配群组具有四个字符区域提议，则这说明该群组是ISO码的第一个区块，于是通过搜索包含(与第二个区块对应的)至少七个字符的群组来搜索其余两个区块，依此类推。基于相似特性，可以对各个不同集装箱标识码类似地实现该处理。
在使用码标识模块执行上述分析之后，作为结果，标识了最终群组。在ISO码的情况下，我们在此得到的最终群组的数量可以是1、2或3。如果其为1，则这说明其具有ISO码的所有15个字符。如果其为2，则这说明这两个群组之一具有一个区块，并且另一群组具有ISO码的两个区块。如果其为3，则这说明每个群组具有ISO码的一个区块。基于该码的特性，对各个其它集装箱标识码进行相似分析。
以上最终输出然后映射到STN输出，以生成确定为集装箱的集装箱标识码的码序列。在集装箱标识码是ISO码的实施例中，如图5所示的ISO码图案用于判断STN的类型，以应用于识别15区域提议中的每一个。分别地，使用STNalp来识别前四个字符，使用STNdig来识别接下来的七个字符，再次使用STNdig来识别接下来的两个字符，并且经由STNalp和STNdig来识别最后两个字符。组合产生最终输出(即在集装箱主体上写入的15个字符的ISO码)。
在其中于此所提及的处理之后系统(102)不能标识集装箱码的实施例中，系统可以触发表示集装箱码并未由系统确定的告警。码标识模块(216)可以被配置为触发该告警。
现参照图3，示出了说明经由空间变换网络和连通分支用于集装箱码识别的方法的流程图。处理开始于步骤302，其中，使用图像捕获设备来捕获集装箱的图像，其中，图像包含集装箱标识码。
在步骤304，使用图像预处理模块来预处理所捕获的图像。在一方面中，预处理可以包括：对图像进行大小调整，以使得它们的原始大小加倍，并且对它们进行二元化，以分离字符，以使得能够经由连通分支(CC)进行容易的提精，以用于生成区域提议。
在步骤306，所述方法包括：从预处理的图像提取并且过滤区域提议，用于生成重新分组的区域提议。此外，在步骤308，方法包括：通过实现受训练的空间变换网络(STN)来将重新分组的区域提议分类为字符，以生成区域提议的有效群组，其具有集装箱标识码的多于一个的区块。
最后，在步骤310，通过生成用于区域提议的有效群组的序列并且将所生成的序列映射到预定标准集装箱标识码来确定集装箱标识码。
在不能确定集装箱标识码的实施例中，所述方法可以还包括触发步骤：在实现所述方法之后，触发表示并未确定集装箱码的告警。
在集装箱标识码是ISO码的另一实施例中，在此所公开的方法还包括：使用用于ISO 6346码的校验和数字来验证所确定的ISO(集装箱标识码)码。
以下段落包含旨在说明所提出的系统和方法的工作及其效率和精度的实验性结果。以下段落中所公开的系统和方法的实现方式是很多实现方式之一，并且它们不能被看作限定本发明的范围，本发明的范围仅由所附权利要求限定。
在装配有Intel Xeon(R)处理器和具有40GB的RAM的NVIDIA Quadro 4000GPU的服务器上进行实验。所提出的方法使用上述硬件规格关于完整集装箱码的识别大约花费2.47秒来识别每集装箱图像。在此应注意，所有实验是在不同数据集上进行的，并且因此并非直接可比较的。
尽管直接比较是不可能的，但数据集的大小保持得与现有文献中所提及的大小非常相似，并且我们将测试集合选取为困难的并且关于相机角度、大小、遮蔽和色彩而变化。以下表I示出关于所提出的发明进行的字符检测、识别以及完整码提取的精度结果。
Figure BDA0001513230770000101
表I
使用包括ISO6346的280个字符窗口的集装箱的十九个测试图像。所公开的发明方法能够检测来自集装箱的19个测试图像的所有280个字符窗口，即，实现了关于文本检测的100％覆盖率。此外，正确地确定了除了一个之外的所有字符(即99：64％的精度)。因此，在所述方法能够识别19图像中的18个完全正确的码的情况下，关于检测完整集装箱码的精度是95％。
关于基准，在测试图像集合上采用可实现38.57％精度(即，仅仅正确地识别了280个字符中的108个)的Tesseract3识别引擎。此外，当在测试图像上评估时较快的RCNN检测器实现了48％的平均识别精度，其中，分别关于字母和字符的精确度是43％和51.50％，这示出了本发明的高效和鲁棒性。

Claims (17)

1.一种用于经由空间变换网络STN和连通分支CC来确定集装箱标识码的方法；所述方法包括处理器实现的以下步骤：
使用图像捕获设备(200)来捕获集装箱的图像，其中，所述图像包含所述集装箱标识码；
使用图像预处理模块(210)来预处理所捕获的图像；
使用区域提取模块(212)从预处理的图像提取并且过滤区域提议，以生成重新分组的区域提议，其中，通过实现连通分支CC来执行提取和过滤；
使用分类模块(214)通过实现受训练的空间变换网络STN来将重新分组的区域提议分类为字符，以生成区域提议的有效群组，所述区域提议的有效群组具有集装箱标识码的多于一个的区块；以及
使用码标识模块(216)来生成关于所述区域提议的有效群组的序列且将所生成的序列映射到预定标准集装箱标识码，以确定集装箱标识码，其中，所述预定标准集装箱标识码包括预定图案形式的字符块，其中，生成重新分组的区域提议包括：
使用连通分支来提取区域提议，其中，所提取的区域提议符合包含十五个字符的所述预定标准集装箱标识码的结构；
基于高度相似性对所提取的区域提议进行聚类来过滤假阳性以获得包含相似高度的字符的聚类，并且随后丢弃包含少于十五个区域提议的聚类并过滤掉非文本区域提议；以及
基于相似高度的区域提议的空间位置和序列之间的相似性而消除假阳性之后，对所述区域提议进行重新分组，其中，如果在水平图案或垂直图案中所述集装箱标识码的所述字符在空间上写得彼此接近，则关于具有所述水平图案或所述垂直图案的群组进行搜索。
2.如权利要求1所述的方法，还包括：在生成并且映射所述区域提议的有效群组之后，当所述码标识模块(216)并未确定集装箱标识码时，触发告警。
3.如权利要求1所述的方法，其中，所述集装箱标识码是国际标准组织ISO6346码，所述方法还包括：使用用于ISO 6346码的校验和数字来验证所确定的集装箱标识码。
4.如权利要求1所述的方法，其中，图像预处理包括以下步骤：
对所述图像进行大小调整，以使得所述图像的原始大小加倍；以及
对大小调整后的图像进行二元化，以分离所述图像中的所述集装箱标识码的一个或多个字符。
5.如权利要求1所述的方法，其中，生成区域提议的有效群组包括以下步骤：
通过使用包括用于字母的STN(STNalp)和用于数字的STN(STNd)的受训练的STN来将所分组的区域提议分类为字符；以及
将所述用于字母的STN和所述用于数字的STN匹配于来自预定标准码目录的字符，以生成有效区域提议，其中，所述预定标准码目录包括所述预定标准集装箱标识码的至少一个字符块。
6.如权利要求5所述的方法，其中，生成序列包括以下步骤：
当所述有效区域提议的至少一个序列中包含所述预定标准集装箱标识码的所有字符块时，通过将所述有效区域提议的序列匹配于所述预定标准集装箱标识码来确定所述集装箱标识码；以及
当所述有效区域提议的至少一个序列中不包含所述预定标准集装箱标识码的所有字符块时，使用启发法来标识有效区域提议的序列中的其余字符块，并且通过将所述有效区域提议的序列和所生成的其余字符块匹配于所述预定标准集装箱标识码来确定所述集装箱标识码。
7.一种用于经由空间变换网络STN和连通分支CC来确定集装箱标识码的系统(102)；包括：处理器(202)；存储器(204)；以及可操作地与所述处理器耦合的图像捕获设备(200)，所述系统包括：
图像捕获设备(200)，所述图像捕获设备(200)被配置为捕获集装箱的图像，其中，所述图像包含所述集装箱标识码；
图像预处理模块(210)，所述图像预处理模块(210)被配置为预处理所捕获的图像；
区域提取模块(212)，所述区域提取模块(212)被配置为从预处理的图像提取并且过滤区域提议，以生成重新分组的区域提议，其中，通过实现连通分支CC来执行提取和过滤；
分类模块(214)，所述分类模块(214)被配置为：通过实现受训练的空间变换网络STN来将重新分组的区域提议分类为字符，以生成区域提议的有效群组，其具有集装箱标识码的多于一个的区块；以及
码标识模块(216)，所述码标识模块(216)被配置为生成用于所述区域提议的有效群组的序列且将所生成的序列映射到预定标准集装箱标识码，以确定集装箱标识码，其中，所述预定标准集装箱标识码包括预定图案形式的字符块，其中，所述区域提取模块(212)被配置成：
使用连通分支来提取区域提议，其中，所提取的区域提议符合包含十五个字符的所述预定标准集装箱标识码的结构；
基于高度相似性对所提取的区域提议进行聚类来过滤假阳性以获得包含相似高度的字符的聚类，并且随后丢弃包含少于十五个区域提议的聚类并过滤掉非文本区域提议；以及
基于相似高度的区域提议的空间位置和序列之间的相似性而消除假阳性之后，对所述区域提议进行重新分组，其中，如果在水平图案或垂直图案中所述集装箱标识码的所述字符在空间上写得彼此接近，则关于具有所述水平图案或所述垂直图案的群组进行搜索。
8.如权利要求7所述的系统，其中，所述码标识模块(216)被配置为：在生成并且映射所述区域提议的有效群组之后，当所述码标识模块(216)并未确定集装箱标识码时，触发告警。
9.如权利要求7所述的系统，其中，所述图像预处理模块(210)被配置为：
对所述图像进行大小调整，以使得所述图像的原始大小加倍；以及
对大小调整后的图像进行二元化，以分离所述图像中的所述集装箱标识码的一个或多个字符。
10.如权利要求7所述的系统，其中，所述分类模块(214)被配置为：
通过使用包括用于字母的STN(STNalp)和用于数字的STN(STNd)的受训练的STN来将所分组的区域提议分类为字符；以及
将所述用于字母的STN和所述用于数字的STN匹配于来自预定标准码目录的字符，以生成有效区域提议，其中，所述预定标准码目录包括所述预定标准集装箱标识码的至少一个字符块。
11.如权利要求10所述的系统，其中，所述码标识模块(216)被配置为：
当所述有效区域提议的至少一个序列中包含所述预定标准集装箱标识码的所有字符块时，通过将所述有效区域提议的序列匹配于所述预定标准集装箱标识码来确定所述集装箱标识码；以及
当所述有效区域提议的至少一个序列中不包含所述预定标准集装箱标识码的所有字符块时，使用启发法来标识有效区域提议的序列中的其余字符块，并且通过将所述有效区域提议的序列和所生成的其余字符块匹配于所述预定标准集装箱标识码来确定所述集装箱标识码。
12.一种或多种非瞬时机器可读信息存储介质，包括一个或多个指令，其当由一个或多个硬件处理器执行时使得所述一个或多个硬件处理器执行用于经由空间变换网络STN和连通分支CC来确定集装箱标识码的方法，所述方法包括：
使用图像捕获设备(200)来捕获集装箱的图像，其中，所述图像包含所述集装箱标识码；
使用图像预处理模块(210)来预处理所捕获的图像；
使用区域提取模块(212)从预处理的图像提取并且过滤区域提议，以生成重新分组的区域提议，其中，通过实现连通分支CC来执行提取和过滤；
使用分类模块(214)通过实现受训练的空间变换网络STN来将重新分组的区域提议分类为字符，以生成区域提议的有效群组，所述区域提议的有效群组具有集装箱标识码的多于一个的区块；以及
使用码标识模块(216)来生成用于所述区域提议的有效群组的序列，并且将所生成的序列映射到预定标准集装箱标识码，以确定集装箱标识码，其中，所述预定标准集装箱标识码包括预定图案形式的字符块，其中，生成重新分组的区域提议包括：
使用连通分支来提取区域提议，其中，所提取的区域提议符合包含十五个字符的所述预定标准集装箱标识码的结构；
基于高度相似性对所提取的区域提议进行聚类来过滤假阳性以获得包含相似高度的字符的聚类，并且随后丢弃包含少于十五个区域提议的聚类并过滤掉非文本区域提议；以及
基于相似高度的区域提议的空间位置和序列之间的相似性而消除假阳性之后，对所述区域提议进行重新分组，其中，如果在水平图案或垂直图案中所述集装箱标识码的所述字符在空间上写得彼此接近，则关于具有所述水平图案或所述垂直图案的群组进行搜索。
13.如权利要求12所述的一种或多种非瞬时机器可读信息存储介质，还包括：在生成并且映射所述区域提议的有效群组之后，当所述码标识模块(216)并未确定集装箱标识码时，触发告警。
14.如权利要求12所述的一种或多种非瞬时机器可读信息存储介质，其中，所述集装箱标识码是国际标准组织ISO 6346码，还包括：使用用于ISO 6346码的校验和数字来验证所确定的集装箱标识码。
15.如权利要求12所述的一种或多种非瞬时机器可读信息存储介质，其中，图像预处理包括以下步骤：
对所述图像进行大小调整，以使得所述图像的原始大小加倍；以及
对大小调整后的图像进行二元化，以分离所述图像中的所述集装箱标识码的一个或多个字符。
16.如权利要求12所述的一种或多种非瞬时机器可读信息存储介质，其中，生成区域提议的有效群组包括以下步骤：
通过使用包括用于字母的STN(STNalp)和用于数字的STN(STNd)的受训练的STN来将所分组的区域提议分类为字符；以及
将所述用于字母的STN和所述用于数字的STN匹配于来自预定标准码目录的字符，以生成有效区域提议，其中，所述预定标准码目录包括所述预定标准集装箱标识码的至少一个字符块。
17.如权利要求16所述的一种或多种非瞬时机器可读信息存储介质，其中，生成序列包括以下步骤：
当所述有效区域提议的至少一个序列中包含所述预定标准集装箱标识码的所有字符块时，通过将所述有效区域提议的序列匹配于所述预定标准集装箱标识码来确定所述集装箱标识码；以及
当所述有效区域提议的至少一个序列中不包含所述预定标准集装箱标识码的所有字符块时，使用启发法来标识有效区域提议的序列中的其余字符块，并且通过将所述有效区域提议的序列和所生成的其余字符块匹配于所述预定标准集装箱标识码来确定所述集装箱标识码。
CN201711368337.8A 2016-12-16 2017-12-18 用于集装箱码识别的方法和系统 Active CN108205673B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201621042986 2016-12-16
IN201621042986 2016-12-16

Publications (2)

Publication Number Publication Date
CN108205673A CN108205673A (zh) 2018-06-26
CN108205673B true CN108205673B (zh) 2022-02-25

Family

ID=60673148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711368337.8A Active CN108205673B (zh) 2016-12-16 2017-12-18 用于集装箱码识别的方法和系统

Country Status (7)

Country Link
US (1) US10467494B2 (zh)
EP (1) EP3336757A1 (zh)
JP (1) JP6549684B2 (zh)
CN (1) CN108205673B (zh)
AU (1) AU2017276322B2 (zh)
CA (1) CA2989218C (zh)
MX (1) MX2017016184A (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467494B2 (en) * 2016-12-16 2019-11-05 Tata Consultancy Services Limited Method and system for container code recognition
CN109242843B (zh) * 2018-09-04 2022-05-27 深圳市平方科技股份有限公司 一种集装箱表面图像及集装箱号码图像采集方法
CN110942057A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 一种集装箱箱号识别方法、装置和计算机设备
CN110969054B (zh) * 2018-09-29 2023-09-26 杭州海康威视数字技术股份有限公司 一种集装箱箱号识别方法及装置
EP3660743B1 (en) * 2018-11-30 2024-03-20 Tata Consultancy Services Limited Systems and methods for automating information extraction from piping and instrumentation diagrams
US11783587B2 (en) * 2020-03-04 2023-10-10 Nec Corporation Deep learning tattoo match system based
CN111563500A (zh) * 2020-04-10 2020-08-21 福建电子口岸股份有限公司 一种箱号识别方法和装置
CN112364861A (zh) * 2020-11-18 2021-02-12 华晨宝马汽车有限公司 用于自动识别托运件的箱贴号码的方法和装置及存储介质
CN112967000B (zh) * 2021-03-11 2024-10-15 中工美(北京)供应链物流管理有限责任公司 白银仓储自动入库系统的外观和重量识别方法
CN113076838A (zh) * 2021-03-25 2021-07-06 中国铁路北京局集团有限公司北京科学技术研究所 铁路集装箱场站箱号编组顺序识别方法、系统、设备及存储介质
CN113128960B (zh) * 2021-04-16 2023-12-19 深圳市艾赛克科技有限公司 堆场管理方法、装置、设备及存储介质
CN113569829A (zh) * 2021-06-09 2021-10-29 浙江工商大学 集装箱编码数据识别方法及系统
CN114267032A (zh) * 2021-12-10 2022-04-01 广东省电子口岸管理有限公司 一种集装箱定位识别方法、装置、设备及存储介质
CN114359762B (zh) * 2021-12-31 2024-10-01 哪吒港航智慧科技(上海)有限公司 集装箱箱顶洞识别方法及系统、存储介质及终端
JP7422340B1 (ja) 2022-11-21 2024-01-26 パナソニックＩｐマネジメント株式会社 文字認識装置、文字認識方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335760A (zh) * 2015-11-16 2016-02-17 南京邮电大学 一种图像数字字符识别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950484A (ja) * 1995-08-09 1997-02-18 Toyo Umpanki Co Ltd コンテナ認識システム
JPH09297813A (ja) * 1996-04-30 1997-11-18 Mitsubishi Heavy Ind Ltd コンテナ番号認識装置
SG71018A1 (en) 1997-03-01 2000-03-21 Inst Of Systems Science Nat Un Robust identification code recognition system
JP2003016386A (ja) * 2001-07-03 2003-01-17 Mitsui Eng & Shipbuild Co Ltd 文字認識方法および装置
IL162878A0 (en) * 2004-07-06 2005-11-20 Hi Tech Solutions Ltd Multi-level neural network based characters identification method and system
US8189919B2 (en) * 2007-12-27 2012-05-29 Chung Mong Lee Method and system for container identification
JP5434586B2 (ja) 2009-12-29 2014-03-05 オムロン株式会社 単語認識方法および単語認識用のプログラムならびに情報処理装置
US8885951B1 (en) * 2012-12-14 2014-11-11 Tony Cristofano System and method for data identification and extraction of forms
WO2015015943A1 (ja) * 2013-08-02 2015-02-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN106203539B (zh) * 2015-05-04 2020-01-17 杭州海康威视数字技术股份有限公司 识别集装箱箱号的方法和装置
EP3166070B1 (en) * 2015-11-09 2021-01-06 InterDigital CE Patent Holdings Method for upscaling noisy images, and apparatus for upscaling noisy images
GB2550858A (en) * 2016-05-26 2017-12-06 Nokia Technologies Oy A method, an apparatus and a computer program product for video object segmentation
US10467494B2 (en) * 2016-12-16 2019-11-05 Tata Consultancy Services Limited Method and system for container code recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335760A (zh) * 2015-11-16 2016-02-17 南京邮电大学 一种图像数字字符识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A new automatic extraction method of container identity codes;Zhiwei He et al;《IEEE Transactions on Intelligent Transportation Systems 》;20050331;第6卷(第1期);72-78 *
An automated vision system for container-code recognition;Wei Wu et al;《Expert Systems With Applications》;20121231;第39卷(第3期);第1节，第3.1-3.2节，第5节 *
Spatial Transformer Networks;Max Jaderberg et al;《http://arxiv.org/pdf/1506.02025.pdf》;20160204;参见第1节和第4节 *
基于视频的集装箱号码识别方法的研究与实现;王永亮;《万方学位论文》;20101029;全文 *

Also Published As

Publication number Publication date
JP6549684B2 (ja) 2019-07-24
MX2017016184A (es) 2018-11-09
EP3336757A1 (en) 2018-06-20
CA2989218C (en) 2019-08-20
US10467494B2 (en) 2019-11-05
JP2018136926A (ja) 2018-08-30
CA2989218A1 (en) 2018-06-16
AU2017276322A1 (en) 2018-07-05
CN108205673A (zh) 2018-06-26
US20180173988A1 (en) 2018-06-21
AU2017276322B2 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
CN108205673B (zh) 用于集装箱码识别的方法和系统
CN110766014B (zh) 票据信息定位方法、系统及计算机可读存储介质
CA3027038C (en) Document field detection and parsing
CN104217203B (zh) 复杂背景卡面信息识别方法及系统
Ye et al. Text detection and recognition in imagery: A survey
JP6163344B2 (ja) ナンバープレート画像の確実なクロッピング
WO2019169532A1 (zh) 车牌识别方法及云系统
Minetto et al. SnooperText: A text detection system for automatic indexing of urban scenes
US9053361B2 (en) Identifying regions of text to merge in a natural image or video frame
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in‐car camera
US20200311460A1 (en) Character identification method and device
US9400936B2 (en) Methods and systems for vehicle tag number recognition
CN108875731B (zh) 目标识别方法、装置、系统及存储介质
CN108154132A (zh) 一种身份证文字提取方法、系统及设备和存储介质
EP2994884A2 (en) Method and apparatus for image matching
Keong et al. Malaysian automatic number plate recognition system using Pearson correlation
KR20190080275A (ko) 바코드 검출 장치 및 이를 이용한 바코드 검출 방법
Giri Text information extraction and analysis from images using digital image processing techniques
Kleber et al. Robust skew estimation of handwritten and printed documents based on grayvalue images
CN114783042A (zh) 基于多移动目标的人脸识别方法、装置、设备及存储介质
Rajithkumar et al. Template matching method for recognition of stone inscripted Kannada characters of different time frames based on correlation analysis
Su et al. Automatic seal imprint verification systems using edge difference
CN112883973A (zh) 车牌识别方法、装置、电子设备和计算机存储介质
Ekram et al. Book organization checking algorithm using image segmentation and OCR
Maske et al. A Review on Detection and Recognition of Text

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant