CN104376322A - 一种集装箱箱号预处理质量的智能评测方法 - Google Patents

一种集装箱箱号预处理质量的智能评测方法 Download PDF

Info

Publication number
CN104376322A
CN104376322A CN201410718142.1A CN201410718142A CN104376322A CN 104376322 A CN104376322 A CN 104376322A CN 201410718142 A CN201410718142 A CN 201410718142A CN 104376322 A CN104376322 A CN 104376322A
Authority
CN
China
Prior art keywords
case number
failure
image
evaluation
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410718142.1A
Other languages
English (en)
Other versions
CN104376322B (zh
Inventor
张起坤
曾卫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201410718142.1A priority Critical patent/CN104376322B/zh
Publication of CN104376322A publication Critical patent/CN104376322A/zh
Application granted granted Critical
Publication of CN104376322B publication Critical patent/CN104376322B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种集装箱箱号预处理质量的智能评测方法。该方法首先对预处理后的图像做Canny算子边缘检测,然后通过整体跳变次数评测方式筛选可能有箱号的图像,再进行单侧投影分布模型评测记录类箱号区域的位置,针对类箱号区做双侧跳变模型评测和局部连通域循环评测。最后针对筛选出的区域做基于U字符的检验,便可精确得到该位置是否存在箱号以及预处理的效果是否理想,以上每个评测阶段均对失败的原因做出分析。该方法对图像进行评测后,自动选择继续识别还是更换技术重新处理。能够在箱号定位前保证预处理的图像是最佳图像,减少复杂环境导致的识别失败。

Description

一种集装箱箱号预处理质量的智能评测方法
技术领域
本发明是运用在集装箱箱号识别系统的图像处理领域,主要是对集装箱箱号预处理的质量进行智能评测,并根据评测结果自动循环再处理的技术。 
背景技术
集装箱是国际物流的主要运输装备,国际货运中有90%是通过集装箱运输来完成的。集装箱箱号是集装箱的唯一标识符,在集装箱管理中起着十分重要的作用。目前,我国许多集装箱码头的堆场管理和装卸船管理均已实现计算机化,但集装箱码头大门、集装箱起重机、大桥吊等处的集装箱箱号识别还依靠着人眼的识别。人工成本较大、工作效率低下,且枯燥的人工识别也容易造成识别的错误,加大了系统负担,导致港口吞吐量无法有效提高。因此,集装箱箱号自动识别技术作为我国港口智能化建设的重要组成部分,也逐渐成为了图像处理和模式识别领域的研究热点。 
前人对集装箱箱号自动识别研究主要是通过如下四个关键环节进行处理:(1)箱号图像预处理,(2)箱号定位(3)箱号分割(4)箱号识别。本发明就是针对集装箱箱号预处理的质量进行智能评测并循环再处理。 
集装箱箱号图像的预处理是整个系统识别率的基础和根本。因为识别系统是全天候运行在室外环境中的,采集时的角度、光照、环境等因素在很大程度上都会影响采集的箱号图像质量,从而对后续的箱号区域精确定位造成干扰。因此,为了保证后续的箱号准确定位、分割及识别工作顺利运行,需要先对采集的箱号图像进行一些预处理,以达到改善箱号图像的目的。在集装箱箱号自动识别系统涉及的一些预处理相关内容中,主要是对图像灰度化、图像增强、图像二值化及数学形态学等图像的处理技术。 
上述的处理技术面对复杂的环境有非常大的局限性,通过单次预处理很难对所有图像有效。图像的灰度、增强、二值化等处理技术对光线的亮度和箱号周围环境的复杂度非常敏感;白天和晚上光线以及灯光照射等原因让图像的处理技术无法有一个自动适配的阈值;对于箱号周围污渍以及其他无用信息等干扰往往会让预处理的结果忽略了箱号信息。这样的结果会导致定位失败或者定位错误,更无法完成识别。 
发明内容
本发明提供了一种集装箱箱号预处理质量的智能评测方法。该方式将针对图像预处理之后的结果进行评测,以自动选择是继续识别还是更换技术重新预处理。能够在箱号定位前保证预处理的图像是最佳图像,减少复杂环境导致的识别失败。 
根据本发明提供的技术方案,所述的集装箱箱号预处理质量的智能评测方法步骤如下: 
步骤1:对预处理后的图像做基于Canny算子的边缘检测生成边缘图。由于箱号字符的面积大小没有显著特点,容易被干扰。但是字符数量多而且相对集中,这样边缘图可以根据跳变次数准确判断位置。 
步骤2:整体跳变次数评测 
在整体跳变次数评测中,纵横箱号评测方式相同,这里只从横向箱号举例阐述。由于箱号是由四位英文字母、6位阿拉伯数字和1位阿拉伯数字校验码组成。所以预处理成功的图像,边缘图的单向跳变次数有一个绝对范围。 
(1)跳变次数小于评测范围,说明预处理过度已经没有了箱号的信息。 
(2)跳变次数大于评测范围,说明预处理后留下的图像不是箱号,而是大范围的冗余信息。导致的原因是箱号偏小或者箱号周围有类似箱号的干扰等。 
(3)跳变次数符合评测范围,则进行下一步的评测。 
步骤3:单侧投影分布模型评测 
由于集装箱箱号印刷在集装箱上,所以采集图像的背景大部分为集装箱,而集装箱有其自身的特性,并且其上的图案有一定的规律,所以我们对预处理后的图像单侧投影,根据其投影构造模型,评测图像是否合格。 
(1)预处理成功的图像的单侧投影分布至少具有一个波峰,而且其波峰符合步骤2的评测。如果图像中大部分投影均处在波峰左右的位置,那么预处理失败,导致失败的原因是图像光照过强或者过弱,使箱号与箱体融合。结果形成了箱体和背景对立的图像。 
(2)波峰呈现一个跳变次数差距小于50的震荡波形。并且震荡波形最大值与最小值均处于步骤2的范围内。如果不满足此条件,导致失败的原因是处理的图像没有箱号或者箱号处理后残缺了。 
(3)如果波形符合投影分布模型,则记录波峰进入下一步评测。 
步骤4:基于双侧跳变模型的区域评测 
经过前三个步骤,已经粗记录下具有单侧箱号特性的波峰位置,但是在集装箱上经常有类似箱号特性的图形干扰,比如投影特性相似的干扰花纹等。本步骤提取各波峰区域构建双侧跳变模型,评测该区域是否为类箱号区。 
(1)双侧跳变模型如果长宽比异常则说明该区域为明显花纹区域,应当专项做去除处理。 
(2)双侧跳变模型分布与箱号特性不符,则导致失败的原因是有非箱号字符做干扰,应该对该区域加大腐蚀,改善处理图像。 
(3)如果符合类箱号模型,则记录该范围进入下一步评测。 
步骤5:局部连通域循环评测 
局部连通域循环评测主要是针对箱号区域周围的无用字符以及类字符的干扰。我们运用步骤2记录下的波峰区域归一化后,与正常箱号的连通域范围对比进行评测。 
(1)大于箱号的连通域范围,则说明此波峰一定不是箱号。导致失败的原因是类似箱号的花纹没有被预处理掉。 
(2)小于箱号的连通域范围,则说明此波峰是由一些小型干扰噪声组成。导致失败的原因是原图像的某些噪声部分是高亮状态,没有在预处理中消除。 
(3)连通域均值、最大最小值比率评测,连通域均值就是将连通域与连通区域数量进行平均,排除连通区域数量与连通域的比例与箱号比例不符的情况。最大最小值比率主要是针对图像出现少量大连通区域多个小噪声区域的干扰进行的评测。主要导致失败的原因是箱号在原图中偏小或者不明显,在预处理中留下了无用图像。 
步骤6:基于U字符检验的评测 
通过以上步骤的检验,所留下的图像则可以进入最精确的评测步骤——基于U字符检验的评测。由于集装箱四个字母中最后一个字母均为U字,并且在预处理中相对于校验码更容易保留下来,所以U字符的校验成为检验是否存在箱号的最精确步骤。 
首先使用属性网格的方式获取各U字符样本的特征值,通过支持向量机的方式进行训练。在箱号区域的连通域中依据U字符的宽高比从连通域末尾进行切割,归一化后识别。 
(1)如果不能检验到U字符,则说明这张箱号图通过了前四个检验之后,留下的图像与箱号具备类似的特性,但不存在U字符。导致失败的原因是集装箱上有与箱号相似的干扰字符或者在预处理中集装箱箱号的U字符段被忽略。 
(2)如果能够定位到U字符,则说明检验的区域一定是箱号区。那么整个测评圆满结束,评测通过的图像则是优秀处理图像,必然可以成功的完成定位、分割和识别。 
本发明的创新之处在于: 
1、本发明创新性的提出了在集装箱箱号识别系统中预处理图像的质量自动评测方法。在以往的箱号识别系统中各界一直努力的方向是优化预处理方式,以求达到最理想的效果,其实这是很难做到的。本发明是对预处理后的图像进行评测,如果图像处理不理想则可以反馈原因更改处理参数和方式进行再次处理。通过这样的循环自动评测方法,很好的克服了图像环境复杂、处理方式不当的问题。 
2、本发明在评测方法的理论基础上创新性的提出了自动评测的实现方法集。通过整体跳变次数评测、单侧投影分布模型评测、局部连通域循环评测、基于双侧跳变模型的字符残缺评测和基于U字符检验的评测这五个方法,不仅能对预处理后的图像质量进行判别还可以对失败的原因进行一定的反馈。大大提高了预处理的可适配性,让整个处理有了更多的选择。 
附图说明
图1为本发明流程示意图 
图2为本发明具体实施例所述的集装箱图的Canny算子边缘检测 
图3为本发明具体实施例所述的处理良好的集装箱箱号图 
图4为本发明具体实施例所述的过度处理的集装箱箱号图 
图5为本发明具体实施例所述的不当处理的集装箱箱号图 
图6为本发明具体实施例所述的符合局部连通域循环评测的集装箱箱号图 
图7为本发明具体实施例所述的符合双侧跳变模型的集装箱箱号图 
具体实施方式
下面结合附图和实施例对本发明进一步说明 
步骤1:如图,这是一张预处理后的箱号图,做Canny算子边缘检测:首先对图像做高斯滤波器平滑,然后用一阶偏导的有限差分来计算梯度的幅值和方向,再次对梯度幅值进行非极大值抑制,最后用双阈值算法检测和连接边缘。则完成了Canny算子的边缘检测。 
步骤2:整体跳变次数评测则是针对图像的整体跳变次数做评估,主要是检测经过处理的图像是否有箱号的可能,主要作用是区分处理过度和处理欠缺的情况。依据箱号的特性我们发现箱号区域的跳变次数存在一个绝对的范围值:[30,80]。如图1,是存在箱号的处理图像,其跳变次数的投影存在[30,80]的范围值。图2则是处理过度的情况,其整体跳变次数均小于40,不存在箱号或者箱号已经被严重损坏。图3则是大于范围值,这样的图像也是无法被再处理的,属于欠缺处理。 
步骤3:单侧投影分布模型评测则是针对单侧投影的趋势进行评估,主要是检测被处理图像的箱号区域是否存在,主要作用是区分复杂环境对箱号图像的影响。如图1其投影模型的分布至少具有一个波峰,且波峰呈现一个跳变次数差距小于50的震荡波形,震荡波形最大值与最小值均处于步骤2的范围内,则说明存在箱号区域。图2的波形则完全不符合,处理后的图像没有箱号。本步骤需要记录波峰区域,进行下一步骤的评测。 
步骤4:经过前三个步骤,已经粗记录下具有单侧箱号特性的波峰位置,但是在集装箱上经常有类似箱号特性的图形,比如集装箱其他的字符信息、边缘检测和投影特性相似的干扰花纹等。如图6,其单侧投影波峰1与波峰2非常相似,但是经过区域切割后构建双侧跳变模型,便可评测出是干扰因素还是类箱号区域。 
步骤5:局部连通域循环评测则是对各波峰区域进行箱号特性的验证。此步骤是针对跳变属性与箱号属性相似的区域,进行连通域属性的评测以排除类箱号噪声区域的干扰。如图4,一共有三个波峰与箱号特性非常相似,完全符合步骤2、3的评测。首先归一化,纵向箱号归一化为480*20,横向箱号归一化为20*480。依据箱号的特性我们计算出总连通域范围为 [1450,1700],总连通域与波峰区域的总比率值为[0.06,0.13],平均连通域与总联通区域比率值为[0.07,0.10],依据此条件可评测出图像中的箱号的波峰区域,并且可以根据波峰区域的连通域值返回造成失败的原因。 
步骤6:基于U字符检验的评测是对波峰区域是否存在箱号最精确的验证。此步骤是利用支持向量的训练与识别的方式定位U字符,根据U字符的存在情况判断箱号是否存在。 

Claims (3)

1.集装箱箱号预处理质量的智能评测方法,包括如下步骤
步骤1:对预处理后的图像做基于Canny算子的边缘检测生成边缘图。
步骤2:对步骤1所得的边缘图做整体跳变次数评测,检测处理后图像的整体效果。
步骤3:单侧投影分布模型评测,首先对边缘图做单侧投影,根据其投影构造模型并记录波峰区域,使其与评测模型适配,根据适配结果判断是否合格。
步骤4:基于双侧跳变模型的区域评测,对步骤3记录的波峰区域进行提取,并构建双侧跳变模型,评测该区域是否为类箱号区。
步骤5:局部连通域循环评测,将通过步骤4的波峰区域归一化进行连通域计算,根据对比正常箱号的连通域总值范围、均值比率范围进行评测。
步骤6:基于U字符检验的评测,是利用支持向量的训练与识别的方式识别归一化后的U字符,根据U字符的存在情况进行评测。
2.根据权利要求1所述的集装箱箱号预处理质量的智能评测方法,其特征是:在集装箱箱号预处理中运用图像制动评测的方法,不仅可以判断出此图像能否成功的进行后续操作,而且可以分析导致失败的原因,分析如下:
(1)整体跳变次数评测:如果步骤1所得的边缘图单向跳变次数小于评测范围,那么预处理失败,导致失败的原因是预处理过度,使图像已经没有了箱号的信息;如果跳变次数大于评测范围,那么预处理失败,导致失败的原因是预处理后的图像不是箱号,而是大范围的冗余信息。
(2)单侧投影分布模型评测,对边缘图做单侧投影,如果图像中大部分投影均处在波峰左右的位置,那么预处理失败,导致失败的原因是原图像光照过强或者过弱,使箱号与箱体融合,形成箱体和背景对立的图像;如果波峰不呈现一个跳变次数差距小于50的震荡波形,并且震荡波形最大值与最小值均不符合步骤2,那么预处理失败,导致失败的原因是处理的图像没有箱号或者箱号处理后残缺了。
(3)基于双侧跳变模型的区域评测,提取步骤3记录的波峰区域并构建双侧跳变模型;如果双侧跳变模型长宽比异常,导致失败的原因是该区域为花纹区域,应当专项做去除处理;如果双侧跳变模型分布与箱号特性不符,导致失败的原因是有非箱号字符做干扰,应该对该区域加大腐蚀,改善处理图像。
(4)局部连通域循环评测,获取步骤4的波峰区域做归一化并计算连通域,如果大于箱号的连通域范围,导致失败的原因是类似箱号的花纹没有被预处理掉;如果小于箱号的连通域范围,导致失败的原因是原图像的某些噪声部分是高亮状态,没有在预处理中消除;如果连通域总比值和均值与评测值不同,导致失败的原因是箱号在原图中偏小或者不明显。
(5)基于U字符检验的评测,如果不能检验到U字符,导致失败的原因是集装箱上有与箱号相似的干扰字符或者在预处理中集装箱箱号的U字符段被消除;如果能够定位到U字符,则说明检验的区域一定是箱号区。
3.根据权利要求1所述的集装箱箱号预处理质量的智能评测方法,其特征是:步骤2中的整体跳变次数的评测范围为[30,80];步骤5中的归一化是纵向箱号为480*20,横向箱号为20*480,连通域的范围为[1450,1700],连通域与波峰区域的总比率值为[0.06,0.13],平均连通域与总联通区域比率值为[0.07,0.10];步骤6中U字符的宽高比[0.5,1.0],归一化为20*36。
CN201410718142.1A 2014-12-01 2014-12-01 一种集装箱箱号预处理质量的智能评测方法 Expired - Fee Related CN104376322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410718142.1A CN104376322B (zh) 2014-12-01 2014-12-01 一种集装箱箱号预处理质量的智能评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410718142.1A CN104376322B (zh) 2014-12-01 2014-12-01 一种集装箱箱号预处理质量的智能评测方法

Publications (2)

Publication Number Publication Date
CN104376322A true CN104376322A (zh) 2015-02-25
CN104376322B CN104376322B (zh) 2017-11-17

Family

ID=52555218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410718142.1A Expired - Fee Related CN104376322B (zh) 2014-12-01 2014-12-01 一种集装箱箱号预处理质量的智能评测方法

Country Status (1)

Country Link
CN (1) CN104376322B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719241A (zh) * 2016-01-27 2016-06-29 浙江工业大学 一种基于视觉扫描的船槽定位方法
CN110460813A (zh) * 2019-08-12 2019-11-15 兰州交通大学 一种基于视频流的集装箱图像采集装置及采集方法
CN111275682A (zh) * 2020-01-19 2020-06-12 上海箱云物流科技有限公司 集装箱检测方法、装置及计算机可读存储介质
CN112416709A (zh) * 2020-11-19 2021-02-26 海光信息技术股份有限公司 芯片动态功耗估计方法、装置、处理器芯片及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062348A1 (en) * 2002-09-27 2004-04-01 Bor-Shenn Jeng Image-based container defects detector
CN101650780A (zh) * 2009-09-08 2010-02-17 宁波中科集成电路设计中心有限公司 一种集装箱箱号识别方法
CN102024144A (zh) * 2010-11-23 2011-04-20 上海海事大学 集装箱箱号自动识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062348A1 (en) * 2002-09-27 2004-04-01 Bor-Shenn Jeng Image-based container defects detector
CN101650780A (zh) * 2009-09-08 2010-02-17 宁波中科集成电路设计中心有限公司 一种集装箱箱号识别方法
CN102024144A (zh) * 2010-11-23 2011-04-20 上海海事大学 集装箱箱号自动识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
殷曦: "基于纹理特征及投影法的车牌识别的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719241A (zh) * 2016-01-27 2016-06-29 浙江工业大学 一种基于视觉扫描的船槽定位方法
CN105719241B (zh) * 2016-01-27 2019-02-05 浙江工业大学 一种基于视觉扫描的船槽定位方法
CN110460813A (zh) * 2019-08-12 2019-11-15 兰州交通大学 一种基于视频流的集装箱图像采集装置及采集方法
CN111275682A (zh) * 2020-01-19 2020-06-12 上海箱云物流科技有限公司 集装箱检测方法、装置及计算机可读存储介质
CN112416709A (zh) * 2020-11-19 2021-02-26 海光信息技术股份有限公司 芯片动态功耗估计方法、装置、处理器芯片及服务器
CN112416709B (zh) * 2020-11-19 2023-03-21 海光信息技术股份有限公司 芯片动态功耗估计方法、装置、处理器芯片及服务器

Also Published As

Publication number Publication date
CN104376322B (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN108030494B (zh) 基于交叉验证的心电信号错误标记训练样本识别方法
CN107273802B (zh) 一种铁路列车闸瓦钎环故障的检测方法及装置
CN101739570B (zh) 棉花异性纤维在线分类方法和系统
CN103512762A (zh) 图像处理方法、装置及列车故障检测系统
CN104376322A (zh) 一种集装箱箱号预处理质量的智能评测方法
Yoo et al. Development of a crack recognition algorithm from non-routed pavement images using artificial neural network and binary logistic regression
CN103778409A (zh) 基于人脸特征数据挖掘的人脸识别方法与装置
CN111652227A (zh) 铁路货车底部地板破损故障检测方法
RU2003108433A (ru) Способ предварительной обработки изображения машиночитаемой формы
CN109946304A (zh) 基于特征匹配的零件表面缺陷在线检测系统及检测方法
CN113191358B (zh) 金属零件表面文本检测方法和系统
CN106650735B (zh) 一种led字符自动定位识别方法
CN113435219B (zh) 防伪检测方法、装置、电子设备及存储介质
Ullah et al. An approach of locating Korean vehicle license plate based on mathematical morphology and geometrical features
CN103258218B (zh) 蒙版检测框架生成方法、装置、缺陷检测方法及装置
CN112985515B (zh) 一种产品紧固件装配合格性检测方法、系统及存储介质
Mörzinger et al. Visual Structure Analysis of Flow Charts in Patent Images.
Kastelan et al. Extraction of text on TV screen using optical character recognition
KR101623689B1 (ko) 바코드 식별 장치 및 방법
CN114067296A (zh) 钢轨表面缺陷识别方法及装置
CN111460198B (zh) 一种图片时间戳的审核方法及装置
CN111415326A (zh) 一种用于铁路接触网螺栓异常状态的检测方法及系统
CN106384110A (zh) 具有自适应能力的钢印字符在线自动识别方法
CN115631146A (zh) 一种基于图像的受电弓碳滑条缺损缺陷检测方法
CN115393589A (zh) 一种通用dcs工艺流程图识别转换方法、系统以及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171117

Termination date: 20201201