CN105335500A - 协变局部特征聚集的图像特征表示法 - Google Patents

协变局部特征聚集的图像特征表示法 Download PDF

Info

Publication number
CN105335500A
CN105335500A CN201510710221.2A CN201510710221A CN105335500A CN 105335500 A CN105335500 A CN 105335500A CN 201510710221 A CN201510710221 A CN 201510710221A CN 105335500 A CN105335500 A CN 105335500A
Authority
CN
China
Prior art keywords
subvector
image
local feature
series
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510710221.2A
Other languages
English (en)
Other versions
CN105335500B (zh
Inventor
赵万磊
王菡子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201510710221.2A priority Critical patent/CN105335500B/zh
Publication of CN105335500A publication Critical patent/CN105335500A/zh
Application granted granted Critical
Publication of CN105335500B publication Critical patent/CN105335500B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

协变局部特征聚集的图像特征表示法,涉及计算机视觉与多媒体信息检索。提取图像局部特征;离线训练一个小的视觉词汇集合;将每幅图的局部特征用简化的费舍尔核方法进行聚集;聚集时,同时考虑每个局部特征的主方向信息,将主方向分为8个量化区间,根据量化后的主方向值,聚集到不同的费舍尔子向量,8个子向量拼接为一个长向量,作为图像的特征表示;将8个费舍尔子向量重组得一系列8维的子向量。对每个子向量进行一维离散余弦变换,变换到该特征的频率域;再对频率域的特征重组,得不同频段的8个子向量,对每个子向量做主成分分析,再对降维后的8个子向量重组得一系列8维的子向量;在子向量上定义相似度度量,以计算图像两两间的相似度。

Description

协变局部特征聚集的图像特征表示法
技术领域
本发明涉及计算机视觉与多媒体信息检索,具体是涉及协变局部特征聚集的图像特征表示法。
背景技术
随着Web2.0的引入以及各种便携式移动多媒体设备,如智能手机、iPad、数码照相机等的普及,互联网上有着数以千亿的多媒体资源。这些多媒体资源,主要以图像和视频的形式存在。据2014年的统计,每分钟就有超过3300幅照片上传到全球最大的照片分享网站Flickr上。Flickr所维护的照片总数已经超过了70亿张。在国内最大的视频分享网站YouKu,其视频总数在2010年已经达到4500万个,日均上传6万个。注意到以上照片和视频分享网站的数据规模仍以较快速度增长。面对互联网海量多媒体数据,如何对其进行有效的组织、管理允许用户以便捷的方式检索及浏览成为一个亟待解决的问题。
目前,对于基于内容的图像检索的解决方法主要有两种思路。一种是基于词袋模型,另一种是基于费舍尔核的方法(即把局部特征全局化)。前者的优点是便于加入各种对检索结果的优化方案,例如加入各种视觉和几何验证,缺点是所需存储空间较大。计算复杂度与数据集所衍生的局部特征总数呈线性关系。这通常比图像库大小本身大三个数量级。当图像库达到百亿级时,计算的时间和空间代价都非常大。
基于费舍尔核的方法将局部特征聚集为一个高维向量。其具体方法是总体上可以分为两个步骤。首先从图像提取局部特征,图像被表示为一个局部特征集;接着把一个输入局部特征量化到一个视觉词汇并进行累集。在第二步中,累集操作只针对局部特征同其对映的词汇之间的差值。最终,对一幅图,得到一个长德向量表示。这个向量被称为局部累集特征向量。注意到,这里需要一个视觉词汇。通常使用的视觉词汇从几十个到几百个,远小于采用视觉词汇量化方法时使用的视觉词汇数目。该方法的优点是可以很大程度上压缩图像局部特征。当同主成分分析方法结合时,这个长向量可以大幅降维,同时保持较高的可区分性。当进一步与积量化的最近邻检索算法结合时,该表示方法可以有效降低内存消耗。
发明内容
本发明的目的在于提供一种协变局部特征聚集的图像特征表示法。
本发明包括以下步骤:
1)提取图像的局部特征,采用描述子进行描述,一幅图像被表示为一系列描述子的集合χ,同时获得每个局部特征的主方向θ;
2)用一个独立的图像集,提取并收集其局部特征,从而生成一个由描述子组成的矩阵;采用K平均聚类算法,获得K个聚类中心,K一般设为32至64之间的一个整数值,K个聚类中心作为视觉词汇集C={c1...K};
3)采用如下公式(1)对一幅图的每个局部特征进行简化的费舍尔聚集:
其中,q(x)在C中找到最近邻ci,b=B(θ);ci为视觉词汇集C={c1...K}中离局部特征x(x∈χ)最近的视觉词汇;函数B(θ)对图像局部特征x的主方向θ进行量化,主方向量化为8个量化区段,公式(1)将一个图像的一系列描述子转化为一个长的向量Y表示,根据主方向的量化值,长向量又分为多个子向量,由于使用8个量化区段,因此有8个子向量,即Y={P1,P2,...,P8};
4)将获得的8个费舍尔子向量重组,获得一系列8维的子向量;
在步骤4)中,所述将获得的8个费舍尔子向量重组,获得一系列8维的子向量的具体做法可为:
把8个子向量每个对映维度放到一起,按量化主方向值一次排列,获得一系列8维子向量,如果把Y看作一个8行的矩阵,这个重组操作相当于对Y进行转置操作;
对得到的每个8维子向量逆排(逆序操作如公式(2)所示)后进行1维离散余弦变换(II型离散余弦变换)。给定重组后得到的一个子向量Q,逆序操作如下:
Q = [ q 1 , q 2 , q 3 , ... , q 7 , q 8 ] ⇒ Q ‾ = [ q 8 , q 7 , q 6 , ... , q 2 , q 1 ] - - - ( 2 )
5)再对这一系列8维子向量组成的向量进行重组,把所有8维子向量对映维放到一起,依次排列,获得8个子向量;如果把离散余弦变换得到一系列8维子向量看作一个有8列的矩阵,这个重组操作相当于对矩阵进行转置;然后,对重组后得到的每个子向量做主成分分析,以降低整个特征的维度;
6)再对降维之后的8个子向量进行重组;
在步骤6)中,所述对降维之后的8个子向量进行重组的具体做法可为:把8个子向量每个对映维度放到一起,按量化主方向值一次排列,获得一系列8维子向量;
7)在由一系列8维子向量拼合成的向量上定义距离度量,以衡量图像两两之间的相似度。距离度量如公式(3):
S ( U , V ) = &Sigma; i = 1 d < u i , v i > - - - ( 3 )
其中,||ui||2=||vi||2=1,d是子向量的个数,U和V分别为两幅图像经步骤A至F获得的向量表示,ui和vi是它们的各自的子向量;这里假设它们分别由d个子向量组成;子向量ui和vi进行内积运算。
在大规模图像检索的情况下,公式(3)定义的距离度量需要高效的最近邻查找算法做支撑。注意到,公式(2)的距离度量是d个距离之和。这里每个距离度量可以分别进行。本发明提出可以对每个子向量单独进行索引,d个最近邻查找可以并行进行。
本发明将提出一种基于费舍尔核方法的图像表示方案,并将这种表示方法应用到基于内容的大规模图像检索上。该表示方法首先将图像局部特征的主方向信息作为特征累集时的一个量化参数,将属于不同主方向的局部特征累集到不同子向量上。之后将该特征用一维离散余弦变换转换到其频率域。在频率域进行主成分分析和距离度量。本发明所设计的图像表示方法具有很好区分力和可伸缩性。
附图说明
图1为协变局部特征聚集表示与当前主流方法在图像检索测试集上的结果对比。原图像集大小为1492幅图。为测试本发明方法的可伸缩性,测试逐渐添加候选集至1百万幅图。
具体实施方式
本发明实施例包括以下步骤:
1)提取图像的局部特征,采用描述子进行描述,一幅图像被表示为一系列描述子的集合χ,同时获得每个局部特征的主方向θ;
2)用一个独立的图像集,提取并收集其局部特征,从而生成一个由描述子组成的矩阵;采用K平均聚类算法,获得K个聚类中心,K一般设为32至64之间的一个整数值,K个聚类中心作为视觉词汇集C={c1...K};
3)采用如下公式(1)对一幅图的每个局部特征进行简化的费舍尔聚集:
其中,q(x)在C中找到最近邻ci,b=B(θ);ci为视觉词汇集C={c1...K}中离局部特征x(x∈χ)最近的视觉词汇;函数B(θ)对图像局部特征x的主方向θ进行量化,主方向量化为8个量化区段,公式(1)将一个图像的一系列描述子转化为一个长的向量Y表示,根据主方向的量化值,长向量又分为多个子向量,由于使用8个量化区段,因此有8个子向量,即Y={P1,P2,...,P8};
4)将获得的8个费舍尔子向量重组,获得一系列8维的子向量,具体做法为:
把8个子向量每个对映维度放到一起,按量化主方向值一次排列,获得一系列8维子向量,如果把Y看作一个8行的矩阵,这个重组操作相当于对Y进行转置操作;
对得到的每个8维子向量逆排(逆序操作如公式(2)所示)后进行1维离散余弦变换(II型离散余弦变换)。给定重组后得到的一个子向量Q,逆序操作如下:
Q = &lsqb; q 1 , q 2 , q 3 , ... , q 7 , q 8 &rsqb; &DoubleRightArrow; Q &OverBar; = &lsqb; q 8 , q 7 , q 6 , ... , q 2 , q 1 &rsqb; - - - ( 2 )
5)再对这一系列8维子向量组成的向量进行重组,把所有8维子向量对映维放到一起,依次排列,获得8个子向量;如果把离散余弦变换得到一系列8维子向量看作一个有8列的矩阵,这个重组操作相当于对矩阵进行转置;然后,对重组后得到的每个子向量做主成分分析,以降低整个特征的维度;
6)再对降维之后的8个子向量进行重组,具体做法为:把8个子向量每个对映维度放到一起,按量化主方向值一次排列,获得一系列8维子向量;
7)在由一系列8维子向量拼合成的向量上定义距离度量,以衡量图像两两之间的相似度。距离度量如公式(3):
S ( U , V ) = &Sigma; i = 1 d < u i , v i > - - - ( 3 )
其中,||ui||2=||vi||2=1,d是子向量的个数,U和V分别为两幅图像经步骤A至F获得的向量表示,ui和vi是它们的各自的子向量;这里假设它们分别由d个子向量组成;子向量ui和vi进行内积运算。
在大规模图像检索的情况下,公式(3)定义的距离度量需要高效的最近邻查找算法做支撑。注意到,公式(2)的距离度量是d个距离之和。这里每个距离度量可以分别进行。本发明提出可以对每个子向量单独进行索引,d个最近邻查找可以并行进行。
测试采用了国际通用的Holidays数据集合,外加100万候选集测试方法的可伸缩性。图像检索评价标准采用平均准确率。本发明方法不同配置下的结果标记为:本发明的方法1和本发明的方法2。其中,本发明的方法1采用了黑森检测子提取局部特征,并且在检索时采用了积量化作为最近邻检索结构。本发明方法2采用了密集采样提取局部特征,并且在检索时采用了积量化作为最近邻检索结构。
从图1可以看到,对于本发明方法1和发明方法2,当测试数据增加至10万幅图以上,其平均准确率超过现有所有主流方法。并且准确率下降的趋势很缓慢,从而显示出很高的可伸缩性。
表1给出本发明所提出的方法在1百万级图库上进行图像检索的平均时间耗费及内存耗费。测试在一台配置有2.4G赫兹英特尔至强中央处理器和64G内存的工作站上进行。测试过程采用单线程。
表1
方法 方法1 方法2 方法3 方法4 本发明方法1 本发明方法2
时间(s) 0.992 0.992 1.867 1.06 1.029 1.029
内存耗费(字节数/图) 67 67 18228 8885 256 256
平均准确率(%) 30.4 41.9 54.1 33.8 55.2 66.3
从表1可以看出,本发明方法1和本发明方法2在准确率上均高于目前主流方法。并且在内存耗费和检索时间的消耗上远低于方法3和方法4,而与方法1和方法2接近。因此,本发明方法1和本发明方法2在检索平均准确率和时间、内存耗费之间获得了一个更好的折衷。
方法1对应的方法为FlorentPerronnin等人提出的方法(FlorentPerronnin,Y.Liu,J.Sanchez,andH.Poirier:Large-scaleimageretrievalwithcompressedFishervectors,CVPR,pp.3384-3391,June2010.)
方法2对应的方法为HerveJegou等人提出的方法(HerveJegou,MatthijsDouze,CordeliaSchmidandPatrickPerez:Aggregatinglocaldescriptorsintoacompactimagerepresentation,CVPR,pp.3304-3311,Jun.,2010.)
方法3对应的方法为HerveJegou等人提出的方法(HerveJegou,MatthijsDouze,CordeliaSchmid:Hammingembeddingandweakgeometricconsistencyforlargescaleimagesearch,ECCV,pp.304-317,2008.)
方法4对应的方法为J.Sivic和A.Zisserman提出的方法(VideoGoogle:ATextRetrievalApproachtoObjectMatchinginVideos,ICCV,pp.1470-1477,Oct.2003.)
本发明提供一种图像特征表示方法及定义在该表示方法上的距离度量方式,包括步骤:A.提取图像局部特征,其中包括每个局部特征的描述子和每个局部特征的主方向;B.离线训练一个小的视觉词汇集合(通常包含32至128个词汇);C.将每幅图的局部特征用简化的费舍尔核方法进行聚集。聚集时,同时考虑每个局部特征的主方向信息(0~2π),将主方向分为8个量化区间,根据量化后的主方向值,聚集到不同的费舍尔子向量,8个子向量拼接为一个长向量,作为图像的特征表示;D.将获得的8个费舍尔子向量重组,获得一系列8维的子向量。对每个子向量进行一维离散余弦变换,变换到该特征的频率域;E.再对频率域的特征进行重组,得到不同频段的8个子向量,对每个子向量做主成分分析,以降低整个特征的维度;F.再对降维之后的8个子向量进行重组,得到一系列8维的子向量;G.在子向量上定义相似度度量,以计算图像两两之间的相似度;H.对于大规模图像检索的情形,提出对每个子向量分别索引,整个图像检索可以并行进行。

Claims (3)

1.协变局部特征聚集的图像特征表示法,其特征在于包括以下步骤:
1)提取图像的局部特征,采用描述子进行描述,一幅图像被表示为一系列描述子的集合χ,同时获得每个局部特征的主方向θ;
2)用一个独立的图像集,提取并收集其局部特征,从而生成一个由描述子组成的矩阵;采用K平均聚类算法,获得K个聚类中心,K一般设为32至64之间的一个整数值,K个聚类中心作为视觉词汇集C={c1...K};
3)采用如下公式(1)对一幅图的每个局部特征进行简化的费舍尔聚集:
其中,q(x)在C中找到最近邻ci,b=B(θ);ci为视觉词汇集C={c1...K}中离局部特征x(x∈χ)最近的视觉词汇;函数B(θ)对图像局部特征x的主方向θ进行量化,主方向量化为8个量化区段,公式(1)将一个图像的一系列描述子转化为一个长的向量Y表示,根据主方向的量化值,长向量又分为多个子向量,由于使用8个量化区段,因此有8个子向量,即Y={P1,P2,...,P8};
4)将获得的8个费舍尔子向量重组,获得一系列8维的子向量;
5)再对所述一系列8维的子向量组成的向量进行重组,把所有8维的子向量对映维放到一起,依次排列,获得8个子向量;如果把离散余弦变换得到一系列8维的子向量看作一个有8列的矩阵,这个重组操作相当于对矩阵进行转置;然后,对重组后得到的每个子向量做主成分分析,以降低整个特征的维度;
6)再对降维之后的8个子向量进行重组;
7)在由一系列8维的子向量拼合成的向量上定义距离度量,以衡量图像两两之间的相似度;距离度量如以下公式(3):
S ( U , V ) = &Sigma; i = 1 d < u i , v i > - - - ( 3 )
其中,||ui||2=||vi||2=1,d是子向量的个数,U和V分别为两幅图像经步骤A至F获得的向量表示,ui和vi是它们的各自的子向量;这里假设它们分别由d个子向量组成;子向量ui和vi进行内积运算。
2.如权利要求1所述协变局部特征聚集的图像特征表示法,其特征在于在步骤4)中,所述将获得的8个费舍尔子向量重组,获得一系列8维的子向量的具体做法为:
把8个子向量每个对映维度放到一起,按量化主方向值一次排列,获得一系列8维的子向量,如果把Y看作一个8行的矩阵,这个重组操作相当于对Y进行转置操作;
对得到的每个8维的子向量逆排后进行1维离散余弦变换即II型离散余弦变换,给定重组后得到的一个子向量Q,逆序操作如下公式(2):
Q = &lsqb; q 1 , q 2 , q 3 , ... , q 7 , q 8 &rsqb; &DoubleRightArrow; Q &OverBar; = &lsqb; q 8 , q 7 , q 6 , ... , q 2 , q 1 &rsqb; - - - ( 2 ) .
3.如权利要求1所述协变局部特征聚集的图像特征表示法,其特征在于在步骤6)中,所述对降维之后的8个子向量进行重组的具体做法为:把8个子向量每个对映维度放到一起,按量化主方向值一次排列,获得一系列8维子向量;
在大规模图像检索的情况下,权利要求1所述公式(3)定义的距离度量需要高效的最近邻查找算法做支撑;权利要求2所述公式(2)的距离度量是d个距离之和,这里每个距离度量可以分别进行;可以对每个子向量单独进行索引,d个最近邻查找可以并行进行。
CN201510710221.2A 2015-10-28 2015-10-28 协变局部特征聚集的图像特征表示法 Expired - Fee Related CN105335500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510710221.2A CN105335500B (zh) 2015-10-28 2015-10-28 协变局部特征聚集的图像特征表示法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510710221.2A CN105335500B (zh) 2015-10-28 2015-10-28 协变局部特征聚集的图像特征表示法

Publications (2)

Publication Number Publication Date
CN105335500A true CN105335500A (zh) 2016-02-17
CN105335500B CN105335500B (zh) 2018-11-20

Family

ID=55286027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510710221.2A Expired - Fee Related CN105335500B (zh) 2015-10-28 2015-10-28 协变局部特征聚集的图像特征表示法

Country Status (1)

Country Link
CN (1) CN105335500B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765397A (zh) * 2018-05-22 2018-11-06 内蒙古农业大学 一种基于降维和特征空间构造的木材图像识别方法及装置
CN110019874A (zh) * 2017-12-29 2019-07-16 上海全土豆文化传播有限公司 索引文件的生成方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968632A (zh) * 2012-10-15 2013-03-13 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
US20140193077A1 (en) * 2013-01-08 2014-07-10 Canon Kabushiki Kaisha Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program
CN104199931A (zh) * 2014-09-04 2014-12-10 厦门大学 一种商标图像一致语义提取方法及商标检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968632A (zh) * 2012-10-15 2013-03-13 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
US20140193077A1 (en) * 2013-01-08 2014-07-10 Canon Kabushiki Kaisha Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program
CN104199931A (zh) * 2014-09-04 2014-12-10 厦门大学 一种商标图像一致语义提取方法及商标检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K.-R.MULLER等: "An introduction to kernel-based learning algorithms", 《IEEE》 *
王永茂等: "新的局部保持鉴别分析算法", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019874A (zh) * 2017-12-29 2019-07-16 上海全土豆文化传播有限公司 索引文件的生成方法、装置及系统
CN110019874B (zh) * 2017-12-29 2021-09-24 阿里巴巴(中国)有限公司 索引文件的生成方法、装置及系统
CN108765397A (zh) * 2018-05-22 2018-11-06 内蒙古农业大学 一种基于降维和特征空间构造的木材图像识别方法及装置

Also Published As

Publication number Publication date
CN105335500B (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
US8892542B2 (en) Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval
CN107463605B (zh) 低质新闻资源的识别方法及装置、计算机设备及可读介质
US9043316B1 (en) Visual content retrieval
CN103608826B (zh) 利用网络信息挖掘的视频内产品注释
CN107894998B (zh) 视频推荐方法及装置
EP2657884B1 (en) Identifying multimedia objects based on multimedia fingerprint
CN110019794B (zh) 文本资源的分类方法、装置、存储介质及电子装置
US9256617B2 (en) Apparatus and method for performing visual search
US20170026665A1 (en) Method and device for compressing local feature descriptor, and storage medium
CN102521618A (zh) 局部描述子的提取方法、图片检索方法及图像匹配方法
WO2023108995A1 (zh) 向量相似度计算方法、装置、设备及存储介质
CN102890700A (zh) 一种基于体育比赛视频的相似视频片段检索方法
CN111382620B (zh) 视频标签添加方法、计算机存储介质和电子设备
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN103440262A (zh) 基于相关反馈和Bag-of-Features的图像检索系统及方法
JP6104209B2 (ja) ハッシュ関数生成方法、ハッシュ値生成方法、装置、及びプログラム
CN111460223A (zh) 基于深度网络的多模态特征融合的短视频单标签分类方法
Lee et al. Efficient image retrieval using advanced SURF and DCD on mobile platform
CN109086830A (zh) 基于样本惩罚的典型关联分析近重复视频检测方法
CN110162769B (zh) 文本主题输出方法和装置、存储介质及电子装置
CN104765764A (zh) 一种基于大规模图像检索方法
CN105335500A (zh) 协变局部特征聚集的图像特征表示法
Zuo et al. Bandwidth and energy efficient image sharing for situation awareness in disasters
dos Santos et al. A signature-based bag of visual words method for image indexing and search
CN115204436A (zh) 检测业务指标异常原因的方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181120

Termination date: 20191028

CF01 Termination of patent right due to non-payment of annual fee