CN102905123B - 帧内图像预测编码方法及视频编码器 - Google Patents

帧内图像预测编码方法及视频编码器 Download PDF

Info

Publication number
CN102905123B
CN102905123B CN201110208734.5A CN201110208734A CN102905123B CN 102905123 B CN102905123 B CN 102905123B CN 201110208734 A CN201110208734 A CN 201110208734A CN 102905123 B CN102905123 B CN 102905123B
Authority
CN
China
Prior art keywords
prediction
pred
predictive mode
frame image
modes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110208734.5A
Other languages
English (en)
Other versions
CN102905123A (zh
Inventor
贾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics China Research and Development Center Co Ltd
Original Assignee
LG Electronics China Research and Development Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics China Research and Development Center Co Ltd filed Critical LG Electronics China Research and Development Center Co Ltd
Priority to CN201110208734.5A priority Critical patent/CN102905123B/zh
Publication of CN102905123A publication Critical patent/CN102905123A/zh
Application granted granted Critical
Publication of CN102905123B publication Critical patent/CN102905123B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种帧内图像预测编码方法及视频编码器,其中编码方法包括执行如下的分级模式选择处理:执行第一级模式选择处理,包括:分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;执行第二级以上的模式选择处理,包括:选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式。本发明降低了帧内图像预测编码的复杂度,有利于视频编码实时工作的实现。

Description

帧内图像预测编码方法及视频编码器
技术领域
本发明涉及图像视频编码和帧内图像预测技术领域,尤其涉及帧内图像预测编码方法及视频编码器。
背景技术
图像视频压缩编码总体上分为帧间图像编码和帧内图像编码两种预测编码技术。帧内图像编码利用来自当前帧已经编码图像单元的信息对当前编码图像单元进行预测编码。
图1列出了现有帧内图像预测模式。现有方法是遍历所有预测模式,选择性能最优的模式为最终预测单元预测模式。现有方法编码效率优越,但复杂度高,实时编码困难。
发明内容
本发明实施例提供一种帧内图像预测编码方法,用以降低帧内图像预测编码的复杂度,易于实现实时编码,该方法包括执行如下的分级模式选择处理:
执行第一级模式选择处理,包括:
分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
执行第二级以上的模式选择处理,包括:
选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;
采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
执行第一级模式选择处理,具体包括:
分别采用{0,1,2,3,6,9}预测模式执行帧内图像预测,根据预测结果选择最优预测模式pred1,pred1∈{0,1,2,3,6,9}预测模式;
其中,0预测模式表示竖直预测模式,1预测模式表示水平预测模式,2预测模式表示平均预测模式,3,6,9预测模式表示对角预测模式;
所述执行第一级模式选择处理,还包括:
若pred1==2预测模式,则选择2预测模式为最优预测模式;否则执行第二级模式选择处理,具体包括:
选择pred1对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred1在内选择最优预测模式pred2
若pred1==pred2,则选择pred1为最优预测模式;否则,若pred1==6或者pred1==9,则选择pred2为最优预测模式;否则执行第三级模式选择处理,具体包括:
选择pred2对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred2在内选择最优预测模式。
本发明实施例还提供一种视频编码器,用以降低帧内图像预测编码的复杂度,易于实现实时编码,该视频编码器包括如下的分级模式选择处理模块,其中:
第一级模式选择处理模块用于:
分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
第二级以上的模式选择处理模块用于:
选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;
采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
所述第一级模式选择处理模块具体用于:
分别采用{0,1,2,3,6,9}预测模式执行帧内图像预测,根据预测结果选择最优预测模式pred1,pred1∈{0,1,2,3,6,9}预测模式;
其中,0预测模式表示竖直预测模式,1预测模式表示水平预测模式,2预测模式表示平均预测模式,3,6,9预测模式表示对角预测模式;
所述第一级模式选择处理模块还用于:
若pred1==2预测模式,则选择2预测模式为最优预测模式;否则,
第二级模式选择处理模块具体用于:
选择pred1对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred1在内选择最优预测模式pred2
若pred1==pred2,则选择pred1为最优预测模式;否则,若pred1==6或者pred1==9,则选择pred2为最优预测模式;否则,
第三级模式选择处理模块具体用于:
选择pred2对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred2在内选择最优预测模式。
本发明实施例中的帧内图像预测编码执行分级模式选择处理,其中第一级模式选择处理包括:分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;第二级以上的模式选择处理包括:选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式;从而降低了帧内图像预测编码的复杂度,有利于视频编码实时工作的实现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为背景技术中现有帧内图像预测模式的示意图;
图2为本发明实施例中帧内图像预测编码方法的处理流程图;
图3为本发明实施例中帧内图像预测编码方法的执行第一级模式选择处理的示意图;
图4为本发明实施例中帧内图像预测编码方法的执行第二级模式选择处理的示意图;
图5为本发明实施例中帧内图像预测编码方法的执行第二级模式选择处理的示意图;
图6为本发明实施例中帧内图像预测编码方法的执行第二级模式选择处理的示意图;
图7为本发明实施例中帧内图像预测编码方法的执行第二级模式选择处理的示意图;
图8为本发明实施例中帧内图像预测编码方法的执行第二级模式选择处理的示意图;
图9为本发明实施例中视频编码器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
为了降低帧内图像预测编码的复杂度,易于实现实时编码,本发明实施例提出一种帧内图像预测编码方法。该方法基于分级模式选择处理实施帧内图像预测编码,按照帧内图像的预测模式,将现有预测模式分级,第一级采用竖直、水平、平均、对角预测模式执行帧内图像预测;从第二级开始只采用上一级中最优预测模式对应预测方向的相邻或间隔相邻预测方向对应预测模式执行帧内图像预测,具体实施的处理流程如图2所示,可以包括执行如下的分级模式选择处理:
步骤201、执行第一级模式选择处理,包括:
分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
步骤202、执行第二级以上的模式选择处理,包括:
选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;
采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式。
由图2所示流程可以得知,本发明实施例中的帧内图像预测编码执行分级模式选择处理,其中第一级模式选择处理包括:分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;第二级以上的模式选择处理包括:选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式;从而降低了帧内图像预测编码的复杂度,有利于视频编码实时工作的实现。
具体实施时,执行第一级模式选择处理,具体可以包括:
(步骤一)分别采用{0,1,2,3,6,9}预测模式执行帧内图像预测,根据预测结果选择最优预测模式pred1,pred1∈{0,1,2,3,6,9}预测模式;
其中,0预测模式表示竖直预测模式,1预测模式表示水平预测模式,2预测模式表示平均预测模式,3,6,9预测模式表示对角预测模式。
图3为执行第一级模式选择处理的示意图,图3中标出了执行第一级模式选择处理的{0,1,2,3,6,9}预测模式对应的预测方向。
具体实施时,执行第一级模式选择处理,还可以包括:
(步骤二)若pred1==2预测模式,则选择2预测模式为最优预测模式;预测过程结束;
否则执行第二级模式选择处理,具体可以包括:
(步骤三)选择pred1对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred1在内选择最优预测模式pred2
如图4所示,如果pred1==0,可以选择pred1对应预测方向的间隔相邻四个预测方向,采用这四个预测方向对应的预测模式(4,11,12,5预测模式)执行帧内图像预测。如图5所示,如果pred1==1,可以选择pred1对应预测方向的间隔相邻四个预测方向,采用这四个预测方向对应的预测模式(7,15,16,8预测模式)执行帧内图像预测。如图6所示,如果pred1==3,可以选择pred1对应预测方向的间隔相邻四个预测方向,采用这四个预测方向对应的预测模式(7,14,10,4预测模式)执行帧内图像预测。如图7所示,如果pred1==6,可以选择pred1对应预测方向的相邻四个预测方向,采用这四个预测方向对应的预测模式(5,24,13,25预测模式)执行帧内图像预测。如图8所示,如果pred1==9,可以选择pred1对应预测方向的相邻四个预测方向,采用这四个预测方向对应的预测模式(8,32,17,33预测模式)执行帧内图像预测;
(步骤四)若pred1==pred2,则选择pred1为最优预测模式,预测过程结束;否则,若pred1==6或者pred1==9,则选择pred2为最优预测模式,预测过程结束;否则执行第三级模式选择处理,具体可以包括:
选择pred2对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred2在内选择最优预测模式;例如可以选择pred2对应预测方向的相邻两个预测方向,采用这两个预测方向对应的预测模式执行帧内图像预测,连同pred2在内选择最优预测模式。
由上述具体实施可知,本发明实施例的帧内图像预测编码方法最快可以两个步骤(前述步骤一至二)完成,最慢可以四个步骤(前述步骤一至四)完成。在最慢的步骤中,也可以只用现有1/3数量的模式完成帧内图像预测,从而降低帧内图像预测编码的复杂度。
本发明实施例中还提供了一种视频编码器,如下面的实施例所述。由于视频编码器解决问题的原理与帧内图像预测编码方法相似,因此视频编码器的实施可以参见帧内图像预测编码方法的实施,重复之处不再赘述。
如图9所示,本发明实施例中的视频编码器可以包括如下的分级模式选择处理模块,其中:
第一级模式选择处理模块901用于:
分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
第二级以上的模式选择处理模块(902,903,……)用于:
选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;
采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式。
具体实施时,第一级模式选择处理模块901具体可以用于:
分别采用{0,1,2,3,6,9}预测模式执行帧内图像预测,根据预测结果选择最优预测模式pred1,pred1∈{0,1,2,3,6,9}预测模式;
其中,0预测模式表示竖直预测模式,1预测模式表示水平预测模式,2预测模式表示平均预测模式,3,6,9预测模式表示对角预测模式。
具体实施时,第一级模式选择处理模块901还可以用于:
若pred1==2预测模式,则选择2预测模式为最优预测模式;否则,
第二级模式选择处理模块902具体可以用于:
选择pred1对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred1在内选择最优预测模式pred2
若pred1==pred2,则选择pred1为最优预测模式;否则,若pred1==6或者pred1==9,则选择pred2为最优预测模式;否则,
第三级模式选择处理模块903具体可以用于:
选择pred2对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred2在内选择最优预测模式,例如可以选择pred2对应预测方向的相邻两个预测方向,采用这两个预测方向对应的预测模式执行帧内图像预测,再连同pred2在内选择最优预测模式。
综上所述,本发明实施例中的帧内图像预测编码执行分级模式选择处理,其中第一级模式选择处理包括:分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;第二级以上的模式选择处理包括:选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式;从而降低了帧内图像预测编码的复杂度,有利于视频编码实时工作的实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种帧内图像预测编码方法,其特征在于,该方法包括执行如下的分级模式选择处理:
执行第一级模式选择处理,包括:
分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
执行第二级以上的模式选择处理,包括:
选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;
采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
执行第一级模式选择处理,具体包括:
分别采用{0,1,2,3,6,9}预测模式执行帧内图像预测,根据预测结果选择最优预测模式pred1,pred1∈{0,1,2,3,6,9}预测模式;
其中,0预测模式表示竖直预测模式,1预测模式表示水平预测模式,2预测模式表示平均预测模式,3,6,9预测模式表示对角预测模式;
所述执行第一级模式选择处理,还包括:
若pred1==2预测模式,则选择2预测模式为最优预测模式;否则执行第二级模式选择处理,具体包括:
选择pred1对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred1在内选择最优预测模式pred2
若pred1==pred2,则选择pred1为最优预测模式;否则,若pred1==6或者pred1==9,则选择pred2为最优预测模式;否则执行第三级模式选择处理,具体包括:
选择pred2对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred2在内选择最优预测模式。
2.如权利要求1所述的方法,其特征在于,所述选择pred2对应预测方向的相邻预测方向,包括:
选择pred2对应预测方向的相邻两个预测方向。
3.一种视频编码器,其特征在于,包括如下的分级模式选择处理模块,其中:
第一级模式选择处理模块用于:
分别采用竖直、水平、平均及对角预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
第二级以上的模式选择处理模块用于:
选择上一级模式选择处理中最优预测模式对应的预测方向的相邻或间隔相邻预测方向;
采用所选择的预测方向对应的预测模式执行帧内图像预测,根据预测结果选择最优预测模式;
所述第一级模式选择处理模块具体用于:
分别采用{0,1,2,3,6,9}预测模式执行帧内图像预测,根据预测结果选择最优预测模式pred1,pred1∈{0,1,2,3,6,9}预测模式;
其中,0预测模式表示竖直预测模式,1预测模式表示水平预测模式,2预测模式表示平均预测模式,3,6,9预测模式表示对角预测模式;
所述第一级模式选择处理模块还用于:
若pred1==2预测模式,则选择2预测模式为最优预测模式;否则,
第二级模式选择处理模块具体用于:
选择pred1对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred1在内选择最优预测模式pred2
若pred1==pred2,则选择pred1为最优预测模式;否则,若pred1==6或者pred1==9,则选择pred2为最优预测模式;否则,
第三级模式选择处理模块具体用于:
选择pred2对应预测方向的相邻或间隔相邻预测方向,采用所选择的预测方向对应的预测模式执行帧内图像预测,连同pred2在内选择最优预测模式。
4.如权利要求3所述的视频编码器,其特征在于,所述第三级模式选择处理模块具体用于:
选择pred2对应预测方向的相邻两个预测方向。
CN201110208734.5A 2011-07-25 2011-07-25 帧内图像预测编码方法及视频编码器 Expired - Fee Related CN102905123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110208734.5A CN102905123B (zh) 2011-07-25 2011-07-25 帧内图像预测编码方法及视频编码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110208734.5A CN102905123B (zh) 2011-07-25 2011-07-25 帧内图像预测编码方法及视频编码器

Publications (2)

Publication Number Publication Date
CN102905123A CN102905123A (zh) 2013-01-30
CN102905123B true CN102905123B (zh) 2017-04-12

Family

ID=47577140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110208734.5A Expired - Fee Related CN102905123B (zh) 2011-07-25 2011-07-25 帧内图像预测编码方法及视频编码器

Country Status (1)

Country Link
CN (1) CN102905123B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0707427A2 (en) * 1994-10-13 1996-04-17 AT&T Corp. Method and apparatus for a region-based approach to coding a sequence of video images
CN101060626A (zh) * 2007-05-10 2007-10-24 武汉大学 一种视频转码中帧内模式的快速选择方法
CN101350927A (zh) * 2008-07-29 2009-01-21 北京中星微电子有限公司 帧内预测选择最优预测模式的方法及装置
CN101389023A (zh) * 2008-10-21 2009-03-18 镇江唐桥微电子有限公司 一种自适应运动估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0707427A2 (en) * 1994-10-13 1996-04-17 AT&T Corp. Method and apparatus for a region-based approach to coding a sequence of video images
CN101060626A (zh) * 2007-05-10 2007-10-24 武汉大学 一种视频转码中帧内模式的快速选择方法
CN101350927A (zh) * 2008-07-29 2009-01-21 北京中星微电子有限公司 帧内预测选择最优预测模式的方法及装置
CN101389023A (zh) * 2008-10-21 2009-03-18 镇江唐桥微电子有限公司 一种自适应运动估计方法

Also Published As

Publication number Publication date
CN102905123A (zh) 2013-01-30

Similar Documents

Publication Publication Date Title
TWI445411B (zh) 在譯碼單元之視頻譯碼中執行局部運動向量推導之方法與相應裝置
CN111050168B (zh) 仿射预测方法及其相关装置
CN104822065B (zh) 图像预测解码装置、方法、以及编码/解码系统和方法
CN101682777B (zh) 图像预测编码装置及方法、图像预测解码装置及方法
CN100531395C (zh) 帧内预测方法及装置
CN104202602B (zh) 执行视频编码的装置及方法
CN107046645A (zh) 图像编解码方法及装置
CN103220514B (zh) Hevc中的系数编码调谐
CN104618724B (zh) 视频编码或解码的方法及装置
CN102291581B (zh) 支持帧场自适应运动估计的实现方法
CN111246212B (zh) 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端
CN101969561A (zh) 一种帧内模式选取方法、装置及一种编码器
CN106162176A (zh) 帧内预测模式选择方法和装置
CN109495743A (zh) 一种基于异构多处理平台的并行化视频编码方法
CN105745928A (zh) 用于对图像进行编码和解码的方法、用于对图像进行编码和解码的设备以及相应的计算机程序
CN108989799A (zh) 一种编码单元参考帧的选择方法、装置及电子设备
US20240283930A1 (en) Systems and methods for video encoding using image segmentation
CN1589028A (zh) 基于像素流水的帧内预测装置及预测方法
CN103609114B (zh) 编码装置、解码装置、编解码系统、编码方法以及解码方法
CN110225339A (zh) 一种hevc视频序列编解码加速方法
CN103974069B (zh) 可重用的视频编码方法和编码器
CN102905123B (zh) 帧内图像预测编码方法及视频编码器
CN105812824B (zh) 一种视频图像编码方法及装置
CN102387361B (zh) 视频编解码的参考帧处理方法及视频编解码器
CN103188487B (zh) 视频图像中的卷积方法及视频图像处理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20210725