CN103440616B - 一种基于自适应预测模型的高容量可逆水印方法 - Google Patents

一种基于自适应预测模型的高容量可逆水印方法 Download PDF

Info

Publication number
CN103440616B
CN103440616B CN201310408792.1A CN201310408792A CN103440616B CN 103440616 B CN103440616 B CN 103440616B CN 201310408792 A CN201310408792 A CN 201310408792A CN 103440616 B CN103440616 B CN 103440616B
Authority
CN
China
Prior art keywords
pixel
equations
watermark
pixels
interim
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310408792.1A
Other languages
English (en)
Other versions
CN103440616A (zh
Inventor
翁韶伟
张天聪
潘正祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201310408792.1A priority Critical patent/CN103440616B/zh
Publication of CN103440616A publication Critical patent/CN103440616A/zh
Application granted granted Critical
Publication of CN103440616B publication Critical patent/CN103440616B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0083Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0203Image watermarking whereby the image with embedded watermark is reverted to the original condition before embedding, e.g. lossless, distortion-free or invertible watermarking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自适应预测模型的高容量可逆水印方法;包括水印嵌入过程及水印提取和原图像恢复过程;所述水印嵌入过程包括预测模型的设计过程及自适应嵌入策略;所述水印提取和原图像恢复过程为所述水印嵌入过程的逆过程;本发明通过充分利用相邻像素间高相关性的特性,得到预测性能较高的预测模型,从而有效地降低了已有算法中修改预测误差进行水印嵌入时所产生的高嵌入失真;另外,通过评估待嵌入集合中的每一像素的四个环绕像素的相关程度,使得约占全部像素四分之三的像素能携带1‑2比特水印,因此,实现了容量的提高。

Description

一种基于自适应预测模型的高容量可逆水印方法
技术领域
本发明涉及多媒体信号处理技术领域,具体地讲,涉及一种基于自适应预测模型的高容量可逆水印方法。
背景技术
传统的数字水印技术会造成宿主图像的永久性失真。但在一些实际应用中却不允许对宿主图像有一丁点的永久修改,比如医疗、军事和司法等领域。以医学图像为例,任何形式的失真都是不允许的。任何一幅医学图像的获取需要精密仪器的支持和昂贵的医疗费用, 更为重要的是失真可能会造成潜在的误诊。例如,对于一幅 ECG(electrocardiographic)信号图,任何一点信号曲线的异常都有可能被解释为某种病理特征。因此,传统的数字水印技术并不适用于医学图像。一种称为可逆水印的技术引起了越来越多人的研究与关注。可逆数字水印能以无损的方式将相关水印信息嵌入到宿主图像中,能在接收端有效地提取水印并精确恢复原始图像。
如何在保持载体图像视觉质量的情况下显著提高水印嵌入的数据容量,成为近年来图像可逆水印算法研究的主要方向之一。Wu (H.-T. Wu and J. W. Huang,“Reversible image watermarking on prediction errors by efficient histogrammodification,” Signal Processing, vol. 92(12), pp. 3000–3009, 2012.) 提出了基于四种预测模型和有效灰度修改的可逆水印方法。在Wu提出的每一种预测模型中,对于约占全部像素的二分之一的每一个像素,Wu通过计算它的两个相邻像素的灰度值的均值来预测它;对于约占全部像素的四分之一的每一个像素,Wu用它的两条对角线方向上的四个近邻像素来预测它。然而,仅用某一像素的两相邻像素去预测这个像素,预测精度不会很高,而且,对获得的预测误差进行水印嵌入会导致较高的嵌入失真。为此,我们设计出了四种新的预测模型,对于这部分像素中的每一个像素,我们能用它的四个相邻像素去预测它,因此,预测精度大大提高,同时对预测误差进行水印嵌入所产生的失真也大大降低。
在Wu的论文中,Wu从嵌入容量和视觉质量两个方面和Peng (F. Peng, X. Li,and B. Yang, “Adaptive reversible data hiding scheme based on integertransform,” Signal Processing, vol. 92(1), pp. 54–62, 2012.)、Luo (L. Luo, Z.Chen, M. Chen, X. Zeng, and Z. Xiong, “Reversible image watermarking usinginterpolation technique,” IEEE Transactions on Information Forensics and Security, vol. 5(1), pp. 187–193, 2010.)的方法做了比较。在本发明中,我们也将给出本发明和Wu、 Peng和Luo在嵌入容量和视觉质量两个方面的比较结果。
发明内容
本发明的主要目的在于,针对上述现有技术中的不足,提供一种基于自适应预测模型的高容量可逆水印方法,可以用于医学图像、军事地图和军用图像的管理和授权使用信息中,以此为依据判别医学图像、军事地图和军用图像的来源,版权,真伪等信息。
本发明解决现有技术问题所采用的技术方案是:包括水印嵌入过程及水印提取和原图像恢复过程;所述水印嵌入过程包括:
预测模型的设计过程;所述预测模型的设计过程包括以下两个步骤:
(1)将一副原始图像的全部像素分成第一类像素和第二类像素;所述第一类像素约占全部像素的四分之一,组成用于预测所述第二类像素的像素集合,且所述第一类像素不允许水印嵌入过程对它们有任何的修改,称第一类临时不变集;所述第二类像素约占全部像素的四分之三,组成待嵌入像素集合,称第一类改变集;
(2)设计四种预测模型,每一种预测模型分成以下两步:
①所述第二类像素包括三分之一的第二类像素和三分之二的第二类像素;先让所述三分之一的第二类像素暂时保持不变,组成第二类临时不变集,所述第二类临时不变集和所述第一类临时不变集一起预测所述三分之二的第二类像素,故称所述三分之二的第二类像素为第二类改变集;
②用所述第二类临时不变集的两条对角线上的四个属于所述第一类像素的像素去预测第二类临时不变集。
还包括自适应嵌入策略;在每一个所述的四种预测模型中,由所述自适应嵌入策略计算出所述第二类临时不变集中每一像素的四个相邻像素的方差,若方差小于某一给定的门限,则称该四个相邻近像素的相关性强,并嵌2比特水印到此像素中;若方差大于或等于所述某一给定的门限,则嵌1比特水印到此像素中;
所述水印提取和原图像恢复过程为所述水印嵌入过程的逆过程。
本发明的有益效果是:其一,由于待嵌入像素集(约占全部像素的四分之三)中每一个像素,都能用四个环绕着它的像素去预测它,因此预测精度高;其二,通过评估每一个待嵌入像素的四个环绕像素的相关程度,本发明对每一个待嵌入像素进行自适应地水印嵌入,提高了嵌入容量。
附图说明
图1是本发明实施例中四种预测模型的结构示意图;
其中:图(a)、预测模型1;图(b)、预测模型2;图(c)、预测模型3;图(d)、预测模型4;
图2是本发明实施例中基于自适应预测模型的高容量可逆水印方法的整体系统流程图;
图3是对于大小的Lena图像,本发明与Wu方案、Luo方案、Peng方案的性能比较图;
图4是对于大小的Baboon图像,本发明与Wud方案、Luo方案、Peng方案的性能比较图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
以下将结合附图及具体实施例详细说明本发明的技术方案,以便更清楚、直观地理解本发明的发明实质。
本发明的基于自适应预测模型的高容量可逆水印方法包括水印嵌入过程及水印提取和原图像恢复过程。
参照图1所示,在水印嵌入过程中,首先设计四种预测模型:预测模型1、预测模型2、预测模型3、预测模型4,在每一种预测模型中,将一副大小为的原始图像的全部像素分成第一类像素和第二类像素;所述第一类像素约占全部像素的四分之一,组成用于预测所述第二类像素的像素集合,称第一类临时不变集,此类像素不允许水印嵌入过程对它们有任何的修改,因为一旦它们在嵌入过程中受到修改,算法的可逆性就将遭到破坏,因此,它们的使命就是用来预测第二类像素的;所述第二类像素约占全部像素的四分之三,组成待嵌入像素集合,称第一类改变集。以预测模型1为例,在预测模型1中,位于第一行和第一列上的像素在嵌入过程中不会发生变化,图中用圆圈来代表它们,它们的作用仅是用来和其它三种模型区别开来。对于预测模型1,用表示第一类像素,则,在图中用五角星来表示表示第二类像素,由三部分组成,其中
每一种预测模型分成以下两步:①所述第二类像素包括三分之一的第二类像素和三分之二的第二类像素;先让所述三分之一的第二类像素暂时保持不变,组成第二类临时不变集,所述第二类临时不变集和所述第一类临时不变集一起预测所述三分之二的第二类像素,故称所述三分之二的第二类像素为第二类改变集;这样做的好处就是为了保证第二类改变集中每一个像素都有上、下、左、右四个邻近且不会发生改变的像素,因此预测精度能达到很高;② 由于第二类改变集中的像素在第一步已被修改,因此它们不能用于预测第二类临时不变集中的像素,在第二步中,对于第二类临时不变集中的每一个像素,用它的两条对角线上的四个属于第一类像素的像素去预测它。这里要注意一点:第一步和第二步之间有着明确的先后顺序,不能颠倒次序,否则,可逆性将无法保证。仍以预测模型1为例,是改变集,在预测模型1的第一步中,用五角星表示;第二步中,用正方形表示在第一步中已被修改的是临时不变集,在预测模型1的第一步中,用五角星来表示用于预测的;第二步中,用三角形来表示将被预测的
然后在每一个所述的四种预测模型中,由所述自适应嵌入策略计算出所述第二类临时不变集中每一像素的四个相邻像素的方差,若方差小于某一给定的门限,则称该四个相邻近像素的相关性强,并嵌2比特水印到此像素中;若方差大于或等于所述某一给定的门限,则嵌1比特水印到此像素中。
具体地,用表示某一待嵌入像素,本实施例用表示的四个相邻像素。先计算临时不变集中每个像素的的相关程度,即计算的方差,若方差小于某一给定的门限,则认为之间存在着很强的相关性,否则认为相关性弱。
若用表示集合中的某一个待嵌像素(即),则它的四个位置相邻的像素分别用表示。组成了,即
以预测模式1为例,假设,其中,则
时,只有三个环绕的像素,即。一旦缺少某个环绕像素,比如),我们用)来代替),反之也是如此。
,即,其中,则
所述水印提取和原图像恢复过程为所述水印嵌入过程的逆过程。
参照图2所示,本发明的整体系统流程图包括以下几个部分:
1、预测操作:
(1)
其中
(2)
(3)
表示的预测值,分别表示方向和方向上的均值,(参见图1),分别表示方向和方向上的局部方差,的均值,即
由于预测都是有偏差, 因而会产生一个预测误差
(4)
其中表示预测误差。
2、评估的相关程度:
的方差计算如下:
(5)
,认为之间存在着很强的相关性,则属于平滑集,否则属于纹理集,其中代表一个预先定义的门限,用来评估属于哪个集合(平滑集还是纹理集)。也就是说,通过评估之间的相关程度,将分成了两个集合:平滑集和纹理集。
对于平滑集中的任一,如果,则按照等式(6)对进行两次扩展。
(6)
其中代表两比特水印,即表示修改后的预测误差。如果,则按照等式(7)对进行左右平移,平移的幅度是
(7)
如果属于纹理集,且它的预测误差,则按照等式(8)对进行一次扩展。
(8)
其中代表1比特水印,即。如果,则按照等式(9)对进行左右平移,平移的幅度是
(9)
表示来表示的含水印像素,则有
3、嵌入过程
嵌入过程分为以下三个步骤:
水印嵌入后,含水印的像素必须在范围之内,否则含水印像素将遭受溢出(上溢或下溢),像素溢出将直接导致在解码端无法正确恢复出原始像素。为了避免像素溢出,我们定义
①像素分类:将中每一个待嵌像素(即)分成以下三类: 。属于平滑集的某一待嵌像素,水印嵌入后,如果它的没有发生溢出(即),则属于,即,实际上,由两部分组成:,其中,而;属于纹理集的某一待嵌像素,水印嵌入后,如果它的没有发生溢出(即),则属于,即,实际上,也是由两部分组成:,其中,而;若,则属于
进一步分为以下两个子集:
:若,且它的预测误差,则属于子集,实际上,包含两部分,即
:若,且,则属于子集
进一步分为以下两个子集:
:若,且它的预测误差,则属于子集,实际上,包含两部分,即 ,和
:若,且,则属于子集
因此,嵌入容量(即载荷大小)等于
②位置图的形成:用一个一维的位置图, 大小为,来标识这三类,位置图中符号‘1’表示中的像素,‘0’表示中的像素,其中用来表示集合的长度。用算术编码无损压缩位置图。压缩位置图产生的码流用表示,假设其长度为。因此待嵌入水印信息来自两个方面:1) 压缩后的码流;2) 载荷。总的载荷按照嵌入的先后顺序分成两个部分,其中。先将嵌入到中,再将嵌入到中去。
③水印信息嵌入过程:对于任一待嵌像素,如果它属于, 则按照公式(6)嵌两比特水印信息到预测误差中;如果属于,则按照公式(7)对预测误差进行左右平移,平移幅度是;如果它属于, 则按照公式(8)嵌1比特水印信息到预测误差中;如果属于,则按照公式(9)对预测误差进行左右平移,平移幅度是;如果属于 ,则保持不变,即
④将水印信息嵌入到集合中:四种预测模型中,对于中的每一个待嵌像素,先用预测中的每一个待嵌像素,得到预测误差后,再按照步骤③对预测误差进行修改。这个过程的嵌入量是
在对中的全部待嵌像素修改完了后,再用中的像素进行预测,并按照步骤③对中的每一个待嵌像素进行修改。对于前个像素中的每一个像素按照步骤③修改完之后,收集的最不重要位(LSB),并把其最不重要位添加到的后面。剩余的个像素,对其处理的过程和前个像素类似。但不同的是其的LSB不需要收集。全部像素处理完了之后,得到水印图像
4、水印提取和原始图像恢复过程:
抽取过程分为以下三个步骤:
①位置图的恢复:收集所有像素的最不重要位,形成一个比特流。 在此比特流中找到算术编码的结束符, 从开始到结束符的比特流被解压缩得到原始位置图。
②从中提取出水印和恢复出原始像素:对于中的,如果它在位置图中所对应的是‘0’,则保持不变,即;如果是`1’,则用预测中的,得到和嵌入过程一样的预测误差,同时计算的方差,如果,则按照等式(10) 恢复出原始的预测误差。
(10)
其中。水印提取如下:
如果,则按照等式(11)恢复出原始的预测误差。
(11)
水印提取如下:。最后,
③从中提取出水印和恢复出原始像素:在正确恢复出中全部像素后,则用中的原始像素去预测中的,得到预测误差,再按照步骤②从中的含水印像素提取出水印信息和恢复出原始像素。最后,在全部像素都恢复出来后,得到原始图像
图3是以‘Lena’图像为例,在不超过bpp的几乎所有嵌入比特率中,本发明的PSNR值远远优于Wu方案、Peng方案和Luo方案的PSNR值。
图4是以‘Baboon’图像为例,在不超过1bpp的几乎所有嵌入比特率,我们方法的PSNR均优于其他两种方法。因而,我们的方法有一定的实用性。
大量的实验结果表明,与以往大部分的同类方案相比,我们所设计的基于自适应预测模型的高容量可逆水印算法——无论是在嵌入容量上,还是在恢复图像质量的主观评价上,都有了相当程度的提高。其原因在于:用四个邻近像素去预测它们所包含的像素,既提高了预测性能,又降低了预测失真。预测失真的降低意味着嵌入容量的提高。
以上所述仅为本发明的优选实施例,并非因此限制其专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (1)

1.一种基于自适应预测模型的高容量可逆水印方法,其特征在于:包括水印嵌入过程及水印提取和原图像恢复过程;所述水印嵌入过程包括:
预测模型的设计过程;所述预测模型的设计过程包括以下两个步骤:
将一副原始图像的全部像素分成第一类像素和第二类像素;所述第一类像素约占全部像素的四分之一,组成用于预测所述第二类像素的像素集合,且所述第一类像素不允许水印嵌入过程对它们有任何的修改,称第一类临时不变集;所述第二类像素约占全部像素的四分之三,组成待嵌入像素集合,称第一类改变集;
设计四种预测模型,每一种预测模型分成以下两步:
①所述第二类像素包括三分之一的第二类像素和三分之二的第二类像素;先让所述三分之一的第二类像素暂时保持不变,组成第二类临时不变集,所述第二类临时不变集和所述第一类临时不变集一起预测所述三分之二的第二类像素,故称所述三分之二的第二类像素为第二类改变集;
②用所述第二类临时不变集的两条对角线上的四个属于所述第一类像素的像素去预测第二类临时不变集;
还包括自适应嵌入策略;在每一个所述的四种预测模型中,由所述自适应嵌入策略计算出所述第二类临时不变集中每一像素的四个相邻像素的方差,若方差小于某一给定的门限,则称该四个相邻近像素的相关性强,并嵌2比特水印到此像素中;若方差大于或等于所述某一给定的门限,则嵌1比特水印到此像素中;
所述水印提取和原图像恢复过程为所述水印嵌入过程的逆过程。
CN201310408792.1A 2013-09-10 2013-09-10 一种基于自适应预测模型的高容量可逆水印方法 Expired - Fee Related CN103440616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310408792.1A CN103440616B (zh) 2013-09-10 2013-09-10 一种基于自适应预测模型的高容量可逆水印方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310408792.1A CN103440616B (zh) 2013-09-10 2013-09-10 一种基于自适应预测模型的高容量可逆水印方法

Publications (2)

Publication Number Publication Date
CN103440616A CN103440616A (zh) 2013-12-11
CN103440616B true CN103440616B (zh) 2017-02-01

Family

ID=49694308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310408792.1A Expired - Fee Related CN103440616B (zh) 2013-09-10 2013-09-10 一种基于自适应预测模型的高容量可逆水印方法

Country Status (1)

Country Link
CN (1) CN103440616B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933668B (zh) * 2015-06-11 2019-03-15 广东工业大学 一种基于局部定位和Alattar整数变换的可逆水印的处理方法
CN105741224B (zh) * 2016-01-28 2019-03-19 广东工业大学 基于pvo和自适应块分割的可逆水印算法
CN106023058B (zh) * 2016-05-25 2019-02-15 广东工业大学 一种高保真可逆水印嵌入方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738353A (zh) * 2005-08-16 2006-02-22 北京交通大学 一种抵抗旋转伸缩和位移攻击的数字水印技术
CN101105857A (zh) * 2007-07-20 2008-01-16 北京交通大学 一种基于预测和压扩技术的高容量可逆水印方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283479A (ja) * 2007-05-10 2008-11-20 Fujifilm Software Co Ltd 可逆的透かしデータ挿入方法、プログラム、装置および画像処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738353A (zh) * 2005-08-16 2006-02-22 北京交通大学 一种抵抗旋转伸缩和位移攻击的数字水印技术
CN101105857A (zh) * 2007-07-20 2008-01-16 北京交通大学 一种基于预测和压扩技术的高容量可逆水印方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Reversible watermarking based on multiple prediction modes and adaptive watermark embedding;Shaowei Weng等;《Springer Science Business Media New York 2013》;20130720;第3063-3083页 *

Also Published As

Publication number Publication date
CN103440616A (zh) 2013-12-11

Similar Documents

Publication Publication Date Title
CN101105857B (zh) 一种基于预测和压扩技术的高容量可逆水印方法
Pan et al. Reversible data hiding based on local histogram shifting with multilayer embedding
CN102147912B (zh) 一种基于自适应差值扩展的可逆图像水印方法
Ou et al. Reversible data hiding based on PDE predictor
Peng et al. Adaptive reversible data hiding scheme based on integer transform
Sachnev et al. Reversible watermarking algorithm using sorting and prediction
Khan et al. A high capacity reversible watermarking approach for authenticating images: exploiting down-sampling, histogram processing, and block selection
CN106023058A (zh) 一种高保真可逆水印嵌入方法
CN104933668B (zh) 一种基于局部定位和Alattar整数变换的可逆水印的处理方法
CN104598933A (zh) 一种基于多特征融合的图像翻拍检测方法
CN103034853A (zh) 一种jpeg图像通用隐写分析方法
CN101866478B (zh) 一种数字图像中的水印嵌入和提取方法
Yang et al. Efficient reversible data hiding algorithm based on gradient-based edge direction prediction
CN113744153B (zh) 双分支图像修复伪造检测方法、系统、设备及存储介质
CN101527850A (zh) 一种基于运动估计的视频自恢复水印方法
CN103440616B (zh) 一种基于自适应预测模型的高容量可逆水印方法
CN106485640A (zh) 一种基于多层次ipvo的可逆水印计算方法
CN112634120A (zh) 基于cnn预测的图像可逆水印方法
CN110047029B (zh) 一种结合多层差扩展具有对比度增强的可逆信息隐藏方法及装置
Zhang et al. Reversibility improved data hiding in 3D mesh models using prediction-error expansion and sorting
CN102117474B (zh) 一种数字图像中水印嵌入和检测的方法及装置
Yang et al. Reversible data hiding in JPEG images based on coefficient-first selection
Basu et al. Implementation of a spatial domain salient region based digital image watermarking scheme
CN103440615B (zh) 一种基于余数不变性的高容量可逆水印方法
CN107169915A (zh) 一种基于分块合并策略的pvo数字水印方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170201

Termination date: 20200910