CN112070714A - 一种基于局部三元计数特征的翻拍图像检测方法 - Google Patents

一种基于局部三元计数特征的翻拍图像检测方法 Download PDF

Info

Publication number
CN112070714A
CN112070714A CN202010746141.3A CN202010746141A CN112070714A CN 112070714 A CN112070714 A CN 112070714A CN 202010746141 A CN202010746141 A CN 202010746141A CN 112070714 A CN112070714 A CN 112070714A
Authority
CN
China
Prior art keywords
image
local ternary
calculating
local
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010746141.3A
Other languages
English (en)
Other versions
CN112070714B (zh
Inventor
朱楠
刘芷芹
郭小路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202010746141.3A priority Critical patent/CN112070714B/zh
Publication of CN112070714A publication Critical patent/CN112070714A/zh
Application granted granted Critical
Publication of CN112070714B publication Critical patent/CN112070714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像检测方法技术领域,具体提供了一种基于局部三元计数特征的翻拍图像检测方法:先将训练图像转换为灰度图像,并计算灰度图像的下采样图像,再分别提取灰度图像及其下采样图像的局部三元计数特征,并进行特征拼接,然后利用支撑向量机生成训练模型,接着计算测试图像的局部三元计数特征,并进行特征拼接,最后利用生成的训练模型对待测图像进行判别;本发明所提出的方法更加稳定,并且对图像纹理的描述能力更强,因此能够更好的对高质量翻拍图像进行检测,另外还可以有效的降低特征维数,提升检测速度。

Description

一种基于局部三元计数特征的翻拍图像检测方法
技术领域
本发明属于图像检测方法技术领域,尤其涉及一种基于局部三元计数特征的翻拍图像检测方法。
背景技术
图像翻拍是一种伪造图像的方式,其借助高质量的图像采集设备和精心布置的场景,制作出一幅合理的虚拟场景图像是相对容易的,而作为一种常用的反取证手段,通过对篡改图像进行翻拍,能够消除图像的篡改痕迹,从而避开取证技术的检测,因此,对数字图像进行翻拍检测,能够保证图像的原始性与真实性,挫败反取证技术对检测算法的干扰,对维护图像的可信度、法律公正、新闻诚信等具有重要的意义。
目前,对于翻拍图像检测的方法比较多,但主要存在以下缺陷和不足:首先是计算过程复杂导致的特征维数高、计算速度慢的问题;其次是所用特征对图像细节的描述能力不足,导致对高质量翻拍图像的检测率不够高。
发明内容
为了解决上述问题,本发明提供了一种基于局部三元计数特征的翻拍图像检测方法,包括如下步骤:
步骤①将训练图像转换为灰度图像,并计算灰度图像的下采样图像;
步骤②分别提取灰度图像及其下采样图像的局部三元计数特征,并进行特征拼接;
步骤③利用支撑向量机生成训练模型;
步骤④计算测试图像的局部三元计数特征,并进行特征拼接;
步骤⑤利用步骤③生成的训练模型对待测图像进行判别。
作为上述方案的进一步说明,步骤①中,所述灰度图像的下采样图像的计算方法如下:
Figure BDA0002608429220000021
其中,I代表灰度图像,
Figure BDA0002608429220000024
Figure BDA0002608429220000025
M和N分别代表了图像I的高和宽,
Figure BDA0002608429220000023
表示向下取整。
作为上述方案的进一步说明,步骤②中,所述局部三元计数特征的提取过程如下:
A.利用Wiener滤波计算输入图像的预测图;
B.将输入图像与其预测图相减,得到预测误差图;
C.遍历预测误差图每一个3×3图像块,计算局部三元模式;
D.将局部三元模式分解为上部模式和下部模式;
E.对上部模式和下部模式分别进行二进制编码并求和,得到上部局部三元计数和下部局部三元计数;
F.分别构建上部局部三元计数和下部局部三元计数的直方图,并进行归一化处理,得到局部三元计数特征。
本发明的有益效果:
1、本发明由于使用了局部三元模式,在计算二进制编码时引入了阈值,因此本发明所提出的方法更加稳定,并且对图像纹理的描述能力更强,因此能够更好的对高质量翻拍图像进行检测;
2、本发明在计算完二进制编码后,并未将其转换为十进制去计算直方图,而是直接对二进制编码进行求和,因此本发明所提出的方法可以有效的降低特征维数,提升检测速度。
附图说明
图1:本发明整体框架图;
图2:局部三元计数特征提取过程示意图;
图3:局部三元计数计算过程示意图。
具体实施方式
为了使本发明的方案更加清楚,下面将结合附图和具体实施方式对本发明作进一步说明。
参考图1,本实施例提供了一种基于局部三元计数特征的翻拍图像检测方法,包括如下步骤:
步骤①将训练图像转换为灰度图像,并计算灰度图像的下采样图像;
步骤②分别提取灰度图像及其下采样图像的局部三元计数特征,并进行特征拼接;
步骤③利用支撑向量机生成训练模型;
步骤④计算测试图像的局部三元计数特征,并进行特征拼接;
步骤⑤利用步骤③生成的训练模型对待测图像进行判别。
具体的,在步骤①中,灰度图像的计算方法如下:
I=0.2989×R+0.5870×G+0.1140×B
其中,I代表灰度图像,R、G、B分别代表输入图像的红、绿、蓝三个通道;
进一步的,上述灰度图像的下采样图像的计算方法如下:
Figure BDA0002608429220000041
I*代表下采样图像,(x,y)代表像素点坐标,
Figure BDA0002608429220000045
Figure BDA0002608429220000046
M和N分别代表了图像I的高和宽,
Figure BDA0002608429220000047
表示向下取整。
另外,参考图2,在步骤②中,局部三元计数特征的提取过程如下:
A.利用Wiener滤波计算输入图像的预测图,步骤如下:
首先以灰度图像I为例,对于每一个像素点(p,q),计算其局部均值μ,计算公式如下:
Figure BDA0002608429220000042
接着计算像素点(p,q)的局部方差σ2,计算公式如下:
Figure BDA0002608429220000043
最后计算Wiener滤波图像F,计算公式如下:
Figure BDA0002608429220000044
其中,w2表示所有像素点局部方差σ2的均值,max函数返回输入的最大值。
B.将输入图像与其预测图相减,得到预测误差图R,计算公式如下:
R(p,q)=I(p,q)-F(p,q)
C.遍历预测误差图的每一个3×3图像块,计算局部三元模式,以图3为例,计算方式如下:
Figure BDA0002608429220000051
其中,Ec代表3×3图像块的中心点,Ei代表Ec的8邻域像素点,t表示阈值,在图3中,t设置为2;在本发明中,采用自适应阈值,其大小为输入预测误差图的均值与中值之差的绝对值。
D.将局部三元模式分解为上部模式和下部模式,具体步骤如下:
先将局部三元模式中的-1置为0,得到上部模式;
再将局部三元模式中的1置为0,-1置为1,得到下部模式。
E.对上部模式和下部模式分别进行二进制编码并求和,得到上部局部三元计数和下部局部三元计数,具体步骤如下:
先以3×3图像块左上角为起点,顺时针抽取上部模式的中心点8邻域像素点,得到二进制编码,对此二进制编码按位求和,得到上部局部三元计数Cu
再以3×3图像块左上角为起点,顺时针抽取下部模式的中心点8邻域像素点,得到二进制编码,对此二进制编码按位求和,得到下部局部三元计数Cl
F.分别构建上部局部三元计数和下部局部三元计数的直方图,并进行归一化处理,得到局部三元计数特征,计算公式如下:
Figure BDA0002608429220000052
其中,k∈{0,1,…,8},*∈{u,l},分别对应上部模式和下部模式,最终将Hu和Hl串联起来作为灰度图像I的局部三元计数特征。
最后,采用与计算灰度图像I局部三元计数特征相同的方式,计算灰度图像的下采样图像I*的局部三元计数特征,并将灰度图像I的局部三元计数特征与灰度图像的下采样图像I*的局部三元计数特征进行串联,作为一幅图像的最终特征,用来进行训练和测试。
经过对现有技术的检索发现,中国专利文献号CN 104598933 A(公布日:2015年5月6日)记载了“一种基于多特征融合的图像翻拍检测方法”(记作“专利1”),该技术提取图像库中每张图像的旋转不变局部相位量化描述子特征、多尺度小波分解系数统计特征、颜色特征,然后将三种特征串联起来作为最终特征,用来训练分类器获得图像分类模型,之后利用图像分类模型对待检测图像进行翻拍图像鉴定;该方法存在的不足之处是:特征维数较高,运行速度慢。
中国专利文献号CN 105117729 B(公布日:2018年11月6日)记载了一种“一种识别翻拍图像的方法和装置”(记作“专利2”),该技术首先对图像进行高通滤波以获得残差图像,随后计算残差图像的局部二值模式描述图像,接下来计算局部二值模式描述图像的灰度共生矩阵,经过归一化后可获得图像的特征向量,最后通过分类器对真实图像和翻拍图像进行分类;此方法因为计算过程复杂,因此同样存在运行速度慢的问题,并且检测精度不够高。
K.Wang在文献“A simple and effective image-statistics-based approachto detecting recaptured images from LCD screens”(Digital Investigation,vol.23,pp.75-87,2017)中提出了一种基于差分域像素间相关性的翻拍图像检测方法(记作“DIIN17”),该方法首先计算差分图像,随后计算差分图像中局部像素间的相关性作为特征;该方法存在的不足之处是:在计算差分域像素间相关性的时候使用了所有的重叠图像块,因此会引入冗余信息,导致检测率不高。
Y.Sun,X.Shen,C.Liu和Y.Zhao在文献“Recaptured image forensics algorithmbased on image texture feature”(International Journal of Pattern Recognitionand Artificial Intelligence,vol.34,no.3,pp.2054011,2020)中提出了一种基于小波域灰度共生矩阵统计特征的翻拍图像检测方法(记作“IJPRAI20”),该方法首先计算给定图像在3个尺度上的小波分解系数,随后计算各个自带分解系数的灰度共生矩阵,最后计算灰度共生矩阵的对比度、能量、熵、同质性作为特征,用来训练和测试。
通过对比专利1、专利2、DIIN17、IJPRAI20,本发明由于使用了局部三元模式,在计算二进制编码时引入了阈值,因此本发明所提出的方法更加稳定,并且对图像纹理的描述能力更强,因此能够更好的对高质量翻拍图像进行检测;另外,本发明在计算完二进制编码后,并未将其转换为十进制去计算直方图,而是直接对二进制编码进行求和,因此本发明所提出的方法可以有效的降低特征维数,提升检测速度。
为了使本发明的上述有益效果更加明显,以下通过仿真实验做进一步的说明。
1.仿真条件:
本仿真实验是在中央处理器为Intel(R)Core i5-7400 3.0GHZ、内存为8GB、WINDOWS 10操作系统上,使用MATLAB 2014b软件进行的。
2.仿真内容:
为评估所提出的锐化图像识别方法,本仿真实验采用以下NTU-ROSE数据库、BJTU-IIS数据库、ICL-COMMSP数据库。
NTU-ROSE数据库:由新加坡南洋理工大学提供,包含2776张翻拍图像,图像大小为2048×1536至3264×2448,格式为JPEG;包含2710张真实图像,图像大小为600×800至3312×4416,格式为JPEG(2610张)和BMP(100张)。该数据库中的翻拍图像质量不够高,包含轻度的混叠效应、不对齐与颜色失真。
BJTU-IIS数据库:由中国北京交通大学提供,包含706张翻拍图像,图像大小为2352×3136至4016×6016,格式为JPEG;包含636张真实图像,图像大小为2304×3456至4016×6016,格式为JPEG。该数据库中的图像尺寸较大,但数量较少。此外翻拍图像质量不够高,包含轻度的混叠效应与不对齐。
ICL-COMMSP数据库:由英国帝国理工学院提供,包含1440张翻拍图像,图像大小为1326×1778至1522×2286,格式为PNG;包含900张真实图像,图像大小为1932×2576至3648×5472,格式为JPEG。该数据库中的翻拍图像质量较高,只包含轻度的颜色失真。
对于每一个数据库,我们随机选取20%的图像用于训练,其余的图像用于测试。为了消除随机性的影响,我们重复实验50次,取平均结果作为最终的结果。
3.评测标准:
本发明分别使用整体识别准确率Acc_all,翻拍图像识别准确率Acc_rec,真实图像识别准确率Acc_real为指标对性能进行评测,计算公式如下:
Figure BDA0002608429220000091
Acc_rec=TP/P
Acc_real=TN/N
其中,P表示翻拍图像,N表示真实图像,真阳率TP表示将翻拍图像正确识别为翻拍图像的数目,真阴率TN表示将真实图像正确识别为真实图像的数目,对比实验结果如下述的三个表所示。
表1 NTU-ROSE数据库上五种方法的识别准确率比较表
Figure BDA0002608429220000092
表2 BJTU-IIS数据库上五种方法的识别准确率比较表
Figure BDA0002608429220000101
表3 ICL-COMMSP数据库上五种方法的识别准确率比较表
Figure BDA0002608429220000102
其中,表1、2、3分别表示NTU-ROSE、BJTU-IIS、ICL-COMMSP数据库上利用五种方法的识别正确率。
表中的“专利1”表示采用专利文献号CN 104598933 A所提出的方法;“专利2”表示采用专利文献号CN 105117729 B所提出的方法;DIIN17表示由K.Wang提出的基于差分域像素间相关性的翻拍图像检测方法;IJPRAI20表示由Y.Sun等人提出的基于小波域灰度共生矩阵统计特征的翻拍图像检测方法。
由表1、2、3可见,在NTU-ROSE数据库和BJTU-IIS数据库中,五种方法表现相似,均取得了较高的准确率,这是因为这两个数据库中的翻拍图像质量不够高;但是,对于翻拍图像质量较高的ICL-COMMSP数据库,对比的四种方法准确率不够高,本发明提出的方法相比于四种对比方法在准确率上有着明显的提升,这是因为本发明所使用的局部三元计数特征能够更好的描述翻拍操作对图像纹理所产生的影响,从而对高质量翻拍图像取得了较高的检测准确率,验证了本发明的先进性。
此外,为了验证本发明在运行时间上的优势,我们分别对大小为s×s,s∈{512,768,1024,2048,3072}的图像进行测试,五种方法运行时间如表4所示,时间单位为秒。
表4五种方法运行时间比较表
Figure BDA0002608429220000111
由表4可以看出,本发明的算法运行速度明显快于其余四种方法,并且随着图像尺寸的增大,优势愈发明显。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种基于局部三元计数特征的翻拍图像检测方法,其特征在于,包括如下步骤:
步骤①将训练图像转换为灰度图像,并计算灰度图像的下采样图像;
步骤②分别提取灰度图像及其下采样图像的局部三元计数特征,并进行特征拼接;
步骤③利用支撑向量机生成训练模型;
步骤④计算测试图像的局部三元计数特征,并进行特征拼接;
步骤⑤利用步骤③生成的训练模型对待测图像进行判别。
2.根据权利要求1所述的一种基于局部三元计数特征的翻拍图像检测方法,其特征在于,步骤①中,所述灰度图像的下采样图像的计算方法如下:
Figure FDA0002608429210000011
其中,I代表灰度图像,
Figure FDA0002608429210000012
Figure FDA0002608429210000013
M和N分别代表了图像I的高和宽,
Figure FDA0002608429210000014
表示向下取整。
3.根据权利要求1或2所述的一种基于局部三元计数特征的翻拍图像检测方法,其特征在于,步骤②中,所述局部三元计数特征的提取过程如下:
A.利用Wiener滤波计算输入图像的预测图;
B.将输入图像与其预测图相减,得到预测误差图;
C.遍历预测误差图每一个3×3图像块,计算局部三元模式;
D.将局部三元模式分解为上部模式和下部模式;
E.对上部模式和下部模式分别进行二进制编码并求和,得到上部局部三元计数和下部局部三元计数;
F.分别构建上部局部三元计数和下部局部三元计数的直方图,并进行归一化处理,得到局部三元计数特征。
CN202010746141.3A 2020-07-29 2020-07-29 一种基于局部三元计数特征的翻拍图像检测方法 Active CN112070714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010746141.3A CN112070714B (zh) 2020-07-29 2020-07-29 一种基于局部三元计数特征的翻拍图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010746141.3A CN112070714B (zh) 2020-07-29 2020-07-29 一种基于局部三元计数特征的翻拍图像检测方法

Publications (2)

Publication Number Publication Date
CN112070714A true CN112070714A (zh) 2020-12-11
CN112070714B CN112070714B (zh) 2024-02-20

Family

ID=73657646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010746141.3A Active CN112070714B (zh) 2020-07-29 2020-07-29 一种基于局部三元计数特征的翻拍图像检测方法

Country Status (1)

Country Link
CN (1) CN112070714B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763373A (zh) * 2021-09-17 2021-12-07 上海交通大学 域泛化的尺度对齐翻拍图片检测系统
CN114005019A (zh) * 2021-10-29 2022-02-01 北京有竹居网络技术有限公司 一种翻拍图像识别方法及其相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598933A (zh) * 2014-11-13 2015-05-06 上海交通大学 一种基于多特征融合的图像翻拍检测方法
CN109447173A (zh) * 2018-11-07 2019-03-08 南京讯思雅信息科技有限公司 一种基于图像全局特征和局部特征的图像匹配方法
WO2020077866A1 (zh) * 2018-10-17 2020-04-23 平安科技(深圳)有限公司 基于摩尔纹的图像识别方法、装置、设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598933A (zh) * 2014-11-13 2015-05-06 上海交通大学 一种基于多特征融合的图像翻拍检测方法
WO2020077866A1 (zh) * 2018-10-17 2020-04-23 平安科技(深圳)有限公司 基于摩尔纹的图像识别方法、装置、设备和存储介质
CN109447173A (zh) * 2018-11-07 2019-03-08 南京讯思雅信息科技有限公司 一种基于图像全局特征和局部特征的图像匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任克强;马文楷;: "基于自适应HCS-LBP特征的行人检测算法", 光电子・激光, no. 10 *
赵圣亮,杨益和,朱铉,罗妮妮: "EM地区三维地震资料彩色显示的初步尝试", 石油物探, no. 01 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763373A (zh) * 2021-09-17 2021-12-07 上海交通大学 域泛化的尺度对齐翻拍图片检测系统
CN113763373B (zh) * 2021-09-17 2023-10-13 上海交通大学 域泛化的尺度对齐翻拍图片检测系统
CN114005019A (zh) * 2021-10-29 2022-02-01 北京有竹居网络技术有限公司 一种翻拍图像识别方法及其相关设备
CN114005019B (zh) * 2021-10-29 2023-09-22 北京有竹居网络技术有限公司 一种翻拍图像识别方法及其相关设备

Also Published As

Publication number Publication date
CN112070714B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Li et al. Identification of deep network generated images using disparities in color components
Zhang et al. A dense u-net with cross-layer intersection for detection and localization of image forgery
CN104661037B (zh) 压缩图像量化表篡改的检测方法和系统
CN113379833B (zh) 一种基于神经网络的图像可见水印的定位和分割方法
CN110458812B (zh) 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法
CN112070714B (zh) 一种基于局部三元计数特征的翻拍图像检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN114842524B (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN112801037A (zh) 一种基于连续帧间差异的人脸篡改检测方法
Wang et al. Image sharpening detection based on difference sets
Wang et al. Median filtering forensics scheme for color images based on quaternion magnitude-phase CNN
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
Zhao et al. Source camera identification based on coupling coding and adaptive filter
Wu et al. Review of imaging device identification based on machine learning
Rahmati et al. Double JPEG compression detection and localization based on convolutional auto-encoder for image content removal
CN112396638A (zh) 一种图像处理方法、终端和计算机可读存储介质
CN113095991B (zh) 一种基于深度学习的高动态范围图像隐写和恢复方法
CN112818978B (zh) 基于多分辨自动编码器的光学符号识别方法
Sabitha et al. Enhanced model for fake image detection (EMFID) using convolutional neural networks with histogram and wavelet based feature extractions
Zhang et al. Feature compensation network based on non-uniform quantization of channels for digital image global manipulation forensics
CN113283299A (zh) 基于cgan网络增强局部放电信号prpd图谱数据的方法
Peng et al. Multi-Purpose Forensics of Image Manipulations Using Residual-Based Feature.
Rai et al. A Thorough Investigation on Image Forgery Detection.
CN112613341A (zh) 训练方法及装置、指纹识别方法及装置、电子设备
AKSAKALLI et al. A novel approach for copy-move forgery detection using bilateral filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant