CN109462763A - 一种视频水印处理方法和系统 - Google Patents

一种视频水印处理方法和系统 Download PDF

Info

Publication number
CN109462763A
CN109462763A CN201811253159.9A CN201811253159A CN109462763A CN 109462763 A CN109462763 A CN 109462763A CN 201811253159 A CN201811253159 A CN 201811253159A CN 109462763 A CN109462763 A CN 109462763A
Authority
CN
China
Prior art keywords
video
watermark
moving mass
replacement
reference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811253159.9A
Other languages
English (en)
Other versions
CN109462763B (zh
Inventor
孙婧
刘进
张帆
闫茜
张鋆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Beidou Application Technology Research Institute Co Ltd
Original Assignee
Shenzhen Beidou Application Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Beidou Application Technology Research Institute Co Ltd filed Critical Shenzhen Beidou Application Technology Research Institute Co Ltd
Priority to CN201811253159.9A priority Critical patent/CN109462763B/zh
Publication of CN109462763A publication Critical patent/CN109462763A/zh
Application granted granted Critical
Publication of CN109462763B publication Critical patent/CN109462763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频水印处理方法和系统,适用于视频防伪技术领域,方法包括:S1、基于同量化因子进行视频文件的重压缩;S2、通过部分解码的方式处理已稳定的视频文件以获取视频编码宏块的运动参考值,根据运动参考值标记对应的视频编码宏块;S3、基于同码字大小替换方法将水印嵌入运动块的后续码流。系统用于执行对应方法。本发明通过嵌入水印的视频载体进行了同量化因子的重压缩处理以获取更好的抗重压缩性能;通过在压缩域采取部分解码的方式处理运动参考值和进行水印处理,避免了视频完全解码和重构,能够提高处理效率;采用的是同码字大小替换方法,没有破坏码流的语法结构,保持了码流的格式兼容性。

Description

一种视频水印处理方法和系统
技术领域
本发明涉及视频防伪技术领域,尤其是一种视频水印处理方法和系统。
背景技术
随着互联网的发展,视频的获取变得越来越容易,视频的不正当使用也是越来越广泛,如何保护数字媒体作者的版权和合法利益已经成为了互联网时代函待解决的难题,因此视频水印技术的研究显得尤为重要。
由于视频的数据量比较大,为了方便传输与存储,则需要对视频进行压缩编码处理。视频水印算法一般分为三大类,第一类就是在DCT系数中嵌入水印,第二类是在运动矢量中嵌入水印,第三类是在熵编码后的码字中嵌入水印。在熵编码后的码字中嵌入水印不需要对压缩视频进行完全解码,处理效率高,有利于实际应用。然而,现有的该类方法在实际的运用中存在着抗重压缩性能不足的问题,即带有水印的视频在经过重编码后,其中的水印就会损坏,不利于后续的验证。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的是提供一种视频水印处理方法和系统。
本发明所采用的技术方案是:一种视频水印处理方法,包括水印嵌入步骤:S1、基于同量化因子进行视频文件的重压缩,当视频文件的大小处于稳定状态时,停止进行重压缩;S2、通过部分解码的方式处理已稳定的视频文件以获取视频编码宏块的运动参考值,根据运动参考值标记对应的视频编码宏块为运动块或非运动块;S3、基于同码字大小替换方法将水印嵌入运动块的后续码流,所述运动块的编码格式符合熵编码。
优选的,根据运动参考值标记对应的视频编码宏块的具体步骤包括:获取视频编码宏块中每一个子宏块的运动矢量的范数并计算范数和,所述范数和除以视频编码宏块的面积值以获取运动参考值,当所述运动参考值大于预设的阈值,则标记其为运动块,否则为非运动块。
优选的,步骤S3具体包括:S31、通过部分解码的方式处理视频文件以查找特定参数;S32、根据熵编码的码字结构设置基于同码字大小方法的替换码表;S33、根据水印信息和替换码表对特定参数进行码字替换以实现水印嵌入运动块的后续码流。
优选的,所述熵编码基于CAVLC,对应的,步骤S3具体包括:S31、通过部分解码的方式处理视频文件以查找Level码字;S32、根据CAVLC的码流结构设置基于同码字大小方法的替换码表;S33、当视频编码宏块为运动块且码流结构中参数suffixlength等于2和/或3,则根据水印信息和替换码表进行码字替换以实现水印嵌入运动块的后续码流。
优选的,还包括水印提取步骤S4:解码已嵌入水印的视频文件以获取熵编码的后续码流的特定参数;根据替换码表提取水印信息。
优选的,还包括水印提取步骤S4:解码已嵌入水印的视频文件以获取熵编码的后续码流的Level码字;当视频编码宏块为运动块且码流结构中参数suffixlength等于2和/或3,则根据替换码表提取水印信息。
本发明所采用的技术方案是:一种视频水印处理系统,适用于上述方法,包括:压缩模块,用于基于同量化因子进行视频文件的重压缩,当视频文件的大小处于稳定状态时,停止进行重压缩;解析模块,用于通过部分解码的方式处理已稳定的视频文件以获取视频编码宏块的运动参考值,根据运动参考值标记对应的视频编码宏块为运动块或非运动块;替换模块,用于基于同码字大小替换方法将水印嵌入运动块的后续码流,所述运动块的编码格式符合熵编码。
本发明通过嵌入水印的视频载体进行了同量化因子的重压缩处理以获取更好的抗重压缩性能;通过在压缩域采取部分解码的方式处理运动参考值和进行水印处理,避免了视频完全解码和重构,能够提高处理效率;采用的是同码字大小替换方法,没有破坏码流的语法结构,保持了码流的格式兼容性。
附图说明
图1是本发明的视频水印处理方法的示意图;
图2是本发明的替换码表;
图3是本发明的视频水印处理系统的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例1
本实施例的目的在于解释现有技术的难题和本发明的解决思路。
视频水印算法一般分为三大类,第一类就是在DCT系数中嵌入水印,第二类是在运动矢量中嵌入水印,第三类是在熵编码后的码字中嵌入水印。在熵编码后的码字中嵌入水印不需要对压缩视频进行完全解码,处理效率高,有利于实际应用。然而,现有的该类方法存在着抗重压缩性能不足的问题,即带有水印的视频在经过重编码后,其中的水印就会损坏,不利于后续的验证,本实施例提供如图1所示一种视频水印处理方法,包括水印嵌入步骤:S1、基于同量化因子进行视频文件的重压缩,当视频文件的大小处于稳定状态时,停止进行重压缩;S2、通过部分解码的方式处理已稳定的视频文件以获取视频编码宏块的运动参考值,根据运动参考值标记对应的视频编码宏块为运动块或非运动块;S3、基于同码字大小替换方法将水印嵌入运动块的后续码流,所述运动块的编码格式符合熵编码。
各个步骤具体包括:
S1、视频进行同量化因子的重压缩,每一次重压缩视频的文件大小会变小,当视频文件大小处于稳定的状态时,停止进行重压缩,即将视频解码成图像帧(yuv序列),然后对yuv序列进行同量化因子(相同的量化参数QP/qp,现有的码率控制算法主要是通过调整离散余弦变换的量化参数大小输出目标码率)的压缩(即完成一次重压缩,同量化因子是指压缩时量化参数qp使用相同的值);步骤S1是对视频的一种预处理过程,即对视频使用相同量化参数(QP)不断的进行解码和编码,当文件大小不再改变或者说改变很小的时候(根据预设的判断阈值,变化小于该判断阈值则认为其稳定),认为是达到想要的状态(即稳定),或者说预处理完成;
S2、部分解码的原理在于是选择性的解码,其依赖于被解码数据是被已知的方法编码的符合一定数据格式的数据,则可以根据已知数据格式、编码方法确定某一段数据,然后解码该段数据以获得感兴趣的内容(宏块的运动矢量,相关获取过程为领域基本技术,本实施例不做进一步的说明),其中,宏块,英文Macroblock,是视频编码技术中的一个基本概念,通过将画面分成一个个大小不同的块来不同位置实行不同的压缩策略,例如一个宏块由一个亮度像素块和附加的两个色度像素块组成;在本实施例中,视频编码宏块指的是经过编码的部分的视频数据所对应的宏块;
S3、运动块经过熵编码以进行二进制的转化,然后基于同码字大小替换方法将水印嵌入运动块的后续码流。
实施例2
本实施例的目的是解释优选方案中“根据运动参考值标记对应的视频编码宏块的具体步骤”:
设当前视频编码宏块的大小为W*H(即面积值),W和H分别为宏块的宽和高,具体由编码规则确定,例如H.264/AVC中为16*16;
当前视频编码宏块可分为若干子宏块,每一个子宏块都可以得到一个MV(解码的运动矢量)。设当前视频编码宏块分为N个子宏块,则有N个MV;
对得到的N个MV的范数进行求和,即∑||MV1||2,并除以宏块的区域(即面积值),且MV是二维数组,可以再除以2或者3、4(以获得合适的精度)。计算得到的值为MVValue
用得到的MVValue与的阈值T比较,大于T则表示当前块属于运动块,得到运动块标志flag=1,否则是非运动块,flag=0:
反复对下一个视频编码宏块进行上述步骤以判断该视频编码宏块是否为运动块。
实施例3
本实施例的目的是用于解释优选方案。
不同的熵编码方法码字结构不同(相应的,也需要准备合适的替换码,具体根据实际的需要),以CAVLC为例,则水印嵌入过程:
根据CAVLC码流结构构造Level码字(即特定参数,可以根据实际需要设置)的同码字大小替换码表,例如图2(替换码表)给出Level部分的码字C0和C1对照表;如C0中Level码字为100(其对应十进制数为1),其替换码表C1中替换为码字110(其对应十进制数为2)。如C0中Level码字为101(其对应十进制数为-1),其替换码表C1中替换为码字111(其对应十进制数为-2);
对二进制的水印信息进行置乱加密,以得到加密后的二进制水印信息;(该步骤为优选步骤)
对视频进行部分解码,找到Level码字;
判断嵌入条件是否满足(其目的是确定最好重压缩效果所对应需要的码字结构,即现实中不排除出现不适合本码流结构的实例,具体条件则基于实验数据),如果视频编码宏块被标记为运动块flag=1,且CAVLC码流结构中的参数suffixlength等于2或者3或者2和3,则该宏块的level码字部分进行替换;
根据当前需要嵌入的水印值(即水印信息),查码表进行码字替换操作;
重复上述步骤直至水印嵌入完成。
实施例4
本实施例的目的是在实施例3的基础上解释优选方案“水印提取步骤”:
对视频(即已嵌入水印的视频文件)进行部分解码,找到熵编码的后续码流的Level码字;
判断是否满足水印提取条件。水印提取条件与上述实施例的水印(判断)嵌入条件相同;
对照图2的码表,进行水印提取操作,如果检测到当前Level部分码字属于C0部分,则此部分嵌入的水印值为0,即提取到的水印为0,若属于C1部分,则嵌入的水印值为1,即提取到的水印为1;
重复直至遍历完所有帧;
对提取到的二进制水印信息进行反置乱解密,以得到二进制水印明文信息。
实施例5
本实施例提供如图3所示的一种视频水印处理系统,适用于上述的实施例对应的方法,包括:压缩模块1,用于基于同量化因子进行视频文件的重压缩,当视频文件的大小处于稳定状态时,停止进行重压缩;解析模块2,用于通过部分解码的方式处理已稳定的视频文件以获取视频编码宏块的运动参考值,根据运动参考值标记对应的视频编码宏块为运动块或非运动块;替换模块3,用于基于同码字大小替换方法将水印嵌入运动块的后续码流,所述运动块的编码格式符合熵编码。
其中,上述压缩模块1连接解析模块2,解析模块2连接替换模块3。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种视频水印处理方法,其特征在于,包括水印嵌入步骤:
S1、基于同量化因子进行视频文件的重压缩,当视频文件的大小处于稳定状态时,停止进行重压缩;
S2、通过部分解码的方式处理已稳定的视频文件以获取视频编码宏块的运动参考值,根据运动参考值标记对应的视频编码宏块为运动块或非运动块;
S3、基于同码字大小替换方法将水印嵌入运动块的后续码流,所述运动块的编码格式符合熵编码。
2.根据权利要求1所述的视频水印处理方法,其特征在于,根据运动参考值标记对应的视频编码宏块的具体步骤包括:
获取视频编码宏块中每一个子宏块的运动矢量的范数并计算范数和,所述范数和除以视频编码宏块的面积值以获取运动参考值,当所述运动参考值大于预设的阈值,则标记其为运动块,否则为非运动块。
3.根据权利要求1所述的视频水印处理方法,其特征在于,步骤S3具体包括:
S31、通过部分解码的方式处理视频文件以查找特定参数;
S32、根据熵编码的码字结构设置基于同码字大小方法的替换码表;
S33、根据水印信息和替换码表对特定参数进行码字替换以实现水印嵌入运动块的后续码流。
4.根据权利要求1所述的视频水印处理方法,其特征在于,所述熵编码基于CAVLC,对应的,步骤S3具体包括:
S31、通过部分解码的方式处理视频文件以查找Level码字;
S32、根据CAVLC的码流结构设置基于同码字大小方法的替换码表;
S33、当视频编码宏块为运动块且码流结构中参数suffixlength等于2和/或3,则根据水印信息和替换码表进行码字替换以实现水印嵌入运动块的后续码流。
5.根据权利要求3或4所述的视频水印处理方法,其特征在于,步骤S31和S32之间还包括步骤S315:
对二进制的水印信息进行置乱加密以获取加密的水印信息。
6.根据权利要求3所述的视频水印处理方法,其特征在于,还包括水印提取步骤S4:
解码已嵌入水印的视频文件以获取熵编码的后续码流的特定参数;
根据替换码表提取水印信息。
7.根据权利要求4所述的视频水印处理方法,其特征在于,还包括水印提取步骤S4:
解码已嵌入水印的视频文件以获取熵编码的后续码流的Level码字;
当视频编码宏块为运动块且码流结构中参数suffixlength等于2和/或3,则根据替换码表提取水印信息。
8.一种视频水印处理系统,适用于权利要求1~7所述方法,其特征在于,包括:
压缩模块,用于基于同量化因子进行视频文件的重压缩,当视频文件的大小处于稳定状态时,停止进行重压缩;
解析模块,用于通过部分解码的方式处理已稳定的视频文件以获取视频编码宏块的运动参考值,根据运动参考值标记对应的视频编码宏块为运动块或非运动块;
替换模块,用于基于同码字大小替换方法将水印嵌入运动块的后续码流,所述运动块的编码格式符合熵编码。
CN201811253159.9A 2018-10-25 2018-10-25 一种视频水印处理方法和系统 Active CN109462763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811253159.9A CN109462763B (zh) 2018-10-25 2018-10-25 一种视频水印处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811253159.9A CN109462763B (zh) 2018-10-25 2018-10-25 一种视频水印处理方法和系统

Publications (2)

Publication Number Publication Date
CN109462763A true CN109462763A (zh) 2019-03-12
CN109462763B CN109462763B (zh) 2021-04-06

Family

ID=65608390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811253159.9A Active CN109462763B (zh) 2018-10-25 2018-10-25 一种视频水印处理方法和系统

Country Status (1)

Country Link
CN (1) CN109462763B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1041819A1 (en) * 1999-03-31 2000-10-04 Canon Kabushiki Kaisha Playback control, authentication and decoding for datastreams including object streams
US20040151341A1 (en) * 2003-02-04 2004-08-05 Yoshifumi Fujikawa Digital-watermark-embedding and picture compression unit
WO2010021691A1 (en) * 2008-08-19 2010-02-25 Thomson Licensing Luminance evaluation
CN102801947A (zh) * 2012-07-02 2012-11-28 西南科技大学 一种基于h264的语义信息传输与保护方法
CN102857831A (zh) * 2012-08-01 2013-01-02 合肥工业大学 H.264视频完整性认证方法
CN103533347A (zh) * 2012-06-29 2014-01-22 英特尔公司 用于视频的多次量化和位压缩控制
CN104539975A (zh) * 2014-12-03 2015-04-22 上海交通大学 一种基于块效应的双重压缩视频篡改检测方法
CN105141962A (zh) * 2015-09-01 2015-12-09 宁波工程学院 一种面向h.264/avc视频码流的大容量数据隐藏方法
CN106331730A (zh) * 2016-08-22 2017-01-11 上海交通大学 H.264视频同量化因子双重压缩检测方法
CN108521613A (zh) * 2018-05-15 2018-09-11 中南民族大学 一种基于运动目标的压缩域视频水印嵌入和提取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1041819A1 (en) * 1999-03-31 2000-10-04 Canon Kabushiki Kaisha Playback control, authentication and decoding for datastreams including object streams
US20040151341A1 (en) * 2003-02-04 2004-08-05 Yoshifumi Fujikawa Digital-watermark-embedding and picture compression unit
WO2010021691A1 (en) * 2008-08-19 2010-02-25 Thomson Licensing Luminance evaluation
CN103533347A (zh) * 2012-06-29 2014-01-22 英特尔公司 用于视频的多次量化和位压缩控制
CN102801947A (zh) * 2012-07-02 2012-11-28 西南科技大学 一种基于h264的语义信息传输与保护方法
CN102857831A (zh) * 2012-08-01 2013-01-02 合肥工业大学 H.264视频完整性认证方法
CN104539975A (zh) * 2014-12-03 2015-04-22 上海交通大学 一种基于块效应的双重压缩视频篡改检测方法
CN105141962A (zh) * 2015-09-01 2015-12-09 宁波工程学院 一种面向h.264/avc视频码流的大容量数据隐藏方法
CN106331730A (zh) * 2016-08-22 2017-01-11 上海交通大学 H.264视频同量化因子双重压缩检测方法
CN108521613A (zh) * 2018-05-15 2018-09-11 中南民族大学 一种基于运动目标的压缩域视频水印嵌入和提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱莉,刘文予,张帆: "一种基于DCT域特征块的抗几何攻击的视频水印", 《中国图像图形学报》 *

Also Published As

Publication number Publication date
CN109462763B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
Jo et al. A digital image watermarking scheme based on vector quantisation
CN101841700B (zh) 一种面向h.264压缩比特流的视频水印方法
Niu et al. A novel video reversible data hiding algorithm using motion vector for H. 264/AVC
Wang et al. Real-time compressed-domain video watermarking resistance to geometric distortions
KR101605173B1 (ko) 이미지를 처리하는 방법
CN108009975A (zh) 基于二维直方图修改的jpeg图像可逆信息隐藏方法
Qian et al. Inpainting assisted self recovery with decreased embedding data
Cheddad et al. Enhancing steganography in digital images
CN107948655B (zh) 一种基于cabac的h.264/avc加密视频隐写方法
Li et al. A semi-fragile video watermarking algorithm based on H. 264/AVC
Sun et al. An anti-recompression video watermarking algorithm in bitstream domain
Ding et al. A compressed-domain robust video watermarking against recompression attack
RU2434356C2 (ru) Создание водяных знаков в кодированном информационном наполнении
Yang et al. A robust DCT-based video watermarking scheme against recompression and synchronization attacks
CN109462763A (zh) 一种视频水印处理方法和系统
US7627135B2 (en) Digital watermarking system and drift compensating system
CN114598887A (zh) 一种控制比特率增加的抗重压缩视频水印方法
Ong et al. Rotational based rewritable data hiding in JPEG
Liu et al. A robust reversible data hiding scheme for H. 264 based on secret sharing
Shahid et al. H. 264/AVC video watermarking for active fingerprinting based on Tardos code
CN115278243A (zh) 对抗深度学习人脸攻击的实时视频加密方法及装置
Jiaji et al. An information hiding algorithm for HEVC based on intra prediction mode and block code
Sivadasan A survey paper on various reversible data hiding techniques in encrypted images
Nan et al. A steganography algorithm based on±1 DCT coefficients for H. 264/AVC
KR100990210B1 (ko) H.264 비디오 콘텐츠의 무결성 인증 및 저작권 보호 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant