CN110096945A - 基于机器学习的室内监控视频关键帧实时提取方法 - Google Patents

基于机器学习的室内监控视频关键帧实时提取方法 Download PDF

Info

Publication number
CN110096945A
CN110096945A CN201910152911.9A CN201910152911A CN110096945A CN 110096945 A CN110096945 A CN 110096945A CN 201910152911 A CN201910152911 A CN 201910152911A CN 110096945 A CN110096945 A CN 110096945A
Authority
CN
China
Prior art keywords
frame image
video
frame
gray processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910152911.9A
Other languages
English (en)
Other versions
CN110096945B (zh
Inventor
余林琛
陈扬
魏来
陈睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910152911.9A priority Critical patent/CN110096945B/zh
Publication of CN110096945A publication Critical patent/CN110096945A/zh
Application granted granted Critical
Publication of CN110096945B publication Critical patent/CN110096945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于机器学习的室内监控视频关键帧实时提取方法，包括：采用机器学习中聚类算法K‑means++对不同情况下的监控环境进行分类，并确定各环境下的预警阈值；获取当前室内监控视频流，并获取多张帧图像；对帧图像进行预处理，以进行灰度化处理，得到灰度化帧图像；对每一张灰度化帧图像进行特征提取，通过检测亮度值对每一张灰度化帧图像的当前监控环境进行分类，并确定每张灰度化帧图像对应的预警阈值；从第2帧开始，计算当前灰度化桢图像的哈希指纹与前一桢灰度化帧图像的哈希指纹的汉明距离，以得到特征差T1；将当前灰度化帧图像与前一桢灰度化帧图像进行直方图相交匹配以得到相似性S1；进行关键帧提取。

Description

基于机器学习的室内监控视频关键帧实时提取方法
技术领域
本发明涉及视频关键帧提取技术领域，具体涉及基于机器学习的室内监控视频关键帧 实时提取方法。
背景技术
近几年，视频监控产业成高速增长的态势，高清化、智能化成为行业发展的主导方向， 随之而来的是视频录像数据爆炸式增长，安防系统的应用和性能受制于海量视频图像信息 的采集、分析和处理。现有的家庭监控系统多通过人工监视或回放来查看监控内容，找出 有用信息，然而由于监控数据冗余度高，实时监控者容易视觉疲劳和注意力下降，易造成 关键信息的错报、漏报。事后回放也只能在事故发生之后用于取证、调查和研究，无法在 事发时立即响应，告知相关人员，以便采取有效措施
后期通过在海量视频资料中甄选可以用于证据的数据这一工作也极为耗时耗力，难以 满足用户安防要求。现有的解决策略通常是单独配备硬件设备对图像进程处理，实现图像 检测，或是将视频数据传送到云端服务器，依赖高性能计算对数据进行处理，但前者需增 加额外硬件开销，加重用户负担，后者一旦服务器遭受攻击，则面临用户隐私泄露的危险。 因此，如何在监控中对关键信息进行实时有效的提取是本项目需要解决的问题。
图像预处理,目前的移动设备获取的图像大小几乎都达到了1920*1080，直接处理这么 大像素矩阵的图像对于移动端CPU有着较高的要求，利用双三次插值将图像缩小为16*9的 像素比，既保留了原始手机图像的宽高比特点，同时突出了特征部分。
发明内容
本发明要解决的技术问题在于，针对上述目前关于视频资料数据提取工作耗时耗力的 技术问题，提供基于机器学习的室内监控视频关键帧实时提取方法解决上述技术缺陷。
基于机器学习的室内监控视频关键帧实时提取方法，包括：
S1、采用机器学习中聚类算法K-means++对不同情况下的监控环境进行分类，并确定 亮度值不同的各环境下的预警阈值，以及亮度值和预警阈值的对应关系；
S2、获取当前室内监控视频流，并从当前室内监控视频流获取帧图像；
S3、对步骤S2中得到的帧图像进行预处理，以进行灰度化处理，得到灰度化帧图像；
S4、对步骤S3中得到的每一张灰度化帧图像进行特征提取得到亮度值，根据特征提取 得到的亮度值和所述对应关系，确定每张灰度化帧图像对应的预警阈值；
S5、从第2帧开始，计算当前灰度化桢图像的哈希指纹与前一桢灰度化帧图像的哈希 指纹的汉明距离，以得到特征差T1；将当前灰度化帧图像与前一桢灰度化帧图像进行直方 图相交匹配以得到相似性S1；
S6、判断并标注关键帧，进行关键帧提取：将T1和S1分别与步骤S4得到的预警阈值T、S对应的进行比对，若同时满足T1大于T、S1小于S，则将该帧图像标注为关键帧并提 取，以此判断标准逐步完成对后面所有关键帧的提取。
进一步的，步骤S2中获取帧图像的方法是从视频流中每秒提取1张帧图像。
进一步的，步骤S4中从每一张灰度化帧图像提取的特征包括亮度值、哈希指纹、直方 图。
进一步的，步骤S5中得到的特征差和相似性的数值数量比灰度化帧图像数量少1。
与现有技术相比，本发明优势在于：将对监控视频流的处理转换为对监控视频关键帧 的处理，在减少资源占用的同时，极大地加快了处理速度。为了提高对视频关键帧识别的 准确性，在视频帧间差异分析的基础上，使用机器学习中聚类算法k-means++，对监控环境 进行自动分类，以确定当前环境下的关键帧提取的阈值。选取亮度、哈希指纹、颜色直方 图作为视频图像特征。一旦监控视频发生异常，则将当前帧作为关键帧进行提取，存储在 本地关键帧图集，在降低数据冗余度的同时，也避免了因为环境的变化、干扰物体的出现 而产生误报、漏报，从而实现视频关键帧的智能提取。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明基于机器学习的室内监控视频关键帧实时提取方法流程图；
图2为本发明关键帧实时提取算法流程图；
图3为本发明提取出的关键帧图；
图4为本发明原始视频分帧图；
图5为本发明部分关键帧图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发 明的具体实施方式。
基于机器学习的室内监控视频关键帧实时提取方法，如图1所示，包括：
S1、在PC端上采用机器学习中聚类算法K-means++对不同情况下的监控环境进行分 类，并确定明亮程度不同的各环境下的预警阈值。具体包括四个步骤：
准备数据：收集正常、亮、暗三种不同监控环境的图像；
数据集制作：提取上述三种不同环境图像特征，特征包括亮度值、哈希指纹、直方图；
训练模型：编写K-means++算法代码，并利用K-means++对监控环境进行分类；
确定阈值：将分类后各类质心的特征数据则为该监控环境下的预警阈值T(哈希指纹 的汉明距离)、S(直方图相似性)，如下表所示。
亮度值 哈希指纹的汉明距离 直方图相似度
暗 14 0.6294
正常 8 0.6523
亮 17 0.7041
在本实施例中仅分出了三种室内监控环境，但在实际应用中室内监控环境不局限于上 述三种，在实际应用中，可以分类出亮度值不同的多种室内监控环境，且每种室内监控环 境均对应一组预警阈值。
S2、获取当前室内监控视频流，并从视频流中每秒提取1张帧图像，从而从当前室内 监控视频流获取多张帧图像。
对当前室内监控视频流进行实时采集，得到一帧一帧的帧图像；通过在Android的Camera拍摄预览中设置setPreviewCallback方法来实现onPreviewFrame接口，同时由于目前主流Android手机摄像头的超清画质和超高帧率，为了适应系统环境对每秒从摄像头获取的帧数限制为1张，从而提高了系统效率，通过SurfaceView显示画面。
S3、对步骤S2中得到的多张帧图像进行预处理，以进行灰度化处理，得到多张灰度化 帧图像。
图像预处理，目前的移动设备获取的图像大小几乎都达到了1920*1080，直接处理这么 大像素矩阵的图像对于移动端CPU有着较高的要求，利用双三次插值将图像缩小为16*9 的像素比，既保留了原始手机图像的宽高比特点，同时突出了特征部分。
S4、对步骤S3中得到的每一张灰度化帧图像进行特征提取，特征包括亮度值、哈希指 纹、直方图，通过检测亮度值对每一张灰度化帧图像的当前监控环境进行分类，并确定每 张灰度化帧图像对应的预警阈值。
哈希指纹：图片哈希指纹是检测一张图片的内容然后根据检测的内容为图片建立一个 唯一值的过程，给定一张图片作为输入，基于图像视觉应用一个Hash函数计算出一个图片 Hash。相似的图片拥有相似的Hash值，通过计算两张图片Hash数值的汉明距离，可以确 定其相似度。传统的感知哈希算法将图像压缩成8*8的尺寸，由于手机图像1920*1080的像素比，本项目将从手机摄像头直接采集的图片利用双三次插值法压缩成16*9的比例，这样就保留了手机图片特有的结构比例，在不改变图像明暗等信息的情况下，也摒弃了不同尺寸比例带来的图片差异，让Hash函数的输入与输出格式同一化。灰度化帧图像可以计算像素平均值G,每个像素点的像素值P。当P大于G时记该像素点为1否则为0，这样生成 的一串0，1序列即为每张图片的哈希指纹。
汉明距离：在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不 同字符的个数。利用图像指纹生成算法，输入监控视频相邻帧，可得到两个等长二进制串 a和b，其汉明距离等于aXORb中1的数目。
S5、帧间差量化，从第2帧开始，计算当前灰度化桢图像的哈希指纹与前一桢灰度化 帧图像的哈希指纹的汉明距离，以得到特征差T1、T2、T3…；将当前灰度化帧图像与前一桢灰度化帧图像进行直方图相交匹配以得到相似性S1、S2、S3…。
S6、判断并标注关键帧，进行关键帧提取。
如图2所示，将T1和S1分别与当前监控环境下的预警阈值T、S进行比对，若同时满足T1大于T、S1小于S，则将该帧图像标注为关键帧并提取，以此判断标准逐步完成对后 面所有关键帧的提取。
上述步骤实质上是计算灰度化帧图像的均值和方差，当存在亮度异常时，均值会偏离 均值点，方差也会偏小。通过计算灰度图的均值和方差，就可评估图像是否存在过曝光或 曝光不足。
实施后的最终效果如图3所示，可以看到，该算法对远处关键扰动，及有人闯入画面 的情况有着良好的抓取情况。同时，在65号关键帧与121号关键帧之间，有着小范围的频繁的扰动，如图4所示；由于这些帧中，人为活动比较小，且活动较为单一，所以只需选 择其中一张作为这段时间的关键帧即可，也就是第65号。而当监控主体对象重新站起，并 进行下一次活动时，应该作为下一次活动的开始，属于需要抓取的扰动部分，由图5可知， 算法抓取了第121号图片作为扰动开始点，并且连续抓出122-126号，记录这段活动的行 为轨迹，而当实验对象再次处于一个相对小范围活动的状态时，抓取了对画面扰动明显的 站立起身图像，如图5所示。该监控视频，通过实时的关键帧提取，用户可以得到的关键 帧序列如图4和图5所示。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施 方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在 本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形 式，这些均属于本发明的保护之内。

Claims (4)

1.基于机器学习的室内监控视频关键帧实时提取方法，其特征在于，包括：
S1、采用机器学习中聚类算法K-means++对不同情况下的监控环境进行分类，并确定亮度值不同的各环境下的预警阈值，以及亮度值和预警阈值的对应关系；
S2、获取当前室内监控视频流，并从当前室内监控视频流获取帧图像；
S3、对步骤S2中得到的帧图像进行预处理，以进行灰度化处理，得到灰度化帧图像；
S4、对步骤S3中得到的每一张灰度化帧图像进行特征提取得到亮度值，根据特征提取得到的亮度值和所述对应关系，确定每张灰度化帧图像对应的预警阈值；
S5、从第2帧开始，计算当前灰度化桢图像的哈希指纹与前一桢灰度化帧图像的哈希指纹的汉明距离，以得到特征差T1；将当前灰度化帧图像与前一桢灰度化帧图像进行直方图相交匹配以得到相似性S1；
S6、判断并标注关键帧，进行关键帧提取：将T1和S1分别与步骤S4得到的预警阈值T、S对应的进行比对，若同时满足T1大于T、S1小于S，则将该帧图像标注为关键帧并提取，以此判断标准逐步完成对后面所有关键帧的提取。
2.根据权利要求1所述的基于机器学习的室内监控视频关键帧实时提取方法，其特征在于，步骤S2中获取帧图像的方法是从视频流中每秒提取1张帧图像。
3.根据权利要求1所述的基于机器学习的室内监控视频关键帧实时提取方法，其特征在于，步骤S4中从每一张灰度化帧图像提取的特征包括亮度值、哈希指纹、直方图。
4.根据权利要求1所述的基于机器学习的室内监控视频关键帧实时提取方法，其特征在于，步骤S5中得到的特征差和相似性的数值数量比灰度化帧图像数量少1。
CN201910152911.9A 2019-02-28 2019-02-28 基于机器学习的室内监控视频关键帧实时提取方法 Active CN110096945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910152911.9A CN110096945B (zh) 2019-02-28 2019-02-28 基于机器学习的室内监控视频关键帧实时提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910152911.9A CN110096945B (zh) 2019-02-28 2019-02-28 基于机器学习的室内监控视频关键帧实时提取方法

Publications (2)

Publication Number Publication Date
CN110096945A true CN110096945A (zh) 2019-08-06
CN110096945B CN110096945B (zh) 2021-05-14

Family

ID=67443935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910152911.9A Active CN110096945B (zh) 2019-02-28 2019-02-28 基于机器学习的室内监控视频关键帧实时提取方法

Country Status (1)

Country Link
CN (1) CN110096945B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852203A (zh) * 2019-10-28 2020-02-28 西安交通大学 一种基于视频特征学习的多要素可疑人员识别方法
CN113128399A (zh) * 2021-04-19 2021-07-16 重庆大学 一种用于情感识别的语音图像关键帧提取方法
WO2021154861A1 (en) * 2020-01-27 2021-08-05 Schlumberger Technology Corporation Key frame extraction for underwater telemetry and anomaly detection
CN113542771A (zh) * 2021-07-15 2021-10-22 广东电网有限责任公司中山供电局 一种基于内容权重的视频高效压缩处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022792A (ja) * 1999-05-28 2001-01-26 Fuji Xerox Co Ltd キーフレーム選択のための候補フレームを選択する方法
US20060146199A1 (en) * 2002-10-28 2006-07-06 Ewa Kijak Method of selecting seeds for the clustering of key-frames
CN101872346A (zh) * 2009-04-22 2010-10-27 中国科学院自动化研究所 一种自动生成视频导航系统的方法
CN103426176A (zh) * 2013-08-27 2013-12-04 重庆邮电大学 基于改进直方图和聚类算法的视频镜头检测方法
CN104182957A (zh) * 2013-05-21 2014-12-03 北大方正集团有限公司 交通视频信息检测方法和装置
CN104994366A (zh) * 2015-06-02 2015-10-21 陕西科技大学 一种基于特征加权的fcm视频关键帧提取方法
CN105025392A (zh) * 2015-06-25 2015-11-04 西北工业大学 基于摘要空间特征学习的视频摘要关键帧提取方法
CN105721955A (zh) * 2016-01-20 2016-06-29 天津大学 一种视频关键帧选取方法
CN107483887A (zh) * 2017-08-11 2017-12-15 中国地质大学（武汉） 一种智慧城市视频监控中突发情况的预警检测方法
CN107483985A (zh) * 2017-07-20 2017-12-15 北京中科火眼科技有限公司 一种广告精准定位方法
CN109271957A (zh) * 2018-09-30 2019-01-25 厦门市巨龙信息科技有限公司 人脸性别识别方法以及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022792A (ja) * 1999-05-28 2001-01-26 Fuji Xerox Co Ltd キーフレーム選択のための候補フレームを選択する方法
US20060146199A1 (en) * 2002-10-28 2006-07-06 Ewa Kijak Method of selecting seeds for the clustering of key-frames
CN101872346A (zh) * 2009-04-22 2010-10-27 中国科学院自动化研究所 一种自动生成视频导航系统的方法
CN104182957A (zh) * 2013-05-21 2014-12-03 北大方正集团有限公司 交通视频信息检测方法和装置
CN103426176A (zh) * 2013-08-27 2013-12-04 重庆邮电大学 基于改进直方图和聚类算法的视频镜头检测方法
CN104994366A (zh) * 2015-06-02 2015-10-21 陕西科技大学 一种基于特征加权的fcm视频关键帧提取方法
CN105025392A (zh) * 2015-06-25 2015-11-04 西北工业大学 基于摘要空间特征学习的视频摘要关键帧提取方法
CN105721955A (zh) * 2016-01-20 2016-06-29 天津大学 一种视频关键帧选取方法
CN107483985A (zh) * 2017-07-20 2017-12-15 北京中科火眼科技有限公司 一种广告精准定位方法
CN107483887A (zh) * 2017-08-11 2017-12-15 中国地质大学（武汉） 一种智慧城市视频监控中突发情况的预警检测方法
CN109271957A (zh) * 2018-09-30 2019-01-25 厦门市巨龙信息科技有限公司 人脸性别识别方法以及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AYOUB MASSOUDI 等: "A Video Fingerprint Based on Visual Digest and Local Fingerprints", 《2006 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
HONG ZHAO 等: "A Clustering Algorithm for Key Frame Extraction Based on Density Peak", 《JOURNAL OF COMPUTER AND COMMUNICATIONS》 *
LINCHEN YU 等: "Key frame extraction scheme based on sliding window and features", 《PEER-TO-PEER NETWORK AND APPLICATION（2018）》 *
张亚洲 等: "基于 k－means＋＋聚类的视频摘要生成算法", 《工业控制计算机》 *
马振磊 等: "基于距离阈值聚类的关键帧提取方法", 《鲁东大学学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852203A (zh) * 2019-10-28 2020-02-28 西安交通大学 一种基于视频特征学习的多要素可疑人员识别方法
CN110852203B (zh) * 2019-10-28 2022-04-22 西安交通大学 一种基于视频特征学习的多要素可疑人员识别方法
WO2021154861A1 (en) * 2020-01-27 2021-08-05 Schlumberger Technology Corporation Key frame extraction for underwater telemetry and anomaly detection
CN113128399A (zh) * 2021-04-19 2021-07-16 重庆大学 一种用于情感识别的语音图像关键帧提取方法
CN113542771A (zh) * 2021-07-15 2021-10-22 广东电网有限责任公司中山供电局 一种基于内容权重的视频高效压缩处理方法

Also Published As

Publication number Publication date
CN110096945B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN110096945A (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN110135269B (zh) 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN106204779B (zh) 基于多人脸数据采集策略和深度学习的课堂考勤方法
RU2393544C2 (ru) Способ и устройство для обнаружения пламени
CN104063706B (zh) 一种基于surf算法的视频指纹提取方法
CN107944359A (zh) 基于视频的火焰检测方法
CN104809463B (zh) 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN109284733A (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN111767823A (zh) 一种睡岗检测方法、装置、系统及存储介质
CN111126293A (zh) 一种火焰和烟雾异常情况检测方法及系统
CN113989858B (zh) 一种工作服识别方法及系统
CN108470424A (zh) 一种基于图像特征的森林安全监测系统
CN113192038B (zh) 基于深度学习的已有火焰环境中异常烟火识别监测方法
CN111353399A (zh) 篡改视频检测方法
CN112153373A (zh) 明厨亮灶设备的故障识别方法、装置及存储介质
CN112163572A (zh) 识别对象的方法和装置
CN109902613A (zh) 一种基于迁移学习和图像增强的人体特征提取方法
CN113642526A (zh) 基于计算机控制的画面处理系统及方法
TWI620148B (zh) 監控裝置、監控方法及計數方法
CN110188718B (zh) 一种基于关键帧和联合稀疏表示的无约束人脸识别方法
CN109740527B (zh) 一种视频帧中图像处理方法
CN112633179A (zh) 基于视频分析的农贸市场过道物体占道检测方法
CN111008601A (zh) 一种基于视频的打架斗殴检测方法
CN111126378A (zh) 一种视频osd提取与覆盖区域重建的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant