CN110312131A - 一种基于深度学习的内容自适应在线视频编码方法 - Google Patents

一种基于深度学习的内容自适应在线视频编码方法 Download PDF

Info

Publication number
CN110312131A
CN110312131A CN201910586777.3A CN201910586777A CN110312131A CN 110312131 A CN110312131 A CN 110312131A CN 201910586777 A CN201910586777 A CN 201910586777A CN 110312131 A CN110312131 A CN 110312131A
Authority
CN
China
Prior art keywords
frame
parameter
coding
gop
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910586777.3A
Other languages
English (en)
Other versions
CN110312131B (zh
Inventor
万俊青
王建伟
谢亚光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dang Hong Polytron Technologies Inc
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Dang Hong Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dang Hong Polytron Technologies Inc filed Critical Hangzhou Dang Hong Polytron Technologies Inc
Priority to CN201910586777.3A priority Critical patent/CN110312131B/zh
Publication of CN110312131A publication Critical patent/CN110312131A/zh
Application granted granted Critical
Publication of CN110312131B publication Critical patent/CN110312131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于深度学习的内容自适应在线视频编码方法。它包括分析器、参数获得器和HEVC编码器，其中分析器提取每帧的特征值、决定编码帧型、检测场景切换点；参数获得器将视频流切分成若干个一小段，根据每段的特征选取编码参数；HEVC编码器根据各自的编码参数编码视频流段；利用深度学习算法，根据视频内容来自适应调节编码参数。本发明的有益效果是：保证在线编码视频质量并且节省带宽，根据视频内容来自适应调节编码参数，适应在线编码的实时性，视频质量相对以前方案稳定很多，减少了突然花屏、图像块多的现象，并且平均节省码率10％～20％左右。

Description

一种基于深度学习的内容自适应在线视频编码方法
技术领域
本发明涉及视频处理相关技术领域，尤其是指一种基于深度学习的内容自适应在线视频编码方法。
背景技术
目前在线编码一般都是根据经验设置合理的码率，采用CBR或VBR模式来编码。但在一段视频中，图像内容的复杂度是不断变化的，对于内容简单的视频段，这个码率过大，浪费带宽；对于内容复杂的视频段，这个码率过小，导致视频质量不满足客户需求。此外，在线视频内容因无法预先观看，这个码率有可能不适合这段视频流。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种保证在线编码视频质量并且节省带宽的基于深度学习的内容自适应在线视频编码方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于深度学习的内容自适应在线视频编码方法，包括分析器、参数获得器和HEVC编码器，其中分析器提取每帧的特征值、决定编码帧型、检测场景切换点；参数获得器将视频流切分成若干个一小段，根据每段的特征选取编码参数；HEVC编码器根据各自的编码参数编码视频流段；具体操作步骤如下：
(1)用户设置视频质量级别、最大码率、GOP大小这些编码参数；
(2)分析器计算每帧的视频特征：帧内复杂度和帧间复杂度，分析器根据上一帧、本帧及后面几帧的帧内复杂度、帧间复杂度的关系判断当前是否是场景切换点；
(3)如果是场景切换点，则本帧将作为IDR帧并开始新的一个GOP分析，并进入到步骤(4)；如果不是场景切换点，则决定当前帧的帧型，判断是否是一个新的GOP开始，如果是，则进入到步骤(4)，如果不是，则返回到步骤(2)；
(4)参数获得器将这个GOP每帧的视频特征进行整合，计算各种帧型的总特征值，再将总特征值送给SVM，SVM利用离线数据训练好了的model进行分类，得到参数分类索引号，从参数表中得到这个GOP的编码参数，判断这个GOP第一帧是否是场景切换点，如果这个GOP第一帧是场景切换点，则进入到步骤(6)；如果这个GOP第一帧不是场景切换点，则进入到步骤(5)中；
(5)将这个编码参数和前一个GOP编码参数比较，如果满足：参数改变比较大并且前一参数编码的帧数大于阈值T，则进入到步骤(6)，如果不满足上述条件，则进入到步骤(7)；
(6)通知HEVC编码器以新的编码参数编码这个GOP；
(7)HEVC编码器得到用新的编码参数通知，则用编码参数编码这个GOP；如果没有通知HEVC编码器换参数，编码器用最近的参数编码这个GOP。
为了保证在线编码视频质量并且节省带宽，我们利用深度学习算法，根据视频内容来自适应调节编码参数，为了适应在线编码的实时性，计算复杂度只增加了10～20％左右。使用本发明的方法，视频质量相对以前方案稳定很多，减少了突然花屏、图像块多的现象，并且平均节省码率10％～20％左右，特别是对于综艺台。本发明不仅适用HEVC编码器，还适用H264、MPEG2、AVS、AVS2等视频编码器。另外本发明中应用的SVM，也可用其他深度学习网络来实现，比如CNN等。
作为优选，在步骤(1)中，视频质量级别分为可看、比较好、好三个级别。
作为优选，在步骤(2)中，首先对视频帧做一次1/2下采样，将下采样后图像分成8x8小块，提取每个块的帧内satd值和帧间satd值、mv值，帧内复杂度通过小块的帧内satd值计算得到，帧间复杂度通过帧间satd值、mv值计算得到。
作为优选，在步骤(3)中，当前帧的帧型包括IDR帧型、P帧型、B帧型、参考B帧；一个GOP分析结束后，将每帧的视频特征送给参数获得器，并告诉参数获得器场景切换点情况。
作为优选，在步骤(4)中，参数获得器将这个GOP每帧的视频特征进行整合，根据帧型，计算所有IDR帧各块的帧内satd值总和得到IDR的总特征值Tidr，P帧、B帧以及参考B帧各种帧型按IDR帧方法依次得到的总特征值Tp、Tb、Trefb，再将这四个值送给SVM，SVM支持向量机。
作为优选，在步骤(4)中，离线数据训练好了的model获得方法如下：离线对各种场景用VBR模式以各种码率编码，得到各种帧型的总特征值Tidr、Tp、Tb、Trefb以及VMAF分数，根据VMAF分数、编码参数标注参数索引号，其中Tidr、Tp、Tb、Trefb作为SVM的X、参数索引号作为Y，送给SVM训练得到model。
本发明的有益效果是：保证在线编码视频质量并且节省带宽，根据视频内容来自适应调节编码参数，适应在线编码的实时性，视频质量相对以前方案稳定很多，减少了突然花屏、图像块多的现象，并且平均节省码率10％～20％左右。
附图说明
图1是本发明的结构框架图；
图2是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种基于深度学习的内容自适应在线视频编码方法，包括分析器、参数获得器和HEVC编码器，其中分析器提取每帧的特征值、决定编码帧型、检测场景切换点；参数获得器将视频流切分成若干个一小段，根据每段的特征选取编码参数；HEVC编码器根据各自的编码参数编码视频流段；如图2所示，具体操作步骤如下：
(1)用户设置视频质量级别、最大码率、GOP大小这些编码参数；视频质量级别分为可看、比较好、好三个级别；
(2)分析器计算每帧的视频特征：帧内复杂度和帧间复杂度，分析器根据上一帧、本帧及后面几帧的帧内复杂度、帧间复杂度的关系判断当前是否是场景切换点；
帧内复杂度和帧间复杂度的计算如下：首先对视频帧做一次1/2下采样，将下采样后图像分成8x8小块，提取每个块的帧内satd值(satd的计算说明参考https://baike.baidu.com/item/satd/7986824)和帧间satd值、mv值，帧内复杂度通过小块的帧内satd值计算得到，帧间复杂度通过帧间satd值、mv值计算得到；
(3)如果是场景切换点，则本帧将作为IDR帧并开始新的一个GOP分析，并进入到步骤(4)；如果不是场景切换点，则决定当前帧的帧型，判断是否是一个新的GOP开始，如果是，则进入到步骤(4)，如果不是，则返回到步骤(2)；
当前帧的帧型包括IDR帧型、P帧型、B帧型、参考B帧；一个GOP分析结束后，将每帧的视频特征送给参数获得器，并告诉参数获得器场景切换点情况；
(4)参数获得器将这个GOP每帧的视频特征进行整合，计算各种帧型的总特征值，再将总特征值送给SVM，SVM利用离线数据训练好了的model进行分类，得到参数分类索引号，从参数表中得到这个GOP的编码参数，判断这个GOP第一帧是否是场景切换点，如果这个GOP第一帧是场景切换点，则进入到步骤(6)；如果这个GOP第一帧不是场景切换点，则进入到步骤(5)中；
参数获得器将这个GOP每帧的视频特征进行整合，根据帧型，计算所有IDR帧各块的帧内satd值总和得到IDR的总特征值Tidr，P帧、B帧以及参考B帧各种帧型按IDR帧方法依次得到的总特征值Tp、Tb、Trefb，再将这四个值送给SVM，SVM支持向量机；
离线数据训练的model获得如下：离线对各种场景用VBR模式以各种码率编码，得到各种帧型的总特征值Tidr、Tp、Tb、Trefb以及VMAF分数(VMAF分数计算参考https://blog.csdn.net/yue_huang/article/details/79503884)，根据VMAF分数、编码参数标注参数索引号，其中Tidr、Tp、Tb、Trefb作为SVM的X、参数索引号作为Y，送给SVM训练得到model；
(5)将这个编码参数和前一个GOP编码参数比较，如果满足：参数改变比较大并且前一参数编码的帧数大于阈值T，则进入到步骤(6)，如果不满足上述条件，则进入到步骤(7)；其中两个编码参数的参数改变大于30％则认为参数改变比较大，而阈值T是根据实际需求进行适应性的人工设置；
(6)通知HEVC编码器以新的编码参数编码这个GOP；
(7)HEVC编码器得到用新的编码参数通知，则用编码参数编码这个GOP；如果没有通知HEVC编码器换参数，编码器用最近的参数编码这个GOP。
为了保证在线编码视频质量并且节省带宽，我们利用深度学习算法，根据视频内容来自适应调节编码参数，为了适应在线编码的实时性，计算复杂度只增加了10～20％左右。使用本发明的方法，视频质量相对以前方案稳定很多，减少了突然花屏、图像块多的现象，并且平均节省码率10％～20％左右，特别是对于综艺台。本发明不仅适用HEVC编码器，还适用H264、MPEG2、AVS、AVS2等视频编码器。另外本发明中应用的SVM，也可用其他深度学习网络来实现，比如CNN等。

Claims (6)

1.一种基于深度学习的内容自适应在线视频编码方法，其特征是，包括分析器、参数获得器和HEVC编码器，其中分析器提取每帧的特征值、决定编码帧型、检测场景切换点；参数获得器将视频流切分成若干个一小段，根据每段的特征选取编码参数；HEVC编码器根据各自的编码参数编码视频流段；具体操作步骤如下：
(1)用户设置视频质量级别、最大码率、GOP大小这些编码参数；
(2)分析器计算每帧的视频特征：帧内复杂度和帧间复杂度，分析器根据上一帧、本帧及后面几帧的帧内复杂度、帧间复杂度的关系判断当前是否是场景切换点；
(3)如果是场景切换点，则本帧将作为IDR帧并开始新的一个GOP分析，并进入到步骤(4)；如果不是场景切换点，则决定当前帧的帧型，判断是否是一个新的GOP开始，如果是，则进入到步骤(4)，如果不是，则返回到步骤(2)；
(4)参数获得器将这个GOP每帧的视频特征进行整合，计算各种帧型的总特征值，再将总特征值送给SVM，SVM利用离线数据训练好了的model进行分类，得到参数分类索引号，从参数表中得到这个GOP的编码参数，判断这个GOP第一帧是否是场景切换点，如果这个GOP第一帧是场景切换点，则进入到步骤(6)；如果这个GOP第一帧不是场景切换点，则进入到步骤(5)中；
(5)将这个编码参数和前一个GOP编码参数比较，如果满足：参数改变比较大并且前一参数编码的帧数大于阈值T，则进入到步骤(6)，如果不满足上述条件，则进入到步骤(7)；
(6)通知HEVC编码器以新的编码参数编码这个GOP；
(7)HEVC编码器得到用新的编码参数通知，则用编码参数编码这个GOP；
如果没有通知HEVC编码器换参数，编码器用最近的参数编码这个GOP。
2.根据权利要求1所述的一种基于深度学习的内容自适应在线视频编码方法，其特征是，在步骤(1)中，视频质量级别分为可看、比较好、好三个级别。
3.根据权利要求1所述的一种基于深度学习的内容自适应在线视频编码方法，其特征是，在步骤(2)中，首先对视频帧做一次1/2下采样，将下采样后图像分成8x8小块，提取每个块的帧内satd值和帧间satd值、mv值，帧内复杂度通过小块的帧内satd值计算得到，帧间复杂度通过帧间satd值、mv值计算得到。
4.根据权利要求1所述的一种基于深度学习的内容自适应在线视频编码方法，其特征是，在步骤(3)中，当前帧的帧型包括IDR帧型、P帧型、B帧型、参考B帧；一个GOP分析结束后，将每帧的视频特征送给参数获得器，并告诉参数获得器场景切换点情况。
5.根据权利要求4所述的一种基于深度学习的内容自适应在线视频编码方法，其特征是，在步骤(4)中，参数获得器将这个GOP每帧的视频特征进行整合，根据帧型，计算所有IDR帧各块的帧内satd值总和得到IDR的总特征值Tidr，P帧、B帧以及参考B帧各种帧型按IDR帧方法依次得到的总特征值Tp、Tb、Trefb，再将这四个值送给SVM，SVM支持向量机。
6.根据权利要求5所述的一种基于深度学习的内容自适应在线视频编码方法，其特征是，在步骤(4)中，离线数据训练好了的model获得方法如下：离线对各种场景用VBR模式以各种码率编码，得到各种帧型的总特征值Tidr、Tp、Tb、Trefb以及VMAF分数，根据VMAF分数、编码参数标注参数索引号，其中Tidr、Tp、Tb、Trefb作为SVM的X、参数索引号作为Y，送给SVM训练得到model。
CN201910586777.3A 2019-07-01 2019-07-01 一种基于深度学习的内容自适应在线视频编码方法 Active CN110312131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910586777.3A CN110312131B (zh) 2019-07-01 2019-07-01 一种基于深度学习的内容自适应在线视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910586777.3A CN110312131B (zh) 2019-07-01 2019-07-01 一种基于深度学习的内容自适应在线视频编码方法

Publications (2)

Publication Number Publication Date
CN110312131A true CN110312131A (zh) 2019-10-08
CN110312131B CN110312131B (zh) 2021-03-23

Family

ID=68078852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910586777.3A Active CN110312131B (zh) 2019-07-01 2019-07-01 一种基于深度学习的内容自适应在线视频编码方法

Country Status (1)

Country Link
CN (1) CN110312131B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677657A (zh) * 2019-11-01 2020-01-10 杭州当虹科技股份有限公司 一种用于内容自适应编码中的场景分段方法
CN112492314A (zh) * 2020-11-25 2021-03-12 杭州微帧信息科技有限公司 一种基于机器学习的动态运动估计算法选择的方法
CN113382241A (zh) * 2021-06-08 2021-09-10 北京奇艺世纪科技有限公司 视频编码方法、装置、电子设备和存储介质
CN113676729A (zh) * 2021-07-12 2021-11-19 杭州未名信科科技有限公司 一种视频编码的方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004207802A (ja) * 2002-12-24 2004-07-22 Sony Corp 画像データ処理装置および方法、記録媒体、並びにプログラム
CN107392857A (zh) * 2017-04-14 2017-11-24 杭州当虹科技有限公司 一种基于深度学习的图像增强方法
US20170359580A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Content Adaptation for Streaming
CN108259897A (zh) * 2018-01-23 2018-07-06 北京易智能科技有限公司 一种基于深度学习的帧内编码优化方法
CN109495741A (zh) * 2018-11-29 2019-03-19 四川大学 基于自适应下采样和深度学习的图像压缩方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004207802A (ja) * 2002-12-24 2004-07-22 Sony Corp 画像データ処理装置および方法、記録媒体、並びにプログラム
US20170359580A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Content Adaptation for Streaming
CN107392857A (zh) * 2017-04-14 2017-11-24 杭州当虹科技有限公司 一种基于深度学习的图像增强方法
CN108259897A (zh) * 2018-01-23 2018-07-06 北京易智能科技有限公司 一种基于深度学习的帧内编码优化方法
CN109495741A (zh) * 2018-11-29 2019-03-19 四川大学 基于自适应下采样和深度学习的图像压缩方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677657A (zh) * 2019-11-01 2020-01-10 杭州当虹科技股份有限公司 一种用于内容自适应编码中的场景分段方法
CN110677657B (zh) * 2019-11-01 2022-02-18 杭州当虹科技股份有限公司 一种用于内容自适应编码中的场景分段方法
CN112492314A (zh) * 2020-11-25 2021-03-12 杭州微帧信息科技有限公司 一种基于机器学习的动态运动估计算法选择的方法
CN112492314B (zh) * 2020-11-25 2024-05-14 杭州微帧信息科技有限公司 一种基于机器学习的动态运动估计算法选择的方法
CN113382241A (zh) * 2021-06-08 2021-09-10 北京奇艺世纪科技有限公司 视频编码方法、装置、电子设备和存储介质
CN113676729A (zh) * 2021-07-12 2021-11-19 杭州未名信科科技有限公司 一种视频编码的方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110312131B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN110312131A (zh) 一种基于深度学习的内容自适应在线视频编码方法
US9025673B2 (en) Temporal quality metric for video coding
CN101466035B (zh) 一种基于h.264的视频图像组比特分配方法
CN104683804B (zh) 基于视频内容特征的参数自适应多维码率控制方法
EP3637770A1 (en) Code rate adjustment method and device for encoding process
CN103888846A (zh) 基于QoE的无线视频流业务自适应速率控制方法
CN104093021B (zh) 一种监控视频压缩方法
WO2006096869A3 (en) Model based rate control for predictive video encoder
CN113038127B (zh) 一种基于roi的实时视频多路并行传输码率控制方法
CN105898306A (zh) 用于运动视频的码率控制方法及装置
CN102938840A (zh) 应用于多视点视频编码系统的关键帧量化参数选择方法
CN102075784A (zh) 一种联合考虑压缩和丢包损伤条件下的视频质量评价方法
CN107018412A (zh) 一种基于关键帧编码单元划分模式的dvc‑hevc视频转码方法
CN107547902B (zh) 面向监控视频编码的自适应率失真优化方法
CN102625104B (zh) 一种视频编码方法
CN104837008B (zh) 一种基于网络丢包损伤的比特流层视频感知质量评价方法
CN111970484B (zh) 适于视频监控设备的运维系统和运维方法
MX2014007041A (es) Metodo y aparato para medicion de calidad de video.
CN103281532A (zh) 一种基于运动强度检测的量化调整方法及系统
CN104333726B (zh) 一种针对转码视频源的去隔行方法及系统
Wang et al. Quality assessment for MPEG-2 video streams using a neural network model
CN105357526B (zh) 基于压缩域的考虑场景分类的手机足球视频质量评估装置和方法
CN112243130A (zh) 一种基于图像超分辨率的移动ar应用上传能耗优化方法
Mizdos et al. Subjective and objective evaluation of spatial and temporal information of video content
CN105245890A (zh) 一种基于视觉关注度优先级的高效视频编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant