CN108900841B - 基于图像去雨算法的视频编码方法 - Google Patents

基于图像去雨算法的视频编码方法 Download PDF

Info

Publication number
CN108900841B
CN108900841B CN201810751203.2A CN201810751203A CN108900841B CN 108900841 B CN108900841 B CN 108900841B CN 201810751203 A CN201810751203 A CN 201810751203A CN 108900841 B CN108900841 B CN 108900841B
Authority
CN
China
Prior art keywords
rain
image
generator
free
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810751203.2A
Other languages
English (en)
Other versions
CN108900841A (zh
Inventor
陈志波
金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201810751203.2A priority Critical patent/CN108900841B/zh
Publication of CN108900841A publication Critical patent/CN108900841A/zh
Application granted granted Critical
Publication of CN108900841B publication Critical patent/CN108900841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于图像去雨算法的视频编码方法，包括：预先建立结合了对偶交叉和生成对抗卷积神经网络的去雨神经网络模型，并利用制作的有雨图像对去雨神经网络模型进行训练；对于新输入的原始有雨视频，利用训练好的去雨神经网络模型进行图像去雨操作，获得无雨视频及相应的雨滴方向和强度；由编码端对无雨视频进行编码，生成比特流，再将雨滴方向和强度作为边信息与比特流一同发送至解码端。该方法能够在保留背景图像的信息的基础上最大程度上地去除雨线，从而使得后续的视频压缩变得高效。

Description

基于图像去雨算法的视频编码方法
技术领域
本发明涉及视频编码、深度学习技术领域，尤其涉及一种基于图像去雨算法的视频编码方法。
背景技术
a)视频编码
随着技术的发展，互联网的带宽在增大，单位时间能传输更多的数据。但另一方面，随着手持设备的普及和摄像头分辨率的增大，互联网上的图像数据以远超过带宽增大的速度增涨着。为了能高效地传输和存储图像，视频编码一直是一个非常重要的研究领域。
由于视频中广泛存在雨天场景，特别是从监控摄像中获得的视频序列。当存在雨滴的视频帧被编码，雨滴强度剧烈变化以及不均匀会导致传统视频编码框架在运动估计时无法找到一个匹配良好的参考匹配块，会导致编码效率的急剧下降。
b)图像去雨算法
现有的图像去雨方法，主要分为基于字典学习的方法(Kang L W,Lin C W,Fu YH.Automatic single-image-based rain streaks removal via image decomposition[J].IEEE Transactions on Image Processing,2012,21(4):1742-1755.)和运用引导滤波等滤波器通过滤波的方法(He K,Sun J,Tang X.Guided image filtering[C]//European conference on computer vision.Springer,Berlin,Heidelberg,2010:1-14.)。
基于字典学习的方法认为雨线及背景边缘是属于不同的结构，它们应该通过不同的字典进行表示，以此来区分该边缘是否属于雨线进行去雨。但在现实生活中，雨线与某些背景边缘的方向颜色等特性有时会产生重叠。该类方法随后在字典分离步骤中，虽然通过不断引入新的特征来增加字典分类的区分度，在一定程度上将准确率提高了，但同时算法的复杂度也相应地提高，实时性降低，耗时较长，很难应用于实际工程中。
运用引导滤波等滤波器进行去雨，相当于将去雨问题回归到去噪问题。现在虽然已经有许多的保边滤波器，如常用的双边滤波器、引导滤波等。但是对于直接去雨这个任务来说，传统的滤波器都不能达到理想的效果。因为它们只能考虑到较小的局部邻域信息。而在较小的局部窗口内，雨线和边缘的结构区分度不够高，更容易相似，因此不能很好地区分它们，处理结果常在清晰度与去雨间折中，无法在去除雨线的同时很好地保留背景图像的信息。
发明内容
本发明的目的是提供一种基于图像去雨算法的视频编码方法，能够在保留背景图像的信息的基础上最大程度上地去除雨线，从而使得后续的视频压缩变得高效。
本发明的目的是通过以下技术方案实现的：
一种基于图像去雨算法的视频编码方法，包括：
预先建立结合了对偶交叉和生成对抗卷积神经网络的去雨神经网络模型，并利用制作的有雨图像对去雨神经网络模型进行训练；
对于新输入的原始有雨视频，利用训练好的去雨神经网络模型对原始有雨视频中每一视频帧进行图像去雨操作，获得无雨视频及相应的雨滴方向和强度；
由编码端对无雨视频进行编码，生成比特流，再将雨滴方向和强度作为边信息与比特流一同发送至解码端。
由上述本发明提供的技术方案可以看出，利用训练好的模型对有雨视频帧进行去雨处理，然后再进行编码；实验显示了提出的基于视频去雨算法的视频编码框架方法在大大提升了编码效率的同时仍然保证了有竞争力的编码主观质量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于图像去雨算法的视频编码方法的流程图；
图2为本发明实施例提供的去雨神经网络模型的结构示意图；
图3为本发明实施例提供的去雨结果示意图；
图4为本发明实施例提供的去雨结果示意图；
图5为本发明实施例提供的编解码过程示意图；
图6为本发明实施例提供的雨滴方向和强度信息示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种基于图像去雨算法的视频编码方法，由于传统的视频编码框架对存在下雨场景的视频存在极大的编码限制。与其不同，本发明实施例上述方法利用训练好的模型对有雨视频帧进行去雨处理后再进行编码，降低编码难度，极大节省了编码所需要的bit，并能在解码端最大程度上恢复出原始视频信息。
如图1所示，上述方法主要包括如下步骤：
步骤1、预先建立结合了对偶交叉和生成对抗卷积神经网络的去雨神经网络模型，并利用制作的有雨图像对去雨神经网络模型进行训练。
本发明实施例所建立的去雨神经网络模型如图2所示，同时，还建立了图像构建图像训练库对去雨神经网络模型进行训练。
本发明实施例中，通过对无雨图像添加有雨效果(例如，通过screen blend model对干净的清晰图像人工加雨)，形成相应的有雨图像，利用无雨图像及对应的有雨图像构建图像训练库。
训练时，从图像数据库中取一定尺寸大小(例如32×32大小)的有雨及无雨图像块对作为一对训练样本对去雨神经网络模型进行训练，训练过程包括前向传导过程、反向传导过程和卷积核更新过程。
如图2所示，前向传导过程如下：有雨及无雨图像块对中，无雨图像块作为label(标签)，有雨图像块作为生成器的输入，在将其输入至两个独立的生成器之前，还进行了信号分解；此时的信号分解是进行特征提取：先将有雨图像块送入一个简单的卷积神经网络(三层卷积)，得到一份提取出来的特征，然后将这份特征分别同时输入到生成器-R、生成器-B。
在这一阶段(第一阶段)，输入给生成器-R和生成器-B的可以看作是背景+雨线的混合信号，是同一份数据。之后，紧随其后的生成器-R和生成器-B，因为最终回归的target/label不同(生成器B的target为背景，生成器R的target为雨线图)，会逐渐将输入进来的特征慢慢区分开来，可以理解为：生成器-B:(B+R)→B；生成器-R：(B+R)→R；也即，在这一阶段生成器-B得到无雨图像
Figure BDA0001725590700000041
生成器-R得到雨线图
Figure BDA0001725590700000042
此后，还要以一种交叉对偶的方式再输入到对应的生成器中，使其回归到与之前相反的结果：将输入的有雨图像块与生成器-R产生的雨线图做一次减法，得到二者的残差图，再输入至生成器-B；将输入的有雨图像块与生成器-B产生的无雨图像做一次减法，得到二者的残差图，再输入至生成器-R，通过两个生成器再次得到新的无雨图像
Figure BDA0001725590700000045
与新的雨线图
Figure BDA0001725590700000046
即在这一阶段(第二阶段)生成器-B得到新的无雨图像
Figure BDA0001725590700000047
生成器-R得到新的雨线图
其中的无雨图像
Figure BDA0001725590700000049
与
Figure BDA00017255907000000410
将被一同送入到判别器中，由判别器判断无雨图像与相对于真实结果(即对应无雨图像块)的真伪程度，从而促进生成器的收敛，从而确定最终得到的去雨图像为无雨图像
Figure BDA00017255907000000413
或
Figure BDA00017255907000000414
或者二者融合结果(可以是融合比例任意)。
判别器的目的是在训练过程中，约束两个生成器往最优的方向收敛。
步骤2、对于新输入的原始有雨视频，利用训练好的去雨神经网络模型对原始有雨视频中每一视频帧进行图像去雨操作，获得无雨视频及相应的雨滴方向和强度。
在测试阶段，原始有雨视频的每一视频帧将逐一输入至训练好的去雨神经网络模型中，最终得到无雨图像；其中主要的去雨过程与训练阶段类似，区别在于：一方面，此时去雨神经网络模型为训练好的去雨神经网络模型，因此可以确定最终输出的无雨视频图为第一阶段的无雨图像
Figure BDA00017255907000000415
或者第二阶段的无雨图像或者二者融合结果；另一方面，由于本方案主要关注的是去雨操作，因此，第二个阶段也可以无需获取相应的雨线图
Figure BDA00017255907000000417
直接根据第一阶段获得的雨线图
Figure BDA00017255907000000418
确定雨滴方向和强度即可。
本发明实施例中，训练好的去雨神经网络模型为全卷积网络，不存在pooling操作，能够对任意尺寸的图像进行去雨操作。
如图2所示，其示例性的给出了测试阶段以无雨图像
Figure BDA00017255907000000419
及
Figure BDA00017255907000000420
的融合结果作为最终输出的无雨视频图。
如图3～图4所示为去雨结果示意图。图3中左侧一列为原始有雨视频图，右侧一列为对应的雨线图；图4中左侧一列为原始有雨视频图，右侧一列为对应的无雨视频图。
步骤3、由编码端对无雨视频进行编码，生成比特流，再将雨滴方向和强度作为边信息与比特流一同发送至解码端。
本发明实施例中，步骤2是以视频帧为单位进行去雨操作，操作完成后通过常规技术可以将一系列视频帧重新合成新的视频，也即无雨视频，然后利用已有编码框架对无雨视频进行编码，生成比特流。如图5所示的编解码过程，可以利用H.264和HEVC编码框架对去雨后的视频进行编码，生成比特流。
本发明实施例中，利用5个bit位来表示雨滴方向和强度：一个bit位表示雨滴强度(0表示小雨，1表示大雨)；其余四个bit位表示雨滴方向，设定雨滴方向有11种，分别对应时钟15：30至20：30中相邻方向间隔30分钟的时针指向。
雨滴方向和强度将作为边信息(Side Information)传输给解码端，如图6所示，为雨滴方向和强度信息示意图。左右两个图像分别包含了雨滴方向和强度，左侧图像为小雨，方向19：00；右侧图像为大雨，方向17：00。
步骤4、由解码端结合接收到的比特流和相应的边信息，对解码获得的无雨视频进行加雨操作，从而恢复出原始有雨视频。
如图5所示的编解码过程，结合比特流和相应解码器进行解码，再配合相应的边信息对解码后的无雨视频进行加雨操作，能够尽可能地恢复出原始的有雨视频。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于图像去雨算法的视频编码方法，其特征在于，包括：
预先建立结合了对偶交叉和生成对抗卷积神经网络的去雨神经网络模型，并利用制作的有雨图像对去雨神经网络模型进行训练；
对于新输入的原始有雨视频，利用训练好的去雨神经网络模型对原始有雨视频中每一视频帧进行图像去雨操作，获得无雨视频及相应的雨滴方向和强度；
由编码端对无雨视频进行编码，生成比特流，再将雨滴方向和强度作为边信息与比特流一同发送至解码端。
2.根据权利要求1所述的一种基于图像去雨算法的视频编码方法，其特征在于，所述利用制作的有雨图像对去雨神经网络模型进行训练包括：
通过对无雨图像添加有雨效果，形成相应的有雨图像，利用无雨图像及对应的有雨图像构建图像训练库，利用图像训练库对去雨神经网络模型进行训练；
训练时，从图像数据库中取一定尺寸大小的有雨及无雨图像块对作为一对训练样本对去雨神经网络模型进行训练，训练过程包括前向传导过程、反向传导过程和卷积核更新过程。
3.根据权利要求2所述的一种基于图像去雨算法的视频编码方法，其特征在于，训练过程中的前向传导过程包括：
有雨及无雨图像块对中，无雨图像块作为标签，有雨图像块作为生成器的输入；
将有雨图像块输入至两个独立的生成器，即生成器-R、生成器-B之前，先进行信号分解，再分别同时输入到生成器-R、生成器-B；在这一阶段，生成器-B得到无雨图像
Figure FDA0001725590690000011
生成器-R得到雨线图
Figure FDA0001725590690000012
之后，以一种交叉对偶的方式再输入到对应的生成器中，使其回归到与之前相反的结果，即：将输入的有雨图像块与生成器-R产生的雨线图
Figure FDA0001725590690000013
做一次减法，得到二者的残差图，再输入至生成器-B；将输入的有雨图像块与生成器-B产生的无雨图像
Figure FDA0001725590690000014
做一次减法，得到二者的残差图，再输入至生成器-R，通过两个生成器再次得到新的无雨图像
Figure FDA0001725590690000015
与新的雨线图
Figure FDA0001725590690000016
即在这一阶段生成器-B得到新的无雨图像
Figure FDA0001725590690000017
生成器-R得到新的雨线图
Figure FDA0001725590690000018
其中的无雨图像
Figure FDA0001725590690000019
与
Figure FDA00017255906900000110
将被一同送入到判别器中，由判别器判断无雨图像与
Figure FDA00017255906900000112
相对于无雨图像块的真伪程度，从而促进生成器的收敛，从而确定最终得到的去雨图像为无雨图像
Figure FDA0001725590690000021
或或者二者融合结果。
4.根据权利要求1所述的一种基于图像去雨算法的视频编码方法，其特征在于，
在测试阶段，新输入的原始有雨视频的每一视频帧将逐一输入至训练好的去雨神经网络模型中，最终得到无雨图像及相应的雨线图；同时，根据雨线图确定雨滴方向和强度。
5.根据权利要求1或4所述的一种基于图像去雨算法的视频编码方法，其特征在于，利用5个bit位来表示雨滴方向和强度：
一个bit位表示雨滴强度；其余四个bit位表示雨滴方向，设定雨滴方向有11种，分别对应时钟15：30至20：30中相邻方向间隔30分钟的时针指向。
6.根据权利要求1所述的一种基于图像去雨算法的视频编码方法，其特征在于，
由解码端结合接收到的比特流和相应的边信息，对解码获得的无雨视频进行加雨操作，从而恢复出原始有雨视频。
CN201810751203.2A 2018-07-10 2018-07-10 基于图像去雨算法的视频编码方法 Active CN108900841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810751203.2A CN108900841B (zh) 2018-07-10 2018-07-10 基于图像去雨算法的视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810751203.2A CN108900841B (zh) 2018-07-10 2018-07-10 基于图像去雨算法的视频编码方法

Publications (2)

Publication Number Publication Date
CN108900841A CN108900841A (zh) 2018-11-27
CN108900841B true CN108900841B (zh) 2020-01-03

Family

ID=64348486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810751203.2A Active CN108900841B (zh) 2018-07-10 2018-07-10 基于图像去雨算法的视频编码方法

Country Status (1)

Country Link
CN (1) CN108900841B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675330A (zh) * 2019-08-12 2020-01-10 广东石油化工学院 基于通道级注意力机制的编码-解码网络的图像去雨方法
CN112581377B (zh) * 2019-09-30 2024-06-11 上海商汤临港智能科技有限公司 图像处理方法、装置和电子设备
TWI734598B (zh) * 2020-08-26 2021-07-21 元智大學 影像雨紋去除方法
CN112541880A (zh) * 2020-12-07 2021-03-23 南昌航空大学 基于深度学习分支图像去雨系统及控制方法
CN114862713B (zh) * 2022-04-29 2023-07-25 西安理工大学 基于注意力平滑膨胀卷积的两阶段图像去雨方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204499A (zh) * 2016-07-26 2016-12-07 厦门大学 基于卷积神经网络的单幅图像去雨方法
CN107133935A (zh) * 2017-05-25 2017-09-05 华南农业大学 一种基于深度卷积神经网络的单图像精细去雨方法
CN107909556A (zh) * 2017-11-27 2018-04-13 天津大学 基于卷积神经网络的视频图像去雨方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112255A (zh) * 2014-06-19 2014-10-22 中国科学院深圳先进技术研究院 单幅图像去雨方法和系统
CN107909548B (zh) * 2017-05-09 2020-05-15 西安交通大学 一种基于噪声建模的视频去雨方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204499A (zh) * 2016-07-26 2016-12-07 厦门大学 基于卷积神经网络的单幅图像去雨方法
CN107133935A (zh) * 2017-05-25 2017-09-05 华南农业大学 一种基于深度卷积神经网络的单图像精细去雨方法
CN107909556A (zh) * 2017-11-27 2018-04-13 天津大学 基于卷积神经网络的视频图像去雨方法

Also Published As

Publication number Publication date
CN108900841A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108900841B (zh) 基于图像去雨算法的视频编码方法
Zhang et al. Enhanced spatio-temporal interaction learning for video deraining: faster and better
CN101427581B (zh) 基于视觉的压缩
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN105100640A (zh) 一种局部配准并行视频拼接方法及系统
CN110288535B (zh) 一种图像去雨方法和装置
CN110310238B (zh) 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法
CN110290386B (zh) 一种基于生成对抗网络的低码率人体运动视频编码系统及方法
CN113052764B (zh) 一种基于残差连接的视频序列超分重建方法
CN110796623A (zh) 一种基于渐进式残差网络的红外图像去雨方法及装置
Mehra et al. TheiaNet: Towards fast and inexpensive CNN design choices for image dehazing
CN112116535A (zh) 一种基于并行自编码器的图像补全方法
Liu et al. Generic model-agnostic convolutional neural network for single image dehazing
Thomas et al. Dehazing underwater images using encoder decoder based generic model-agnostic convolutional neural network
Hsu et al. Wavelet approximation-aware residual network for single image deraining
Liu et al. Edge aware network for image dehazing
WO2023225808A1 (en) Learned image compress ion and decompression using long and short attention module
CN115052147B (zh) 基于生成模型的人体视频压缩方法、系统
CN116091862A (zh) 一种画质识别方法、装置、设备、存储介质及产品
CN116012272A (zh) 一种基于重建流场的压缩视频质量增强方法
Siddiqua et al. MACGAN: an all-in-one image restoration under adverse conditions using multidomain attention-based conditional GAN
Lin et al. Unlocking Low-Light-Rainy Image Restoration by Pairwise Degradation Feature Vector Guidance
Fang et al. Priors guided extreme underwater image compression for machine vision and human vision
Sivaanpu et al. Underwater Image Enhancement Using Dual Convolutional Neural Network with Skip Connections
CN114626989B (zh) 基于域对抗转换的盲图像超分辨方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant