CN102436641A - 基于波原子变换和非参数模型的电影自动修复方法 - Google Patents

基于波原子变换和非参数模型的电影自动修复方法 Download PDF

Info

Publication number
CN102436641A
CN102436641A CN2011103046554A CN201110304655A CN102436641A CN 102436641 A CN102436641 A CN 102436641A CN 2011103046554 A CN2011103046554 A CN 2011103046554A CN 201110304655 A CN201110304655 A CN 201110304655A CN 102436641 A CN102436641 A CN 102436641A
Authority
CN
China
Prior art keywords
conversion
nonparametric model
method based
image
atom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103046554A
Other languages
English (en)
Other versions
CN102436641B (zh
Inventor
许洪腾
翟广涛
杨小康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN 201110304655 priority Critical patent/CN102436641B/zh
Publication of CN102436641A publication Critical patent/CN102436641A/zh
Application granted granted Critical
Publication of CN102436641B publication Critical patent/CN102436641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开一种基于波原子变换和非参数模型的电影自动修复方法，根据电影中划痕方向集中在垂直方向上的特性，使用波原子变换可以有效地描述划痕的特性，将检测和修复过程结合起来，取得了在修复的效果和实时性上取得了良好的结果；另外，通过对系数增加新的约束，该方法对于噪声的抑制也具有效果，可以将电影去噪和划痕修复有机结合；根据斑块在空间域和时域上都不具有连续性的特点，结合了帧间和帧内信息提高了斑块的检测准确性，并采用非参数模型对斑块部分进行修复，最终实现了电影的噪声、划痕和斑块的自动化修复。由于划痕在之前的处理中得到修复，使用非参数模型只需修复斑块部分，使得系统的修复时间节约了70%。

Description

基于波原子变换和非参数模型的电影自动修复方法
技术领域
本发明涉及的是一种图像和视频处理技术领域的系统，具体是一种基于波原子变换和非参数模型的电影自动修复方法。
背景技术
电影艺术是人类文化的重要体现和人类文明的宝贵财富。我们有义务尽力去保护并传承优秀的电影作品。电影的数字化就是其中最主要的保护方式。传统电影以胶片的形式保存，对保存环境的要求较苛刻。随着环境的温度和湿度变化，胶片上的化学涂层会出现氧化现象，导致亮度和色彩失真，严重的还会出现霉斑。此外，胶片电影会随着播放次数的增长出现划痕，色彩退化的现象。相比传统的电影胶片，数字化的电影作品，具有便于携带，便于网络传播，存储方式对环境变化不明感，可大量反复播放等优点，极大地延长了电影的寿命。但是对于年代久远的电影作品，其胶片上已经出现了上述退化现象。所以在数字化之后，还要对其进行进一步修复，去除其中的噪声、划痕以及斑块。
经过对现有技术的文献检索发现，现有的方法是对噪声、划痕以及斑块分别进行处理。相互之间并没有建立应有的联系。例如A. Buades等人在《International Journal of Computer Vision》（计算机视觉国际期刊）第76卷第2期的第123页至第139页发表的“Nonlocal image and movie denoising”就只对电影中的噪声进行了其中分析和去除，并没有涉及到划痕和斑块的修复。另一方面，在对划痕和斑块的修复上，现有的方法都依据采用先检查在修复的策略。例如M. J. Nadenau等人在《Proceedings of the 5th International Workshop onTime-Varying Image Processing and Moving Object Recognition》（第五届国际时变信号处理和运动目标识别研讨会论文集）第27页至第35页发表的“Blotch and scratch detection in image sequences based on rank ordered differences”就是这种策略的代表。事实证明，对于划痕和斑块的检测现有技术并不能达到很好的准确率，从而造成修复的结果不尽人意。要达到良好的检测效果，必须人工设定适合的参数，导致系统的自动化程度低，效率低。不仅如此，对于采用非参数模型进行信号估计的电影修复方法，其运算复杂度为O（Nr 2 ）。r 为修补使用的块的大小，N为被检测为划痕和斑块的所以像素点的个数。如果能采用新的方法去除划痕，那么N的大小将明显减少，有利于提高系统效率。L. Demanet在他的博士毕业论文“Curvelets, wave atoms, and wave equations”（曲小波、波原子以及波动方程）中提出了一种同时具有良好的方向描述和尺度描述的新的变换方法，即波原子变换。该方法克服了传统小波对于高维信号方向性描述能力弱的问题，结合FFT（快速傅里叶变换）和多尺度分析技术实现了信号频谱的多尺度多方向划分。对于震荡信号，波原子变换可以得到更稀疏的系数，对于具有明显方向性的信号，波原子变换得到的系数将集中在可预测的系数域中。这促使我们去设计一种新的电影修复系统，以在提高系统的自动化程度并改进修复的效果。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于波原子变换和非参数模型的电影自动修复方法，可用于自动修复电影中的噪声，划痕和斑块问题。
本发明根据电影中划痕方向集中在垂直方向上的特性，使用波原子变换可以有效地描述划痕的特性，将检测和修复过程结合起来，取得了在修复的效果和实时性上取得了良好的结果。另外，通过对系数增加新的约束，该方法对于噪声的抑制也具有效果，可以将电影去噪和划痕修复有机结合。由于抑制了噪声，使得斑块的检测准确率得以提高。更重要的是由于划痕在之前的处理中得到修复，使用非参数模型只需修复斑块部分，使得系统的修复时间节约了70%。
本发明是通过以下技术方案实现的，本发明包括以下步骤：
Figure 468742DEST_PATH_IMAGE004
 
第五步、采用非参数模型对检测出的斑块位置进行填补。
本发明的原理是，考虑到老电影的播放机制导致划痕按垂直方向分布，具有明显的方向性，故将其与斑块分离，进行分开处理。采用波原子变换技术实现了划痕检测，修复和去噪的联合处理，减少了基于非参数模型的填补方法的工作量，提高了系统的实时性。最后，根据斑块在空间域和时域上都不具有连续性的特点，结合了帧间和帧内信息提高了斑块的检测准确性，最终实现了快速良好的电影自动修复系统。
与现有技术相比，本发明对于不同性质的干扰进行处理，在修复效果上有了明显的改进。同时，在系统的实时性上有明显的提高。在各种实验条件下，该方法的处理速度比原有的方法提高约70%。更重要的是，系统的参数不需要人工调节，使得系统实现了电影的自动化修复。
附图说明
图1是本发明实施例求残差图像的流程图；
图2是本发明实施例做预处理的流程图；
图3是本发明实施例得到的M矩阵示意图；其中：图a为原始图像，图b为M矩阵；
图4是本发明实施例去除划痕和噪声的流程图；
图5是本发明实施例去划痕和去噪的示意图；其中：图a为原始图像，图b为去划痕去噪结果图；
图6是本发明实施例进行斑块检测的流程图；
图7是本发明实施例斑块检测结果的示意图；其中：图a为去划痕去噪结果图，图b为斑块检测结果图；
图8是本发明实施例的系统流程图；
图9是本发明实施例与原有方法修复结果的比较图；其中：图a为原始的连续三帧图像序列，图b为原方法修复结果图，图c为本发明实施例修复结果图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例：
Figure 79907DEST_PATH_IMAGE008
参数估计流程见图1。
Figure 894279DEST_PATH_IMAGE010
所述的阈值T采用自适应的方式选取，使得取1的像素点的个数不大于全体个数的10%。预处理流程见图2。M矩阵示意图见图3。
第三步、根据估计的噪声方差、第t帧图像
Figure 654425DEST_PATH_IMAGE011
和M采用基于波原子变换的循环嵌套的方法修复划痕并去除噪声。
所述的波原子变换是指：一种结合了小波变换和快速傅立叶变换（FFT）的新的分析工具。它同时具有多尺度和方向性描述的特点。通过对信号的频域进行不同尺度上的方向性划分，得到方向描述性更强的系数域。
 
Figure 2011103046554100002DEST_PATH_IMAGE013
反变换的计算过程为正变换的逆过程：
Figure 2011103046554100002DEST_PATH_IMAGE015
Figure 2011103046554100002DEST_PATH_IMAGE017
 
在实施例中T 1 =10。
所述的帧内信息是指：若M 1 （x,y）=0，则以I（x，y）为中心，在
Figure 2011103046554100002DEST_PATH_IMAGE018
中取搜索窗口W。若W中没有像素值与I（x，y）的差值的绝对值在[0，T 2 ]以内，则认为I（x，y）为斑块。本实施例中T 2 =3，窗口W的尺寸为11×11。
所述的斑块检测是指：通过帧间信息和帧内信息，标记
Figure 235972DEST_PATH_IMAGE018
中认为是斑块的像素点为零。检测流程见图6，输入及输出示意图见图7。
第五步、采用非参数模型对检测出的斑块位置进行填补。将每个待填补的像素的实际值用若干像素的加权平均值来估计。以每个待填补的像素为中心取像素块。计算其与一个采样窗口中的每一个块的欧式距离，作为每一个块的中心像素对应的权重。最终的估计值就由每一个块的中心像素的加权平均值确定。
所述的非参数模型是指：根据图像块与块之间的相似性估计待填补的像素值。以待填补像素I（x，y）为中心取8×8的像素块，其向量表示为X。则I（x，y）的估计值可以用下式表示
Figure 2011103046554100002DEST_PATH_IMAGE019
X j 为采样窗口中与X相同大小的块的向量表示；x j 为X j 的中心。
所述的采样窗口是指：以待填补像素为中心，半径10的正方形窗口。
系统流程图见图8。
实施效果
依据上述步骤，对中国电影档案馆的6部电影，24个片段序列进行修复实验。所有实验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器  2 Duo CPU E6600 2.40GHz, 内存3GB。软件平台：MATLAB。
采用纯非参数模型对划痕和斑块进行修复方法，可得修复结果为：
平均修复用时264.6秒每帧。
修复结果如图9第2行（图b）所示。
本实施例获得的识别结果为：
平均修复用时60秒每帧。
其中，用于残差计算和噪声估计的用时为6.3秒每帧；
用于划痕和噪声修复的时间为8.2秒每帧；
用于斑块检测的时间为13.1秒每帧；
用于斑块修复的时间为32.1秒每帧。
修复结果如图9第3行（图c）所示。
与现有技术相比，本发明对于不同性质的干扰进行处理，在修复效果上有了明显的改进。同时，因为波原子变换的过程是基于FFT的，所以它的运算复杂度为O（NlogN）。对划痕进行修复时的实际复杂度为O（I max NlogN），远小于非参数模型修复方法的复杂度。在系统的实时性上有明显的提高。在各种实验条件下，该方法的处理速度比原有的方法提高约70%。更重要的是，系统的参数不需要人工调节，使得系统实现了电影的自动化修复。

Claims (9)

1.一种基于波原子变换和非参数模型的电影自动修复方法，其特征在于包括以下步骤：
第一步、采用运动估计的方法从视频的N帧图像序列I中求得前后帧之间的残差图像，即计算当前图像帧It和前后帧It-1，It+1的残差图 
Figure DEST_PATH_FDA0000131153280000011
Figure DEST_PATH_FDA0000131153280000012
再通过残差图像估计出图像序列中的噪声的方差σ2；
第二步、对第t帧图像It进行预处理，包括先使用高斯平滑模块对图像进行低通滤波，再使用横向的Sobel算子对垂直的边缘和划痕区域进行粗略的标记，最后使用数学形态学的膨胀算子对标记位置进行扩大，得到矩阵M用于对图像的平滑区域进行保护；
第三步、根据估计的噪声方差、第t帧图像It和M采用基于波原子变换的循环嵌套的方法修复划痕并去除噪声；
第四步、根据帧间和帧内信息对第t帧图像It中的斑块进行检测；
第五步、采用非参数模型对检测出的斑块位置进行填补。
2.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第一步中：所述的运动估计，是将It分割成8乘8的块 
Figure DEST_PATH_FDA0000131153280000013
对每一块在前后帧中找到最匹配的块，求得残差，其中t表示图像帧序号，t＝{1，2，L，N}，(x，y)为中心像素位置，则残差图 
Figure DEST_PATH_FDA0000131153280000014
Figure DEST_PATH_FDA0000131153280000015
中以(x，y)为中心的块 
Figure DEST_PATH_FDA0000131153280000016
Figure DEST_PATH_FDA0000131153280000017
则 
Figure DEST_PATH_FDA0000131153280000018
Figure DEST_PATH_FDA0000131153280000019
|·|表示绝对值操作符，argmin(·)表示最小化操作符；
所述的通过残差图像估计出图像序列中的噪声的方差是指：分别在残差图 
Figure DEST_PATH_FDA00001311532800000110
中绝对值最小的前70％的点，组成随机变量Xt-1和Xt+1，分别求得它们的方差 
Figure DEST_PATH_FDA00001311532800000112
Figure DEST_PATH_FDA00001311532800000113
使用下式估计噪声方差σ2：
3.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第二步中：
所述的高斯平滑模块
Figure DEST_PATH_FDA00001311532800000115
所述的Sobel算子
Figure DEST_PATH_FDA00001311532800000116
所述的膨胀算子
Figure DEST_PATH_FDA0000131153280000021
所述M由下式求得
Figure DEST_PATH_FDA0000131153280000022
其中表示*二维卷积算子； 
Figure DEST_PATH_FDA0000131153280000023
表示膨胀算子，函数FT(·)如下式，
Figure DEST_PATH_FDA0000131153280000024
4.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第三步中：所述的波原子变换，其中波原子为满足一下条件的函数 
Figure DEST_PATH_FDA0000131153280000026
Figure DEST_PATH_FDA0000131153280000027
其中j为尺度缩放因子；x＝(x1，x2)为空间坐标；ω＝(ω1，ω2)为变换后的频域坐标；n＝(n1，n2)为波原子对应的空间域位移向量；m＝(m1，m2)表示波原子在频域的位置； 
Figure DEST_PATH_FDA0000131153280000028
表示ψ的傅里叶变换结果；εm＝(-1)m； 
Figure DEST_PATH_FDA0000131153280000029
函数g为支撑集长度2π的无穷可微的实值函数；
所述的波原子变换包括正变换和反变换，正变换的计算过程为：
i)对图像It做快速傅里叶变换FFT得到图像的频域表示 
Figure DEST_PATH_FDA00001311532800000210
ii)对于每个(j，m)，在[-2jπ，2jπ]×[-2jπ，2jπ]的范围内求 
Figure DEST_PATH_FDA00001311532800000211
iii)在2j尺度下做快速傅里叶逆变换IFFT得到变换系数cm，n，j，如下式所述：
将上述正变换记作f(·)
反变换的计算过程为正变换的逆过程：
i)对每个cm，n，j做FFT，得到 
Figure DEST_PATH_FDA00001311532800000213
ii)对每个 
Figure DEST_PATH_FDA00001311532800000214
求出在范围内[-2jπ，2jπ]×[-2jπ，2jπ]的 
Figure DEST_PATH_FDA00001311532800000215
iii)将ii)中的结果在频域累加，再做IFFT得到It；
反变换记作f-1(·)。
5.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，所述的循环嵌套算法具体包括以下步骤： 
3.1)初始化，输入待处理图像It＝X0，区域保护矩阵M，噪声方差σ2，最大迭代次数Imax，初始量化步距T；
3.2)在第i步循环中，先求得Xi-1波原子正变换的系数 
Figure DEST_PATH_FDA0000131153280000031
选取 
Figure DEST_PATH_FDA0000131153280000032
所述的 
Figure DEST_PATH_FDA0000131153280000033
指 
Figure DEST_PATH_FDA0000131153280000034
的第a行至第b行，第c列至第d列范围内的元素；
3.3)通过下式求得Xi，
其中e表示矩阵对应元素相乘，量化函数ST(·)如下式所示，
ST(x)＝T×round(x/T)
其中round(·)表示四舍五入；
3.4)T＝T/i，i＝i+1，若i＜Imax，从3.2步重复执行，否则It＝f-1(Thresσ/60(f(Xi)))，其中函数Thres(·)如下式所示，
6.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第四步中：所述的帧间信息是指对于It中的像素点I(x，y)，若 
Figure DEST_PATH_FDA0000131153280000037
且 
Figure DEST_PATH_FDA0000131153280000038
则认为该点可能是斑块，标记后得到第一步检测结果M1
Figure DEST_PATH_FDA0000131153280000039
7.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，所述的帧内信息是指：若M1(x，y)＝0，则以I(x，y)为中心，在It中取搜索窗口W，若W中没有像素值与I(x，y)的差值的绝对值在[0，T2]以内，则认为I(x，y)为斑块；
所述的斑块检测是指：通过帧间信息和帧内信息，标记It中认为是斑块的像素点为零。
8.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第五步中：所述的非参数模型是指：根据图像块与块之间的相似性估计待填补的像素值，以待填补像素I(x，y)为中心取8×8的像素块，其向量表示为X，则I(x，y)的估计值用下式表示：
Figure DEST_PATH_FDA00001311532800000310
其中||·||表示向量的2范数，函数Kh(·)如下式所示，
Figure DEST_PATH_FDA0000131153280000041
Xj为采样窗口中与X相同大小的块的向量表示；xj为Xj的中心。
9.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，所述的采样窗口是指：以待填补像素为中心，半径10的正方形窗口。 
CN 201110304655 2011-10-10 2011-10-10 基于波原子变换和非参数模型的电影自动修复方法 Active CN102436641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110304655 CN102436641B (zh) 2011-10-10 2011-10-10 基于波原子变换和非参数模型的电影自动修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110304655 CN102436641B (zh) 2011-10-10 2011-10-10 基于波原子变换和非参数模型的电影自动修复方法

Publications (2)

Publication Number Publication Date
CN102436641A true CN102436641A (zh) 2012-05-02
CN102436641B CN102436641B (zh) 2013-09-25

Family

ID=45984686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110304655 Active CN102436641B (zh) 2011-10-10 2011-10-10 基于波原子变换和非参数模型的电影自动修复方法

Country Status (1)

Country Link
CN (1) CN102436641B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106842321A (zh) * 2015-12-04 2017-06-13 中国石油天然气股份有限公司 地震数据重建方法和装置
CN113436100A (zh) * 2021-06-28 2021-09-24 北京百度网讯科技有限公司 用于修复视频的方法、装置、设备、介质和产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794785A (zh) * 2005-11-03 2006-06-28 上海交通大学 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法
CN102129670A (zh) * 2011-02-25 2011-07-20 上海交通大学 电影划痕损伤的检测修复方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794785A (zh) * 2005-11-03 2006-06-28 上海交通大学 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法
CN102129670A (zh) * 2011-02-25 2011-07-20 上海交通大学 电影划痕损伤的检测修复方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANTONI BUADES ET AL: "Nonlocal Image and Movie Denoising", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
宋宜美，宋国乡: "结合波原子和Cycle Spinning的图像去噪", 《西安电子科技大学学报（自然科学版）》 *
张然然: "面向影像资料的视频修复技术的研究", 《中国博士学位论文全文数据库 信息科技辑》 *
徐进 等: "一种改进的基于MRF模型的斑块检测算法", 《中国图象图形学报》 *
徐进: "电影胶片数字修复关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106842321A (zh) * 2015-12-04 2017-06-13 中国石油天然气股份有限公司 地震数据重建方法和装置
CN106842321B (zh) * 2015-12-04 2019-02-15 中国石油天然气股份有限公司 地震数据重建方法和装置
CN113436100A (zh) * 2021-06-28 2021-09-24 北京百度网讯科技有限公司 用于修复视频的方法、装置、设备、介质和产品
WO2023273342A1 (zh) * 2021-06-28 2023-01-05 北京百度网讯科技有限公司 用于修复视频的方法、装置、设备、介质和产品
CN113436100B (zh) * 2021-06-28 2023-11-28 北京百度网讯科技有限公司 用于修复视频的方法、装置、设备、介质和产品

Also Published As

Publication number Publication date
CN102436641B (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
US8755628B2 (en) Image de-hazing by solving transmission value
Lv et al. Image restoration with a high-order total variation minimization method
CN104103050B (zh) 一种基于局部策略的真实视频复原方法
Bijalwan et al. Wavelet transform based image denoise using threshold approaches
CN104156918B (zh) 基于联合稀疏表示与残差融合的sar图像噪声抑制方法
Sun et al. A novel image denoising algorithm using linear Bayesian MAP estimation based on sparse representation
Park 2D discrete Fourier transform on sliding windows
CN103559684B (zh) 基于平滑校正的图像恢复方法
Li et al. Research on wavelet-based contourlet transform algorithm for adaptive optics image denoising
Kumari et al. Real time visibility enhancement for single image haze removal
CN108428221A (zh) 一种基于shearlet变换的邻域双变量阈值去噪方法
CN102436641B (zh) 基于波原子变换和非参数模型的电影自动修复方法
CN103489201B (zh) 基于运动模糊信息的目标跟踪方法
CN105279742A (zh) 一种快速的基于分块噪声能量估计的图像去噪方法
CN103839237B (zh) 基于svd字典和线性最小均方误差估计的sar图像去斑方法
Lee et al. Image deblurring based on the estimation of PSF parameters and the post-processing
Zhang et al. Image denoising based on iterative generalized cross-validation and fast translation invariant
Fan et al. Fast and robust deblurring method with multi-frame images based on PSF estimation and total variation optimization
Binh et al. Ultrasound images denoising based context awareness in bandelet domain
Huo et al. An automatic video scratch removal based on Thiele type continued fraction
CN103077503A (zh) 基于dct字典同步稀疏表示的sar图像降斑方法
CN107230189A (zh) 湍流图像去噪方法
Li et al. Research on motion blurred image restoration
Ono et al. Total variation-wavelet-curvelet regularized optimization for image restoration
Gomathi et al. An efficient GEM model for image inpainting using a new directional sparse representation: Discrete Shearlet Transform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant