CN108961186A - 一种基于深度学习的老旧影片修复重制方法 - Google Patents
一种基于深度学习的老旧影片修复重制方法 Download PDFInfo
- Publication number
- CN108961186A CN108961186A CN201810699895.0A CN201810699895A CN108961186A CN 108961186 A CN108961186 A CN 108961186A CN 201810699895 A CN201810699895 A CN 201810699895A CN 108961186 A CN108961186 A CN 108961186A
- Authority
- CN
- China
- Prior art keywords
- network
- training
- video
- block
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 96
- 230000000694 effects Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 58
- 230000004913 activation Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000003475 lamination Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000008929 regeneration Effects 0.000 claims description 4
- 238000011069 regeneration method Methods 0.000 claims description 4
- 238000005086 pumping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 230000008439 repair process Effects 0.000 abstract description 7
- 238000003909 pattern recognition Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明公开一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型、视频插帧模型、去模糊网络和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型；步骤3：训练视频插帧网络模型；步骤4：训练去模糊网络；步骤5：训练超分辨率网络；步骤6：训练去噪网络。本发明基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，提高了图像复原的精确度。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。
Description
技术领域
本发明涉及深度学习和计算机视觉，尤其涉及一种基于深度学习的老旧影片修复重制方法。
背景技术
影片文化遗产是一个国家和民族的珍贵记忆，是未来非物质文化遗产的重要组成部分，是近现代中华民族文化走出去的优良载体。对传统的红色电影、反映中国近现代拼搏奋斗的正能量精神的电影来说，能够利用现代技术加以复原并呈现的更加丰满。但由于过去拍摄技术限制，大量老旧影片已无法满足人们对高清视觉的观看需求。
我国需要修复的电影胶片数量庞大，现存的胶片电影光故事片就有二三万部，而如今每年仅可修复约60部老电影胶片。按照目前全国的修复速度，将会有不少拷贝在修复之前“死去”，目前国家已重视到情况的严重性，正大力支持和提倡老电影修复产业，但是有能力进行精致修复的经典影片仅有200部。为了对年代久远、损伤严重的影片进行较好的修复，需要通过图像重构技术等，“制造”出画面上已经消失的细节信息以及对影像去模糊超分辨率等处理翻新。人工精修，基本上一个工作人员一天只能完成100到200帧的画面修复，一部90分钟的电影，大约有12万9600帧画面。如果要一帧一帧地精细修复，一部电影起码要用几个月的时间，成本也在百万级。
发明内容
本发明的目的在于提供一种基于深度学习的老旧影片修复重制方法。
本发明采用的技术方案是：
一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：
步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；
步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果
步骤2.1：去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块；去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成，并且每个卷积层后都有ReLU作为激活函数，ReLU函数公式如下所示：
f(x)＝max(0，x)；
步骤2.2：使用MSE-1函数作为训练去隔行扫描网络模型的损失函数，MSE-1函数如下所示：
其中，MSE-1表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤3：训练视频插帧网络模型，输入连续三张视频帧It-1、It、It+1，分别表示前一帧、当前帧和后一帧，得到当前帧It的预测结果It′，即为插帧网络的输出；
步骤3.1：视频插帧网络模型的非线性映射模块采取U-Net的网络结构，U-Net的网络结构包括编码模块和解码模块；编码模块包括串联卷积层和一个平均池化层；平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量；解码模块依次包含串联卷积层和上采样层；
步骤3.2：使用MSE-2函数作为视频插帧网络中训练的损失函数，MSE-2函数如下所示：
其中，MSE-2表示损失函数，It为训练的输入目标图像块，It′为训练的网络输出的预测图像块；
步骤4：训练去模糊网络；
步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；
步骤4.3：使用MSE-3函数作为去模糊网络的损失函数，MSE-3函数如下所示：
其中，MSE-3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤5：训练超分辨率网络
步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出
步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；
步骤6：训练去噪网络，选用NTIRE2018所提供的数据集来进行训练；
步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出，
步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。
进一步地，步骤1具体包括以下步骤：
步骤1.1：形成去隔行扫描模型的训练数据集：
步骤1.1.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集，原始图像作为训练目标；
步骤1.1.2：每次取隔行扫描数据集中的子视频帧和对应的训练目标，按d×d大小截取子图像块和形成若干个图像块的配对集
步骤1.1.3：随机打乱配对集中的子图像块的顺序，得到去隔行扫描模型的训练数据集；
步骤1.2：形成视频插帧模型的训练数据集：
步骤1.2.1：将视频通过ffmpeg抽帧得到每一帧图像作为训练数据，每次取连续的三帧图像为一组训练视频帧对，其中每组的第二帧作为训练网络的目标，
步骤1.2.2：对每组图像按d×d大小截取子图像块It-1，It，It+1形成若干个子图像块的配对集{It-1，It，It+1}；
步骤1.2.3：随机打乱配对集中的子图像块的顺序，得到视频插帧模型的训练数据集；
步骤1.3：形成去模糊网络的训练数据集：
步骤1.3.1：根据图像模糊公式：
b(x，y)＝(k×I)×(x，y)+G(x，y)
其中b、I、k分别表示为模糊图片、原图、模糊核，G代表噪声；模糊核k大小的宽和高分别从(0，5)中随机取值，高斯白噪声方差G，从(0，100)内随机取值，使得每一个高清视频都有对应的不同程度模糊的视频；
步骤1.3.2：分别对高清视频和模糊视频进行抽帧，得到高清数据集和对应的模糊数据集；
步骤1.3.3：每次取模糊数据集中的视频帧按d×d大小截取子图像块同时在高清数据集中取对应的视频帧执行相同操作，得到子图像块形成若干个子图像块的配对集
步骤1.3.4：随机打乱配对集中的子图像块的顺序，得到模糊网络的训练数据集；
步骤1.4：形成超分辨率模型的训练数据集：
步骤1.4.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧进行下采样形成低分辨率视频帧，原始高分辨率视频帧作为训练目标；
步骤1.4.2：每次取低分辨率视频数据集中的低分辨率视频帧和对应训练目标的视频帧，按d×d大小截取子图像块和形成若干个子图像块的配对集
步骤1.4.3：随机打乱配对集中的子图像块的顺序，得到超分辨率模型的训练数据集；
3.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.1提取Y通道数据的具体步骤为：
步骤4.1.1：图像块的像素值是在[0，255]范围内，将图像块中的每个像素值除以255，使得每个像素值介于[0，1]之间，得到归一化后的图像；
步骤4.1.2：取归一化后的RGB图像块，将其转换为YCbcCr格式，根据公式
Y＝(0.256789×R+0.504129×G+0.097906×B)+16.0
Cb＝(-0.148223×R-0.290992×G+0.439215×B)+128.0
Cr＝(0.439215×R-0.367789×G-0.071426×B)+128.0
将得到的YCbCr的图像块进行通道分离，得到Y通道数据。
进一步地，步骤4.2、步骤5.2和步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；
进一步地，步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作；跳跃连接操作将该残差卷积块的输入特征F2k-1与该残差卷积块中第二个卷积层的输出特征相加，即：
F2k+1＝(W2k+1*Fk+b2k+1)+F2k-1
式中，k代表残差块序号，Fk代表残差块中第一个卷积层和非线性激活层的输出，W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置，F2k-1代表残差块的输入。
进一步地，步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块，且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层；深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆；
每个深度记忆模块的具体操作为：
步骤S1：每个深度记忆模块先提取特征，该特征记为f1，并通过三层卷积操作，并与特征f1相加，该操作的输出记为r1，
步骤S2：提特征f1经过四层卷积的密集连接，该操作的输出记为d1，
然后将r1，d1与特征f1进行连接操作，此时的输出特征记为f2；
步骤S3：特征f2通过两层卷积操作，并与特征f2相加，该操作的输出记为r2；同时，特征f2经过四层卷积的密集连接，该操作的输出记为b2；
步骤S4：将r2，b2和特征f2进行连接操作。
进一步地，步骤5.2中重建阶段的重建层是反卷积层，反卷积层将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等。
进一步地，步骤5.3和步骤6.2中的Charbonnier函数如下所示：
其中，为训练的输入目标图像块，为网络输出的预测图像块，且ε设置为0.001，使用Adam优化方法使Charbonnier损失函数最小化。
本发明采用以上技术方案，基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，同时减少了计算机内存的消耗。本发明有效的解决了现有复原算法的噪声问题，提高了图像复原的精确度，增加了复原图像的清晰度从而提高了图像修复的效果。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于深度学习的老旧影片修复重制方法的流程示意图；
图2为本发明一种基于深度学习的老旧影片修复重制方法的超分辨率的网络结构图；
图3为本发明一种基于深度学习的老旧影片修复重制方法的深度记忆模块结构图。
具体实施方式
如图1-3之一所示，本发明提出了一种基于深度学习的老旧影片修复重制方法，该修复过程主要包括去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术，其具体流程如图1所示。本发明中所有卷积层均使用大小为3×3的卷积核，其具体步骤如下：
步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；
步骤1.1：形成去隔行扫描模型(model1)的训练数据集：
步骤1.1.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集，原始图像作为训练目标；
步骤1.1.2：每次取隔行扫描数据集中的子视频帧和对应的训练目标，按d×d大小截取子图像块和形成若干个图像块的配对集
步骤1.1.3：随机打乱配对集中的子图像块的顺序，得到去隔行扫描模型(model1)的训练数据集；
步骤1.2：形成视频插帧模型(model2)的训练数据集：
步骤1.2.1：将视频通过ffmpeg抽帧得到每一帧图像作为训练数据，每次取连续的三帧图像为一组训练视频帧对，其中每组的第二帧作为训练网络的目标，
步骤1.2.2：对每组图像按d×d大小截取子图像块It-1，It，It+1形成若干个子图像块的配对集{It-1，It，It+1}；
步骤1.2.3：随机打乱配对集中的子图像块的顺序，得到视频插帧模型(model2)的训练数据集；
步骤1.3：形成去模糊网络(model3)的训练数据集：
步骤1.3.1：根据图像模糊公式：
b(x，y)＝(k×I)×(x，y)+G(x，y)
其中b、I、k分别表示为模糊图片、原图、模糊核，G代表噪声；模糊核k大小的宽和高分别从(0，5)中随机取值，高斯白噪声方差G，从(0，100)内随机取值，使得每一个高清视频都有对应的不同程度模糊的视频；
步骤1.3.2：分别对高清视频和模糊视频进行抽帧，得到高清数据集和对应的模糊数据集；
步骤1.3.3：每次取模糊数据集中的视频帧按d×d大小截取子图像块同时在高清数据集中取对应的视频帧执行相同操作，得到子图像块形成若干个子图像块的配对集
步骤1.3.4：随机打乱配对集中的子图像块的顺序，得到模糊网络(model3)的训练数据集；
步骤1.4：形成超分辨率模型(model4)的训练数据集：
步骤1.4.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧进行下采样形成低分辨率视频帧，原始高分辨率视频帧作为训练目标；
步骤1.4.2：每次取低分辨率视频数据集中的低分辨率视频帧和对应训练目标的视频帧，按d×d大小截取子图像块和形成若干个子图像块的配对集
步骤1.4.3：随机打乱配对集中的子图像块的顺序，得到超分辨率模型(model4)的训练数据集；
步骤2：训练去隔行扫描网络模型(model1)
步骤2.1：输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果即为去隔行扫描网络的输出。其中，去隔行扫描网络主要包括特征提取模块，非线性映射模块和重建模块组成。去隔行扫描的特征提取模块和非线性映射模块都是由简单的串联卷积层堆叠而成，并且每个卷积层后都有非线性整流函数(ReLU)作为激活函数，ReLU函数公式如下所示：
f(x)＝max(0，x)
步骤2.2：使用MSE函数作为视频插帧网络中训练目标图像块It和网络输出的预测图像块It′的损失函数，MSE函数如下所示：
步骤3：训练视频插帧网络模型(model2)。
步骤3.1：输入连续三张视频帧It-1，It，It+1(分别表示前一帧，当前帧和后一帧)，得到当前帧It的预测结果It′，即为插帧网络的输出。其中，视频插帧网络模型的非线性映射模块采取与U-Net[1]的网络结构，其编码模块包括串联卷积层和一个平均池化层。平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量。其解码模块依次包含串联卷积层和上采样层。
步骤3.2：使用MSE函数作为视频插帧网络中训练目标图像块It和网络输出的预测图像块It′的损失函数，MSE函数如下所示：
步骤4：训练去模糊网络(model3)
步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；
进一步地，步骤4.2中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；
进一步地，步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作；跳跃连接操作将该残差卷积块的输入特征F2k-1与该残差卷积块中第二个卷积层的输出特征相加，即：
F2k+1＝(W2k+1*Fk+b2k+1)+F2k-1
式中，k代表残差块序号，Fk代表残差块中第一个卷积层和非线性激活层的输出，W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置，F2k-1代表残差块的输入。
进一步地，步骤4.2中的重建阶段的重建层为卷积层，重建得到去模糊后的图像块。
步骤4.3：使用MSE-3函数作为去模糊网络的损失函数，MSE-3函数如下所示：
其中，MSE-3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤5：训练超分辨率网络(model4)；其中，超分辨率网络分别包括特征提取模块、非线性映射模块和重建模块，其网络结构图如图2所示。
步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出
进一步地，步骤5.2中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；
进一步地，步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块，且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层；深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆；
每个深度记忆模块的具体操作为：
步骤S1：每个深度记忆模块先提取特征，该特征记为f1，并通过三层卷积操作，并与特征f1相加，该操作的输出记为r1，
步骤S2：提特征f1经过四层卷积的密集连接(concat)，该操作的输出记为d1，
然后将r1，d1与特征f1进行连接操作，此时的输出特征记为f2；
步骤S3：特征f2通过两层卷积操作，并与特征f2相加，该操作的输出记为r2；同时，特征f2经过四层卷积的密集连接，该操作的输出记为b2；
步骤S4：将r2，b2和特征f2进行连接操作。
进一步地，步骤5.2中重建阶段的重建层是反卷积层(deconvolution)，反卷积层将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等。
步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；Charbonnier函数如下所示：
通常情况下，ε设置为0.001，使用Adam优化方法使损失函数最小化。
步骤6：训练去噪网络(model5)：
选用NTIRE2018所提供的数据集来进行训练；
步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出，
进一步地，步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；
进一步地，步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块，且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层；深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆；
每个深度记忆模块的具体操作为：
步骤S1：每个深度记忆模块先提取特征，该特征记为f1，并通过三层卷积操作，并与特征f1相加，该操作的输出记为r1，
步骤S2：提特征f1经过四层卷积的密集连接，该操作的输出记为d1，
然后将r1，d1与特征f1进行连接操作，此时的输出特征记为f2；
步骤S3：特征f2通过两层卷积操作，并与特征f2相加，该操作的输出记为r2；同时，特征f2经过四层卷积的密集连接，该操作的输出记为b2；
步骤S4：将r2，b2和特征f2进行连接操作。
步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。Charbonnier函数如下所示：
通常情况下，ε设置为0.001，使用Adam优化方法使损失函数最小化。
本发明采用以上技术方案，基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，同时减少了计算机内存的消耗。本发明有效的解决了现有复原算法的噪声问题，提高了图像复原的精确度，增加了复原图像的清晰度从而提高了图像修复的效果。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。
参考文献
[1]Olaf Ronneberger，Philipp Fisher，and Thomas Brox.U-Net：Convolutional Networks for Biomedicla Image Segmentation[C]//InternationalConference on Medical Image computing and computer-assistedintervention.Springer，Cham，2015：234-241.
[2]KaiMing He，XiangYu Zhang，ShaoQing Ren，et al.Deep Residual Learningfor Image Recognition[C]//Procedings of the IEEE conference on computervision and pattern recognition.2015：770-778.
[3]Gao Huang，Zhuang Liu，Laurens van der Maaten，et al.DenselyConnected Convolutional Networks[C].Procedings of the IEEE conference oncomputer vision and pattern recognition.2017：4700-4708.
[4]WeiSheng Lai，JiaBin Huang，Narendra Ahuja，et al.Deep LaplacianPyramid Networks for Fast and Accurate Super-Resolution[C].Procedings of theIEEE conference on computer vision and pattern recognition.2017：624-632.
Claims (8)
1.一种基于深度学习的老旧影片修复重制方法，其特征在于：其包括以下步骤：
步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；
步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果
步骤2.1：去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块；去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成，并且每个卷积层后都有ReLU作为激活函数，ReLU函数公式如下所示：
f(x)＝max(0，x)；
步骤2.2：使用MSE-1函数作为训练去隔行扫描网络模型的损失函数，MSE-1函数如下所示：
其中，MSE-1表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤3：训练视频插帧网络模型，输入连续三张视频帧It-1、It、It+1，分别表示前一帧、当前帧和后一帧，得到当前帧It的预测结果It′，即为插帧网络的输出；
步骤3.1：视频插帧网络模型的非线性映射模块采取U-Net的网络结构，U-Net的网络结构包括编码模块和解码模块；编码模块包括串联卷积层和一个平均池化层；平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量；解码模块依次包含串联卷积层和上采样层；
步骤3.2：使用MSE-2函数作为视频插帧网络中训练的损失函数，MSE-2函数如下所示：
其中，MSE-2表示损失函数，It为训练的输入目标图像块，It′为训练的网络输出的预测图像块；
步骤4：训练去模糊网络；
步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；
步骤4.3：使用MSE-3函数作为去模糊网络的损失函数，MSE-3函数如下所示：
其中，MSE-3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤5：训练超分辨率网络
步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出
步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；
步骤6：训练去噪网络，选用NTIRE2018所提供的数据集来进行训练；
步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出；
步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。
2.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤1具体包括以下步骤：
步骤1.1：形成去隔行扫描模型的训练数据集：
步骤1.1.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集，原始图像作为训练目标；
步骤1.1.2：每次取隔行扫描数据集中的子视频帧和对应的训练目标，按d×d大小截取子图像块和形成若干个图像块的配对集
步骤1.1.3：随机打乱配对集中的子图像块的顺序，得到去隔行扫描模型的训练数据集；
步骤1.2：形成视频插帧模型的训练数据集：
步骤1.2.1：将视频通过ffmpeg抽帧得到每一帧图像作为训练数据，每次取连续的三帧图像为一组训练视频帧对，其中每组的第二帧作为训练网络的目标，
步骤1.2.2：对每组图像按d×d大小截取子图像块It-1，It，It+1形成若干个子图像块的配对集{It-1，It，It+1}；
步骤1.2.3：随机打乱配对集中的子图像块的顺序，得到视频插帧模型的训练数据集；
步骤1.3：形成去模糊网络的训练数据集：
步骤1.3.1：根据图像模糊公式：
b(x，y)＝(k×I)＝(x，y)+G(x，y)
其中b、I、k分别表示为模糊图片、原图、模糊核，G代表噪声；模糊核k大小的宽和高分别从(0，5)中随机取值，高斯白噪声方差G，从(0，100)内随机取值，使得每一个高清视频都有对应的不同程度模糊的视频；
步骤1.3.2：分别对高清视频和模糊视频进行抽帧，得到高清数据集和对应的模糊数据集；
步骤1.3.3：每次取模糊数据集中的视频帧按d×d大小截取子图像块同时在高清数据集中取对应的视频帧执行相同操作，得到子图像块形成若干个子图像块的配对集
步骤1.3.4：随机打乱配对集中的子图像块的顺序，得到模糊网络的训练数据集；
步骤1.4：形成超分辨率模型的训练数据集：
步骤1.4.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧进行下采样形成低分辨率视频帧，原始高分辨率视频帧作为训练目标；
步骤1.4.2：每次取低分辨率视频数据集中的低分辨率视频帧和对应训练目标的视频帧，按d×d大小截取子图像块和形成若干个子图像块的配对集
步骤1.4.3：随机打乱配对集中的子图像块的顺序，得到超分辨率模型的训练数据集。
3.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.1提取Y通道数据的具体步骤为：
步骤4.1.1：图像块的像素值是在[0,255]范围内，将图像块中的每个像素值除以255，使得每个像素值介于[0,1]之间，得到归一化后的图像；
步骤4.1.2：取归一化后的RGB图像块，将其转换为YCbcCr格式，根据公式
Y＝(0.256789×R+0.504129×G+0.097906×B)+16.0
Cb＝(-0.148223×R-0.290992×G+0.439215×B)+128.0
Cr＝(0.439215×R-0.367789×G-0.071426×B)+128.0
将得到的YCbCr的图像块进行通道分离，得到Y通道数据。
4.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.2、步骤5.2和步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数,*代表卷积操作。
5.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作；跳跃连接操作将该残差卷积块的输入特征F2k-1与该残差卷积块中第二个卷积层的输出特征相加，即：
F2k+1＝(W2k+1*Fk+b2k+1)+F2k-1
式中，k代表残差块序号，Fk代表残差块中第一个卷积层和非线性激活层的输出，W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置，F2k-1代表残差块的输入。
6.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块，且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层；深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆；
每个深度记忆模块的具体操作为：
步骤S1:每个深度记忆模块先提取特征，该特征记为f1，并通过三层卷积操作，并与特征f1相加，该操作的输出记为r1，
步骤S2:提特征f1经过四层卷积的密集连接，该操作的输出记为d1，
然后将r1，d1与特征f1进行连接操作，此时的输出特征记为f2；
步骤S3:特征f2通过两层卷积操作，并与特征f2相加，该操作的输出记为r2；同时，特征f2经过四层卷积的密集连接，该操作的输出记为b2；
步骤S4:将r2，b2和特征f2进行连接操作。
7.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤5.2中重建阶段的重建层是反卷积层，反卷积层将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等。
8.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤5.3和步骤6.2中的Charbonnier函数如下所示：
其中，为训练的输入目标图像块，为网络输出的预测图像块，且ε设置为0.001，使用Adam优化方法使Charbonnier损失函数最小化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810699895.0A CN108961186B (zh) | 2018-06-29 | 2018-06-29 | 一种基于深度学习的老旧影片修复重制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810699895.0A CN108961186B (zh) | 2018-06-29 | 2018-06-29 | 一种基于深度学习的老旧影片修复重制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108961186A true CN108961186A (zh) | 2018-12-07 |
| CN108961186B CN108961186B (zh) | 2022-02-15 |
Family
ID=64484635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810699895.0A Active CN108961186B (zh) | 2018-06-29 | 2018-06-29 | 一种基于深度学习的老旧影片修复重制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961186B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559290A (zh) * | 2018-12-14 | 2019-04-02 | 中国石油大学(华东) | 一种深度非对称跳跃连接的图像降噪方法 |
| CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
| CN109816620A (zh) * | 2019-01-31 | 2019-05-28 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110276739A (zh) * | 2019-07-24 | 2019-09-24 | 中国科学技术大学 | 一种基于深度学习的视频去抖方法 |
| CN110378860A (zh) * | 2019-07-30 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
| CN110428382A (zh) * | 2019-08-07 | 2019-11-08 | 杭州微帧信息科技有限公司 | 一种用于移动终端的高效视频增强方法、装置和存储介质 |
| CN110490817A (zh) * | 2019-07-22 | 2019-11-22 | 武汉大学 | 一种基于掩模学习的图像噪声抑制方法 |
| CN110751597A (zh) * | 2019-10-12 | 2020-02-04 | 西安电子科技大学 | 基于编码损伤修复的视频超分辨方法 |
| CN111524068A (zh) * | 2020-04-14 | 2020-08-11 | 长安大学 | 一种基于深度学习的变长输入超分辨率视频重建方法 |
| CN111738951A (zh) * | 2020-06-22 | 2020-10-02 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| CN111757087A (zh) * | 2020-06-30 | 2020-10-09 | 北京金山云网络技术有限公司 | Vr视频的处理方法、装置和电子设备 |
| CN112188236A (zh) * | 2019-07-01 | 2021-01-05 | 北京新唐思创教育科技有限公司 | 视频插帧模型训练、视频插帧生成方法及相关装置 |
| CN112686811A (zh) * | 2020-11-27 | 2021-04-20 | 深兰科技（上海）有限公司 | 视频处理方法、视频处理装置、电子设备和存储介质 |
| CN113034392A (zh) * | 2021-03-22 | 2021-06-25 | 山西三友和智慧信息技术股份有限公司 | 一种基于U-net的HDR去噪和去模糊方法 |
| CN113554058A (zh) * | 2021-06-23 | 2021-10-26 | 广东奥普特科技股份有限公司 | 视觉目标图像分辨率增强的方法、系统、装置及存储介质 |
| CN114286126A (zh) * | 2020-09-28 | 2022-04-05 | 阿里巴巴集团控股有限公司 | 视频处理方法及装置 |
| CN114697709A (zh) * | 2020-12-25 | 2022-07-01 | 华为技术有限公司 | 视频传输方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070071362A1 (en) * | 2004-12-16 | 2007-03-29 | Peyman Milanfar | Dynamic reconstruction of high-resolution video from color-filtered low-resolution video-to-video super-resolution |
| CN101231693A (zh) * | 2007-01-24 | 2008-07-30 | 通用电气公司 | 由视频重建复原的面部图像的系统和方法 |
| US20090060373A1 (en) * | 2007-08-24 | 2009-03-05 | General Electric Company | Methods and computer readable medium for displaying a restored image |
| CN102496165A (zh) * | 2011-12-07 | 2012-06-13 | 四川九洲电器集团有限责任公司 | 一种基于运动检测与特征提取的综合性视频处理方法 |
| CN104616257A (zh) * | 2015-01-26 | 2015-05-13 | 山东省计算中心（国家超级计算济南中心） | 一种模糊退化数字图像在司法中的复原取证方法 |
| JP2015095702A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社朋栄 | １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
| US9218648B2 (en) * | 2009-10-27 | 2015-12-22 | Honeywell International Inc. | Fourier domain blur estimation method and system |
| CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
-
2018
- 2018-06-29 CN CN201810699895.0A patent/CN108961186B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070071362A1 (en) * | 2004-12-16 | 2007-03-29 | Peyman Milanfar | Dynamic reconstruction of high-resolution video from color-filtered low-resolution video-to-video super-resolution |
| CN101231693A (zh) * | 2007-01-24 | 2008-07-30 | 通用电气公司 | 由视频重建复原的面部图像的系统和方法 |
| US20090060373A1 (en) * | 2007-08-24 | 2009-03-05 | General Electric Company | Methods and computer readable medium for displaying a restored image |
| US9218648B2 (en) * | 2009-10-27 | 2015-12-22 | Honeywell International Inc. | Fourier domain blur estimation method and system |
| CN102496165A (zh) * | 2011-12-07 | 2012-06-13 | 四川九洲电器集团有限责任公司 | 一种基于运动检测与特征提取的综合性视频处理方法 |
| JP2015095702A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社朋栄 | １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
| CN104616257A (zh) * | 2015-01-26 | 2015-05-13 | 山东省计算中心（国家超级计算济南中心） | 一种模糊退化数字图像在司法中的复原取证方法 |
| CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
Non-Patent Citations (3)
| Title |
|---|
| YUKI MATSUSHITA ET AL: "Simultaneous deblur and super-resolution technique for video sequence captured by hand-held video camera", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| 潘浩: "数字视频的修复方法研究", 《中国博士学位论文全文数据库信息科技辑》 * |
| 贾苏娟: "视频图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559290A (zh) * | 2018-12-14 | 2019-04-02 | 中国石油大学(华东) | 一种深度非对称跳跃连接的图像降噪方法 |
| CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
| CN109816620A (zh) * | 2019-01-31 | 2019-05-28 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN109816620B (zh) * | 2019-01-31 | 2021-01-05 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN112188236A (zh) * | 2019-07-01 | 2021-01-05 | 北京新唐思创教育科技有限公司 | 视频插帧模型训练、视频插帧生成方法及相关装置 |
| CN110490817A (zh) * | 2019-07-22 | 2019-11-22 | 武汉大学 | 一种基于掩模学习的图像噪声抑制方法 |
| CN110276739A (zh) * | 2019-07-24 | 2019-09-24 | 中国科学技术大学 | 一种基于深度学习的视频去抖方法 |
| CN110276739B (zh) * | 2019-07-24 | 2021-05-07 | 中国科学技术大学 | 一种基于深度学习的视频去抖方法 |
| CN110378860A (zh) * | 2019-07-30 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
| CN110378860B (zh) * | 2019-07-30 | 2023-08-18 | 腾讯科技（深圳）有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
| CN110428382A (zh) * | 2019-08-07 | 2019-11-08 | 杭州微帧信息科技有限公司 | 一种用于移动终端的高效视频增强方法、装置和存储介质 |
| CN110428382B (zh) * | 2019-08-07 | 2023-04-18 | 杭州微帧信息科技有限公司 | 一种用于移动终端的高效视频增强方法、装置和存储介质 |
| CN110751597A (zh) * | 2019-10-12 | 2020-02-04 | 西安电子科技大学 | 基于编码损伤修复的视频超分辨方法 |
| CN111524068A (zh) * | 2020-04-14 | 2020-08-11 | 长安大学 | 一种基于深度学习的变长输入超分辨率视频重建方法 |
| CN111524068B (zh) * | 2020-04-14 | 2023-06-02 | 长安大学 | 一种基于深度学习的变长输入超分辨率视频重建方法 |
| CN111738951A (zh) * | 2020-06-22 | 2020-10-02 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| CN111738951B (zh) * | 2020-06-22 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| CN111757087A (zh) * | 2020-06-30 | 2020-10-09 | 北京金山云网络技术有限公司 | Vr视频的处理方法、装置和电子设备 |
| CN114286126A (zh) * | 2020-09-28 | 2022-04-05 | 阿里巴巴集团控股有限公司 | 视频处理方法及装置 |
| CN112686811A (zh) * | 2020-11-27 | 2021-04-20 | 深兰科技（上海）有限公司 | 视频处理方法、视频处理装置、电子设备和存储介质 |
| CN114697709A (zh) * | 2020-12-25 | 2022-07-01 | 华为技术有限公司 | 视频传输方法及装置 |
| CN113034392A (zh) * | 2021-03-22 | 2021-06-25 | 山西三友和智慧信息技术股份有限公司 | 一种基于U-net的HDR去噪和去模糊方法 |
| CN113554058A (zh) * | 2021-06-23 | 2021-10-26 | 广东奥普特科技股份有限公司 | 视觉目标图像分辨率增强的方法、系统、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108961186B (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961186A (zh) | 一种基于深度学习的老旧影片修复重制方法 | |
| CN109741260B (zh) | 一种基于深度反投影网络的高效超分辨率方法 | |
| Anwar et al. | Densely residual laplacian super-resolution | |
| Dong et al. | Multi-scale boosted dehazing network with dense feature fusion | |
| Liu et al. | Video super-resolution based on deep learning: a comprehensive survey | |
| Zhang et al. | Residual non-local attention networks for image restoration | |
| CN110782399B (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| Deng et al. | Lau-net: Latitude adaptive upscaling network for omnidirectional image super-resolution | |
| CN109087273A (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| Yu et al. | Memory-augmented non-local attention for video super-resolution | |
| CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| Choi et al. | Wavelet attention embedding networks for video super-resolution | |
| Zheng et al. | Double-branch dehazing network based on self-calibrated attentional convolution | |
| Wang et al. | Medical image super-resolution analysis with sparse representation | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| CN116797456A (zh) | 图像超分辨率重建方法、系统、设备和存储介质 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN116168197A (zh) | 一种基于Transformer分割网络和正则化训练的图像分割方法 | |
| Kim et al. | Artifacts Reduction Using Multi-Scale Feature Attention Network in Compressed Medical Images. | |
| Choi et al. | Group-based bi-directional recurrent wavelet neural network for efficient video super-resolution (VSR) | |
| Sun et al. | Distilling with residual network for single image super resolution | |
| Wu et al. | Infrared and visible light dual-camera super-resolution imaging with texture transfer network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190716 Address after: 350000 Area B, 5th Floor, No. 2 Building, Yunzu, 528 Xihong Road, Gulou District, Fuzhou City, Fujian Province Applicant after: Fujian Timor view Mdt InfoTech Ltd Address before: Unit 5, Unit 14, Comprehensive Dormitory Building, Guangming Lane News Center, New District, Hohhot City, Inner Mongolia Autonomous Region, 010000 Applicant before: Zhao Yan |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |