CN109862299A - 分辨率的处理方法及装置 - Google Patents
分辨率的处理方法及装置 Download PDFInfo
- Publication number
- CN109862299A CN109862299A CN201711236795.6A CN201711236795A CN109862299A CN 109862299 A CN109862299 A CN 109862299A CN 201711236795 A CN201711236795 A CN 201711236795A CN 109862299 A CN109862299 A CN 109862299A
- Authority
- CN
- China
- Prior art keywords
- video data
- residual error
- resolution
- target
- convolutional network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 36
- 125000004122 cyclic group Chemical group 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 208000023060 memory loss Diseases 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
Abstract
本申请提供一种分辨率的处理方法及装置，该方法包括：获取待处理的目标低分辨率视频数据，采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据。实现了端对端地学习如何对帧内和帧间相关性同时进行建模，采用联合空间‑时间残差学习方式，预测高清视频的时间残差，促进对空间残差和视频帧的预测。通过嵌入时间残差预测，能够对高分辨率视频多帧之间的运动上下文进行隐含建模，同时具有较低的计算复杂度。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种分辨率的处理方法及装置。
背景技术
近些年来，随着大量高清播放设备的涌现，将低分辨率视频转换为更适宜播放的高分辨率视频，即视频超分辨率技术，逐渐成为计算机视觉领域的研究热点。
视频超分辨率方法可以被分为两类：基于重建的方法和基于学习的方法。其中，基于重建的方法无法在所有场景上使用，基于学习的方法可以通过从大量的视频中学习先验来解决这一问题。但是，现有的基于学习的方法通常只考虑帧间相关性，而没有同时考虑帧内和帧间的相关性；学习到的先验通常无法捕捉到大幅运动、镜头转换等变换情况。
发明内容
本申请提供一种分辨率的处理方法及装置，以解决现有技术通常只考虑帧间相关性，而没有同时考虑帧内和帧间的相关性；学习到的先验通常无法捕捉到大幅运动、镜头转换等变换情况等缺陷。
本申请第一个方面提供一种分辨率的处理方法，包括：
获取待处理的目标低分辨率视频数据；
采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据。
根据如上所述的方法，可选地，在获取待处理的目标低分辨率视频数据之前，所述方法还包括：
获取预设高分辨率视频数据；
采用高斯滤波器将所述预设高分辨率视频数据转换成对应的低分辨率视频数据，并将所述低分辨率视频数据放大到与所述预设高分辨率视频数据相同的尺度；
获取待训练时空循环残差卷积网络；
采用所述预设高分辨率视频数据及对应的低分辨率视频数据训练所述待训练时空循环残差卷积网络，获得所述目标时空循环残差卷积网络。
根据如上所述的方法，可选地，所述获取预设高分辨率视频数据，包括：
从第一预设数量的高分辨率视频序列中采集第二预设数量的视频片段；
将所述视频片段剪切成第三预设数量的重叠的视频组块，每个所述视频组块包含第四预设数量的在时间域上相邻、在空间域上相同的视频块。
根据如上所述的方法，可选地，所述获取待训练时空循环残差卷积网络，包括：
建立时空循环残差卷积网络，包括9个序列层，其中，每个序列层包括多个状态，每个状态对应不同时刻的视频帧；
采用三种卷积操作、时间残差嵌入操作、特征支路操作、低分辨率支路操作和向前反馈操作来连接这些状态，获得所述待训练时空循环残差卷积网络，所述三种卷积操作包括向前卷积操作、循环卷积操作和上下文卷积操作。
根据如上所述的方法，可选地，在采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据之后，所述方法还包括：
采用峰值信噪比PSNR和结构相似性SSIM评估标准对所述目标时空循环残差卷积网络进行评估处理。
本申请的另一个方面提供一种分辨率的处理装置，包括：
获取模块，用于获取待处理的目标低分辨率视频数据；
处理模块，用于采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据。
根据如上所述的装置，可选地，所述获取模块，还用于获取预设高分辨率视频数据；
所述处理模块，用于采用高斯滤波器将所述预设高分辨率视频数据转换成对应的低分辨率视频数据，并将所述低分辨率视频数据放大到与所述预设高分辨率视频数据相同的尺度；
所述获取模块，还用于获取待训练时空循环残差卷积网络；
所述处理模块，还用于采用所述预设高分辨率视频数据及对应的低分辨率视频数据训练所述待训练时空循环残差卷积网络，获得所述目标时空循环残差卷积网络。
根据如上所述的装置，可选地，所述获取模块，具体用于：
从第一预设数量的高分辨率视频序列中采集第二预设数量的视频片段；
将所述视频片段剪切成第三预设数量的重叠的视频组块，每个所述视频组块包含第四预设数量的在时间域上相邻、在空间域上相同的视频块。
根据如上所述的装置，可选地，所述获取模块，具体用于：
建立时空循环残差卷积网络，包括9个序列层，其中，每个序列层包括多个状态，每个状态对应不同时刻的视频帧；
采用三种卷积操作、时间残差嵌入操作、特征支路操作、低分辨率支路操作和向前反馈操作来连接这些状态，获得所述待训练时空循环残差卷积网络，所述三种卷积操作包括向前卷积操作、循环卷积操作和上下文卷积操作。
根据如上所述的装置，可选地，所述处理模块，还用于采用峰值信噪比PSNR和结构相似性SSIM评估标准对所述目标时空循环残差卷积网络进行评估处理。
本申请提供的分辨率的处理方法及装置，通过采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据，实现了端对端地学习如何对帧内和帧间相关性同时进行建模，采用联合空间-时间残差学习方式，预测高清视频的时间残差，促进对空间残差和视频帧的预测。通过嵌入时间残差预测，能够对高分辨率视频多帧之间的运动上下文进行隐含建模，同时具有较低的计算复杂度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的分辨率的处理方法的流程示意图；
图2为本申请一实施例提供的时空循环残差卷积网络的结构示意图；
图3为本申请一实施例提供的分辨率的处理装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本实施例提供一种分辨率的处理方法，用于对视频分辨率进行处理。本实施例的执行主体为分辨率的处理装置(以下简称装置)，该装置可以设置在服务器、台式电脑、笔记本电脑等终端中。
如图1所示，为本实施例提供的分辨率的处理方法的流程示意图，该方法包括：
步骤101，获取待处理的目标低分辨率视频数据。
步骤102，采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据。
具体的，想要将低分辨率视频转换成高分辨率视频，首先要获得训练好的目标时空循环残差卷积网络，在获得目标时空循环残差卷积网络之后，则可以采用该网络对待处理数据进行处理，获取待处理的目标低分辨率视频数据，采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据。
本实施例提供的分辨率的处理方法，通过采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据，实现了端对端地学习如何对帧内和帧间相关性同时进行建模，采用联合空间-时间残差学习方式，预测高清视频的时间残差，促进对空间残差和视频帧的预测。通过嵌入时间残差预测，能够对高分辨率视频多帧之间的运动上下文进行隐含建模，同时具有较低的计算复杂度。
实施例二
本实施例对实施例一提供的分辨率的处理方法做进一步补充说明。
作为一种可实施的方式，在上述实施例一的基础上，可选地，步骤101之前，该方法还包括：
步骤2011，获取预设高分辨率视频数据。
步骤2012，采用高斯滤波器将预设高分辨率视频数据转换成对应的低分辨率视频数据，并将低分辨率视频数据放大到与预设高分辨率视频数据相同的尺度。
步骤2013，获取待训练时空循环残差卷积网络。
步骤2014，采用预设高分辨率视频数据及对应的低分辨率视频数据训练待训练时空循环残差卷积网络，获得目标时空循环残差卷积网络。
具体的，获得训练好的目标时空循环残差卷积网络的过程可以包括：获取预设高分辨率视频数据，采用高斯滤波器将预设高分辨率视频数据转换成对应的低分辨率视频数据，并将低分辨率视频数据放大到与预设高分辨率视频数据相同的尺度，获取待训练时空循环残差卷积网络，采用预设高分辨率视频数据及对应的低分辨率视频数据训练待训练时空循环残差卷积网络，获得目标时空循环残差卷积网络。
可选地，获取预设高分辨率视频数据，包括：
从第一预设数量的高分辨率视频序列中采集第二预设数量的视频片段；将视频片段剪切成第三预设数量的重叠的视频组块，每个视频组块包含第四预设数量的在时间域上相邻、在空间域上相同的视频块。
示例性的，从30个高清1080p视频序列中采集300个视频片段。为了减少训练过程的内存消耗，以11为取块空间步长，以33×33为取块空间窗口大小，将上述视频片段剪切成75000个可以重叠的视频块组。每一个视频块组包含9个在时间域上相邻，空间域上相同的视频块。在1080p高分辨率视频序列上，使用模糊级别1.6的9×9高斯滤波器构造低分辨率视频序列。并将生成的低分辨率视频序列放大到原始尺度。将高分辨率视频和低分辨率视频组合成训练数据集。
可选地，如图2所示，为本实施例提供的时空循环残差卷积网络的结构示意图。获取待训练时空循环残差卷积网络，包括：
建立时空循环残差卷积网络，包括9个序列层，其中，每个序列层包括多个状态，每个状态对应不同时刻的视频帧；采用三种卷积操作、时间残差嵌入操作、特征支路操作、低分辨率支路操作和向前反馈操作来连接这些状态，获得待训练时空循环残差卷积网络，三种卷积操作包括向前卷积操作、循环卷积操作和上下文卷积操作。
作为另一种可实施的方式，在上述实施例一的基础上，可选地，在步骤102之后，该方法还包括：采用峰值信噪比PSNR和结构相似性SSIM评估标准对目标时空循环残差卷积网络进行评估处理。
本实施例提供的分辨率的处理方法，通过采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据，实现了端对端地学习如何对帧内和帧间相关性同时进行建模，采用联合空间-时间残差学习方式，预测高清视频的时间残差，促进对空间残差和视频帧的预测。通过嵌入时间残差预测，能够对高分辨率视频多帧之间的运动上下文进行隐含建模，同时具有较低的计算复杂度。
实施例三
本实施例以一个示例性的实施例对上述实施例提供的分辨率的处理方法做进一步补充说明。
步骤1、从30个高清1080p视频序列中采集300个视频片段。为了减少训练过程的内存消耗，以11为取块空间步长，以33×33为取块空间窗口大小，将上述视频片段剪切成75000个可以重叠的视频块组。每一个视频块组包含9个在时间域上相邻，空间域上相同的视频块。
在1080p高分辨率视频序列上，使用模糊级别1.6的9×9高斯滤波器构造低分辨率视频序列。并将生成的低分辨率视频序列放大到原始尺度。
将高分辨率视频和低分辨率视频组合成训练数据集。
步骤2：搭建时空循环残差卷积网络。
如图2所示，该时空循环残差卷积网络包括9个序列层，时空循环残差卷积网络包含下面7种操作：
(1)向前卷积。在时空循环残差卷积网络中超分辨率一帧的卷积操作。如图2所示，向前卷积操作用于连接同一时刻下，第1序列层的输入与第1序列层的状态、第1序列层和第2序列层的状态、第2序列层和第3序列层的状态、第4序列层和第5序列层的状态、第5序列层和第6序列层的状态、第8序列层和第9序列层的状态。以t帧为例，表示为图2中第1序列层的状态前、第1序列层和第2序列层的状态之间、第2序列层和第3序列层的状态之间、第4序列层和第5序列层的状态之间、第5序列层和第6序列层的状态之间、以及第8序列层和第9序列层的状态之间的横向箭头，第9层后的与xt之间的横向箭头，以及第7层与时间残差之间的斜向箭头，时间残差表示为第7层和第8层之间的矩形。
(2)循环卷积。可以在相邻帧之间传递信息并存储丢失信息。循环卷积将第i层相邻t-1和t+1帧(记作和)的状态的特征传递到第i层的t帧(记作和)。如图2所示，循环卷积操作用于连接第i层相邻时刻的视频帧对应的状态，其中i＝2、3、5、6。以第2层为例，表示为第2层t-1帧和t帧之间的竖直方向的箭头。
(3)上下文卷积。在帧间传递信息，将i-1层相邻t-1和t+1帧(记作和)的特征传递到第i层的t帧(记作和)，如图2所示，上下文卷积操作用于连接第1序列层和第2序列层之间、第2序列层和第3序列层之间、第4序列层和第5序列层之间，以及第5序列层和第6序列层之间，相邻时刻的视频帧对应的状态。以第1序列层和第2序列层为例，表示为图2中第1层t-1帧的状态与第2层t帧的状态之间的斜向箭头。
(4)时间残差嵌入。在训练过程中可以预测时间残差，表示为图2中第7层和第8层之间的矩形。训练后，将预测的时间残差与第7层的输出特征图连接起来，生成第8层的输出特征图。
(5)特征支路。传输第1、4层输出的特征，并分别将他们与第3、6层的输出结合。表示为图2中小弧形箭头。
(6)低分辨率支路。将低分辨率帧传输到第9层的输出上。表示为图2中的大弧形箭头。
(7)向前反馈。将状态的特征传递到后续单元的操作。以t帧为例，表示为图2中第3层和第4层之间的两个横向箭头、第6层和第7层之间的两个横向箭头，第7层和第8层之间的横向箭头，时间残差和第8层之间的斜向箭头，第9层后的一个横向箭头。
在这些卷积操作后，使用元素加和操作融合这些输出。如图2所示，其中上下文卷积和循环卷积均为双向操作，包括向前一帧和向后一帧的操作。
用xt代表高分辨率视频第t帧，用yt代表低分辨率视频第t帧。具体卷积与融合操作如下：
在第2、3、5、6层：
其中i＝2,3,…,6，W和B分别是滤波器和偏置。上角标f,c,r和a分别表示单元类型——向前卷积，上下文卷积，循环卷积和元素求和。p和n表示卷积的方向，分别代表从前一帧和从后一帧。下标(t,i)表示该操作被使用在第i层第t帧。即，分别代表了第i层第t帧的向前卷积，对前一帧进行上下文卷积，对后一帧进行上下文卷积，对前一帧进行循环卷积，对后一帧进行循环卷积。表示对全部5个输出的元素加和。在这之后是一个斜坡函数f(x)＝max(0,x)。
在第1、4、7、9层：
其中i＝1,4,7,9。代表了第i层第t帧的向前卷积。
第t帧第一层的输入为y和
在第8层，预测高分辨率视频帧的时间残差，并且把它们作为特征的一部分来估计空间残差。
其中，表示高分辨率视频在第t帧的时间残差。W和b分别代表滤波器和偏置。这一层在预测高分辨率视频帧的时间残差，并且把它们作为特征的一部分来估计空间残差。其中，表示将和的特征合并。
步骤3：利用已经处理好的数据集训练网络。时空循环残差卷积网络在不同的帧间使用同一组参数，即对于所有的他们的参数 和 由单位类型决定，用上标，层深表示，与帧号无关。
训练时空循环残差卷积网络时，采用最小化预测帧和真实帧之间的均方误差作为损失函数：
其中表示低分辨率视频帧，表示高分辨率视频帧，表示网络对yt-xt的预测，是网络第9层的输出，表示网络对残差的预测，在网络第8层计算出，下角标t表示第t帧。Θ＝(Wf,Bf,Wc,p,Bc，p,Wc,n,Bc,n，Wr,p,Br，p，Wr,n,Br,n)，并且{λi，i＝1,2，...,8,9}是控制这些条件之间相对重要性的权重参数。c被设为0.1。设循环数nt＝9，这是GPU内存在训练批大小为6的时候所能承受的最大时间循环值。
有关λt的设置，我们使用由粗到精的策略：
1)“分散”的预处理，例如，为所有t设置λt＝1，迫使网络捕捉整体的运动趋势，学到有利于重建整个视频片段而不仅仅是一帧的特征。
2)“聚焦”微调，即将λt的值与从中心帧到其他帧的指数衰减权重相关联，以聚焦于预测中心帧。λt值如下表格：
| #帧 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 3 | — | — | — | 0.7 | 1 | 0.7 | — | — | — |
| 5 | — | — | 0.5 | 0.7 | 1 | 0.7 | 0.5 | — | — |
| 7 | — | 0.35 | 0.5 | 0.7 | 1 | 0.7 | 0.5 | 0.35 | — |
| 9 | 0.25 | 0.35 | 0.5 | 0.7 | 1 | 0.7 | 0.5 | 0.35 | 0.25 |
步骤4：将待超分辨率的目标低分辨率视频输入网络，得到对应目标高分辨率视频。通过PSNR(Peak Signal to Noise Ratio，峰值信噪比)等评估标准测试网络性能。
需要说明的是，本实施例中各可实施的方式既可以单独实施，也可以任意组合方式结合实施，在此不做限定。
还需要说明的是，上述第i层和第i序列层表示相同的意思，均指网络的层级。上述特征指网络中各状态的特征。
本实施例提供的分辨率的处理方法，通过采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据，实现了端对端地学习如何对帧内和帧间相关性同时进行建模，采用联合空间-时间残差学习方式，预测高清视频的时间残差，促进对空间残差和视频帧的预测。通过嵌入时间残差预测，能够对高分辨率视频多帧之间的运动上下文进行隐含建模，同时具有较低的计算复杂度。
实施例四
本实施例提供一种分辨率的处理装置，用于执行上述实施例一的分辨率的处理方法。
如图3所示，为本实施例提供的分辨率的处理装置的结构示意图。该分辨率的处理装置40包括获取模块41和处理模块42。
其中，获取模块41用于获取待处理的目标低分辨率视频数据；处理模块42用于采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本实施例提供的分辨率的处理装置，通过采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据，实现了端对端地学习如何对帧内和帧间相关性同时进行建模，采用联合空间-时间残差学习方式，预测高清视频的时间残差，促进对空间残差和视频帧的预测。通过嵌入时间残差预测，能够对高分辨率视频多帧之间的运动上下文进行隐含建模，同时具有较低的计算复杂度。
实施例五
本实施例对上述实施例四提供的分辨率的处理装置做进一步补充说明。
作为一种可实施的方式，在上述实施例四的基础上，可选地，获取模块41还用于获取预设高分辨率视频数据；处理模块42用于采用高斯滤波器将预设高分辨率视频数据转换成对应的低分辨率视频数据，并将低分辨率视频数据放大到与预设高分辨率视频数据相同的尺度；获取模块41还用于获取待训练时空循环残差卷积网络；处理模块42还用于采用预设高分辨率视频数据及对应的低分辨率视频数据训练待训练时空循环残差卷积网络，获得目标时空循环残差卷积网络。
可选地，获取模块41具体用于：从第一预设数量的高分辨率视频序列中采集第二预设数量的视频片段；将视频片段剪切成第三预设数量的重叠的视频组块，每个视频组块包含第四预设数量的在时间域上相邻、在空间域上相同的视频块。
可选地，获取模块41具体用于：建立时空循环残差卷积网络，包括9个序列层，其中，每个序列层包括多个状态，每个状态对应不同时刻的视频帧；采用三种卷积操作、时间残差嵌入操作、特征支路操作、低分辨率支路操作和向前反馈操作来连接这些状态，获得待训练时空循环残差卷积网络，三种卷积操作包括向前卷积操作、循环卷积操作和上下文卷积操作。
作为另一种可实施的方式，在上述实施例四的基础上，可选地，处理模块42还用于采用峰值信噪比PSNR和结构相似性SSIM评估标准对目标时空循环残差卷积网络进行评估处理。
需要说明的是，本实施例中各可实施的方式既可以单独实施，也可以任意组合方式结合实施，在此不做限定。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本实施例提供的分辨率的处理装置，通过采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据，实现了端对端地学习如何对帧内和帧间相关性同时进行建模，采用联合空间-时间残差学习方式，预测高清视频的时间残差，促进对空间残差和视频帧的预测。通过嵌入时间残差预测，能够对高分辨率视频多帧之间的运动上下文进行隐含建模，同时具有较低的计算复杂度。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种分辨率的处理方法，其特征在于，包括：
获取待处理的目标低分辨率视频数据；
采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据。
2.根据权利要求1所述的方法，其特征在于，在获取待处理的目标低分辨率视频数据之前，所述方法还包括：
获取预设高分辨率视频数据；
采用高斯滤波器将所述预设高分辨率视频数据转换成对应的低分辨率视频数据，并将所述低分辨率视频数据放大到与所述预设高分辨率视频数据相同的尺度；
获取待训练时空循环残差卷积网络；
采用所述预设高分辨率视频数据及对应的低分辨率视频数据训练所述待训练时空循环残差卷积网络，获得所述目标时空循环残差卷积网络。
3.根据权利要求2所述的方法，其特征在于，所述获取预设高分辨率视频数据，包括：
从第一预设数量的高分辨率视频序列中采集第二预设数量的视频片段；
将所述视频片段剪切成第三预设数量的重叠的视频组块，每个所述视频组块包含第四预设数量的在时间域上相邻、在空间域上相同的视频块。
4.根据权利要求2所述的方法，其特征在于，所述获取待训练时空循环残差卷积网络，包括：
建立时空循环残差卷积网络，包括9个序列层，其中，每个序列层包括多个状态，每个状态对应不同时刻的视频帧；
采用三种卷积操作、时间残差嵌入操作、特征支路操作、低分辨率支路操作和向前反馈操作来连接这些状态，获得所述待训练时空循环残差卷积网络，所述三种卷积操作包括向前卷积操作、循环卷积操作和上下文卷积操作。
5.根据权利要求1所述的方法，其特征在于，在采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据之后，所述方法还包括：
采用峰值信噪比PSNR和结构相似性SSIM评估标准对所述目标时空循环残差卷积网络进行评估处理。
6.一种分辨率的处理装置，其特征在于，包括：
获取模块，用于获取待处理的目标低分辨率视频数据；
处理模块，用于采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据。
7.根据权利要求6所述的装置，其特征在于，所述获取模块，还用于获取预设高分辨率视频数据；
所述处理模块，用于采用高斯滤波器将所述预设高分辨率视频数据转换成对应的低分辨率视频数据，并将所述低分辨率视频数据放大到与所述预设高分辨率视频数据相同的尺度；
所述获取模块，还用于获取待训练时空循环残差卷积网络；
所述处理模块，还用于采用所述预设高分辨率视频数据及对应的低分辨率视频数据训练所述待训练时空循环残差卷积网络，获得所述目标时空循环残差卷积网络。
8.根据权利要求7所述的装置，其特征在于，所述获取模块，具体用于：
从第一预设数量的高分辨率视频序列中采集第二预设数量的视频片段；
将所述视频片段剪切成第三预设数量的重叠的视频组块，每个所述视频组块包含第四预设数量的在时间域上相邻、在空间域上相同的视频块。
9.根据权利要求7所述的装置，其特征在于，所述获取模块，具体用于：
建立时空循环残差卷积网络，包括9个序列层，其中，每个序列层包括多个状态，每个状态对应不同时刻的视频帧；
采用三种卷积操作、时间残差嵌入操作、特征支路操作、低分辨率支路操作和向前反馈操作来连接这些状态，获得所述待训练时空循环残差卷积网络，所述三种卷积操作包括向前卷积操作、循环卷积操作和上下文卷积操作。
10.根据权利要求6所述的装置，其特征在于，所述处理模块，还用于采用峰值信噪比PSNR和结构相似性SSIM评估标准对所述目标时空循环残差卷积网络进行评估处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711236795.6A CN109862299B (zh) | 2017-11-30 | 2017-11-30 | 分辨率的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711236795.6A CN109862299B (zh) | 2017-11-30 | 2017-11-30 | 分辨率的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109862299A true CN109862299A (zh) | 2019-06-07 |
| CN109862299B CN109862299B (zh) | 2021-08-27 |
Family
ID=66887916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711236795.6A Expired - Fee Related CN109862299B (zh) | 2017-11-30 | 2017-11-30 | 分辨率的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109862299B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112015618A (zh) * | 2020-08-17 | 2020-12-01 | 杭州指令集智能科技有限公司 | 异常告警方法及装置 |
| CN112819218A (zh) * | 2021-01-27 | 2021-05-18 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 高分辨率城市移动源污染时空预测方法、系统及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104539961A (zh) * | 2014-12-12 | 2015-04-22 | 上海交通大学 | 基于分层结构渐进式字典学习的可分级视频编码系统 |
| CN105072373A (zh) * | 2015-08-28 | 2015-11-18 | 中国科学院自动化研究所 | 基于双向循环卷积网络的视频超分辨率方法和系统 |
| CN106254722A (zh) * | 2016-07-15 | 2016-12-21 | 北京邮电大学 | 一种视频超分辨率重建方法和装置 |
| CN107133919A (zh) * | 2017-05-16 | 2017-09-05 | 西安电子科技大学 | 基于深度学习的时间维视频超分辨率方法 |
| US20170285123A1 (en) * | 2016-04-03 | 2017-10-05 | Q Bio, Inc | Tensor field mapping |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
-
2017
- 2017-11-30 CN CN201711236795.6A patent/CN109862299B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104539961A (zh) * | 2014-12-12 | 2015-04-22 | 上海交通大学 | 基于分层结构渐进式字典学习的可分级视频编码系统 |
| CN105072373A (zh) * | 2015-08-28 | 2015-11-18 | 中国科学院自动化研究所 | 基于双向循环卷积网络的视频超分辨率方法和系统 |
| US20170285123A1 (en) * | 2016-04-03 | 2017-10-05 | Q Bio, Inc | Tensor field mapping |
| CN106254722A (zh) * | 2016-07-15 | 2016-12-21 | 北京邮电大学 | 一种视频超分辨率重建方法和装置 |
| CN107133919A (zh) * | 2017-05-16 | 2017-09-05 | 西安电子科技大学 | 基于深度学习的时间维视频超分辨率方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| ARMIN KAPPELER, SEUNGHWAN YOO: "Video Super-Resolution With Convolutional Neural Networks", 《IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》 * |
| CHAO DONG,CHEN CHANGE LOY: "Image super-resolution using deep convolutional networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112015618A (zh) * | 2020-08-17 | 2020-12-01 | 杭州指令集智能科技有限公司 | 异常告警方法及装置 |
| CN112819218A (zh) * | 2021-01-27 | 2021-05-18 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 高分辨率城市移动源污染时空预测方法、系统及存储介质 |
| CN112819218B (zh) * | 2021-01-27 | 2022-05-06 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 高分辨率城市移动源污染时空预测方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109862299B (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11870947B2 (en) | Generating images using neural networks | |
| CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
| CN107481209B (zh) | 一种基于卷积神经网络的图像或视频质量增强方法 | |
| US8103603B2 (en) | Trainable hierarchical memory system and method | |
| Sønderby et al. | Recurrent spatial transformer networks | |
| CN105072373B (zh) | 基于双向循环卷积网络的视频超分辨率方法和系统 | |
| US20210056357A1 (en) | Systems and methods for implementing flexible, input-adaptive deep learning neural networks | |
| CN105681057B (zh) | 群头像更新方法及装置 | |
| Jin et al. | Quality enhancement for intra frame coding via cnns: An adversarial approach | |
| US20100131445A1 (en) | Method of data transmission with differential data fusion | |
| CN109862299A (zh) | 分辨率的处理方法及装置 | |
| CN102693528A (zh) | 低光度图像中的噪声抑制 | |
| US20220067888A1 (en) | Image processing method and apparatus, storage medium, and electronic device | |
| CN101169867A (zh) | 图像分割方法、图像处理设备及系统 | |
| CN113238867A (zh) | 一种基于网络卸载的联邦学习方法 | |
| CN109299487B (zh) | 神经网络系统、加速器、建模方法及装置、介质及系统 | |
| CN115330631A (zh) | 一种基于堆叠沙漏网络的多尺度融合去雾方法 | |
| EP3982588A1 (en) | Homomorphic operation accelerator and homomorphic operation performing device including the same | |
| CN113902623A (zh) | 引入尺度信息的任意倍视频超分辨率方法 | |
| Hou et al. | Multi-dimensional dynamic model compression for efficient image super-resolution | |
| US20240062347A1 (en) | Multi-scale fusion defogging method based on stacked hourglass network | |
| CN117078539A (zh) | 基于CNN-Transformer的局部全局交互式图像恢复方法 | |
| CN111640061A (zh) | 一种自适应图像超分辨率系统 | |
| US20220327663A1 (en) | Video Super-Resolution using Deep Neural Networks | |
| Birman et al. | Intra prediction with deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230328 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210827 |