CN106127684A - 基于双向递归卷积神经网络的图像超分辨率增强方法 - Google Patents
基于双向递归卷积神经网络的图像超分辨率增强方法 Download PDFInfo
- Publication number
- CN106127684A CN106127684A CN201610458327.2A CN201610458327A CN106127684A CN 106127684 A CN106127684 A CN 106127684A CN 201610458327 A CN201610458327 A CN 201610458327A CN 106127684 A CN106127684 A CN 106127684A
- Authority
- CN
- China
- Prior art keywords
- low
- resolution
- resolution image
- block
- definition picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 46
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000007935 neutral effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 5
- 230000006866 deterioration Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种基于双向递归卷积神经网络的图像超分辨率增强方法,包括模型训练和分辨率增强两部分;模型训练:获取多组包含有完全相同内容的高、低分辨率图像,并通过滑动窗口的方法提取高、低分辨率图像块序列,进而训练双向递归卷积神经网络模型;分辨率增强:将待处理低分辨率图像通过滑动窗口的方法分割成一组待处理低分辨率图像块,通过训练好的双向递归卷积神经网络模型生成对应的高分辨率图像块并融合为对应的高分辨率图像。该方法充分利用了双向递归卷积神经网络学习相邻图像块空间位置关系,进而得到包含有更多边缘纹理等细节信息的高分辨率图像。
Description
技术领域
本发明涉及数字图像处理、机器学习、计算机视觉领域,特别涉及基于双向递归卷积神经网络的图像超分辨率增强方法。
背景技术
随着相机、手机等数字成像设备的普及,数字图像在人类接受信息的方式途径中扮演着越来越重要的角色。图像分辨率是指一幅数字图像中所包含的像素点的数目,越高的分辨率意味着图像中包含有越多的细节信息。然而受限于有限分辨率的成像硬件设备,人们无法获取到具有非常高分辨率的图像。因此如何提升已有低分辨率图像的分辨率具有巨大的实际应用价值。图像超分辨率增强是指根据输入的单幅或者多幅序列低分辨率图像生成一张高分辨率图像的过程。
传统的基于样本图像超分辨率算法中,基本流程均是针对输入的低分辨率图像块产生其对应的高分辨率图像块,在由高分辨率图像块融合生成高分辨率图像的过程中大都采用在相邻图像块重叠区域进行平均操作。简单的平均处理难以保持相邻图像块之间的连续性和一致性,也忽略了图像块之间潜在的空间位置关系,然而这种空间位置关系可以很好地被用来保持高分辨率图像中的边缘纹理信息,而且在生成高分辨率图像块的过程中同时利用相邻图像块的信息有利于生成更多更丰富的细节信息。双向递归卷积神经网络已经成功应用于诸多计算机视觉任务中,被证明为可以有效地对空间位置关系进行建模。因此本发明从利用双向卷积神经网络对相邻图像块空间关系进行建模入手,提出了一种基于双向递归卷积神经网络的图像超分辨率增强方法,很好地弥补了传统方法中忽略相邻图像块空间关系的缺陷,得到了一种包含有更多边缘纹理等细节信息的图像超分辨率增强结果。
发明内容
本发明提出一种基于双向递归卷积神经网络的图像超分辨率增强方法,充分利用了双向递归卷积神经网络学习相邻图像块空间位置关系,进而得到包含有更多边缘纹理等细节信息的高分辨率图像。
本发明提出的基于双向递归卷积神经网络的图像超分辨率增强方法,包括模型训练和分辨率增强两部分;
模型训练:
步骤A1,获取多组包含有完全相同内容的高、低分辨率图像;对每张低分辨率图像通过滑动窗口的方法提取一组低分辨率图像块,同一张低分辨率图像中连续M个空间位置上依次相邻的低分辨率图像块组合形成一个训练样本;提取每张高分辨率图像中与低分辨率图像块位置对应的高分辨率图像块作为该训练样本的标签;
步骤A2,利用所述的训练样本和训练样本的标签进行双向递归卷积神经网络模型的训练;
分辨率增强:
步骤B1,将待处理低分辨率图像通过滑动窗口的方法分割成一组待处理低分辨率图像块,同一张待处理低分辨率图像中连续的空间位置上依次相邻的低分辨率图像块组合形成一个待处理样本序列,并保存每个低分辨率图像块在图像中的对应位置;
步骤B2,将所述待处理样本序列输入到步骤A2训练好的双向递归卷积神经网络模型中,输出待处理样本序列中各待处理低分辨率图像块对应的高分辨率图像块,将输出的高分辨率图像块按照对应低分辨率图像块在图像中的位置进行融合,从而生成高分辨率图像。
所述双向递归卷积神经网络模型进行训练的目标函数为
其中表示第i个训练样本中第j个低分辨率图像块,表示对应的真实高分辨率图像块,N为训练样本的个数,M为每个训练样本中空间上相邻的图像块的个数;θ表示双向递归卷积神经网络中隐节点之间的递归连接参数,负责对相邻图像块间的空间位置关系进行学习,根据学习的空间位置关系方向的不同该参数可以进一步表示为:θ=[θF,θB],其中θF表示为前向递归连接参数,θB表示后向递归连接参数;W表示双向递归卷积神经网络中输入低分辨率图像块到输出高分辨率图像块之间的连接参数,负责由低分辨率图像块到高分辨率图像块之间映射关系的学习;表示将低分辨率图像块输入到双向递归卷积神经网络生成的高分辨率图像块;
通过最小化目标函数E来求取参数θ,W的最优估计值
所述双向递归卷积神经网络模型生成高分辨率图像块的具体公式如下:
其中为第i个训练样本中空间上依次相邻的低分辨率图像块;表示利用与其之前的低分辨率图像块的信息生成的高分辨率图像块;表示利用与其之后的低分辨率图像块的信息生成的高分辨率图像块。
所述高分辨率图像块和的公示如下:
其中
其中
所述获取多组包含有完全相同内容的高、低分辨率图像的方法为:选取高分辨率图像构成训练原始数据,将训练原始数据中的高分辨率图像模拟生成低分辨率图像。
采用图像降质观测模型将高分辨率图像模拟生成低分辨率图像,具体为:
对高分辨率图像首先进行高斯模糊,接着利用双三次插值方法进行百分比缩放,然后对得到的缩小的低分辨率图像使用双三次插值的方式放大至对应的高分辨率图像的原有尺寸。
利用双三次插值方法进行两个或两个以上尺寸的百分比缩放得到多个缩小尺寸的低分辨率图像,基于一个高分辨率图像生成多个高、低分辨率图像组。
百分比缩放的尺寸可以为高分辨率图像的尺寸的二分之一或三分之一或四分之一。
本发明通过利用双向递归卷积神经网络,能够学习到高低分辨率图像之间更加准确的映射关系;通过双向递归卷积神经网络中递归的网络结构,能够明显提升高分辨率图像块生成过程中的感受野大小;通过双向递归卷积神经网络对相邻图像块空间位置关系的学习,能够充分利用相邻图像块之间的一致性约束,在结果高分辨率图像中的保留更多的细节信息。
附图说明
图1本发明技术方案流程框图;
图2双向递归卷积神经网络结构图。
具体实施方式
下面将结合附图对本发明加以详细说明,应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
本发明的思想要点是:1)本发明利用双向递归卷积神经网络对图像中相邻图像块空间位置关系进行学习,并以此来辅助高低分辨率图像间映射关系的学习;2)本发明利用双向递归卷积神经网络中的递归结构提升高分辨率图像块生成过程中的感受野大小,提升生成的高分辨率图像块的准确性;3)本发明有效利用相邻图像块之间的一致性约束,丰富结果高分辨率图像中的边缘纹理等细节信息。
本发明的技术方案流程框图如图1所示,包括模型训练和分辨率增强两部分
模型训练:
步骤A1,训练数据生成:获取多组包含有完全相同内容的高、低分辨率图像;对每张低分辨率图像通过滑动窗口的方法提取一组低分辨率图像块,同一张低分辨率图像中连续M个空间位置上依次相邻的低分辨率图像块组合形成一个训练样本;提取每张高分辨率图像中与低分辨率图像块位置对应的高分辨率图像块作为该训练样本的标签。
大规模的可用数据是采用深度学习的前提条件。本发明中采用的是包含有91张自然场景高分辨率图像的数据集。由于实际中无法同时收集到包含有完全相同内容的高低分辨率图像,因此,本发明选取高分辨率图像构成训练原始数据,采用图像降质观测模型将训练原始数据中的高分辨率图像模拟生成低分辨率图像,具体为:对训练原始数据中的高分辨率图像进行高斯模糊后利用双三次插值方法将其尺寸进行等比例缩小后作为对应的缩小的低分辨率图像,本实施例中等比例缩小的尺寸为原有尺寸的二分之一、三分之一、四分之一等,接着对得到的缩小的低分辨率图像使用双三次插值的方式放大至对应的高分辨率图像的原有尺寸;将得到的每张低分辨率图像与其对应的高分辨率图像构成高、低分辨率图像组,对每个高、低分辨率图像组中低分辨率图像和高分辨率图像以滑动窗口的方式产生对应的高、低分辨率图像块,具体为:对每张低分辨率图像通过滑动窗口的方法提取一组低分辨率图像块,同一张低分辨率图像中连续M个空间位置上依次相邻的低分辨率图像块组合形成一个训练样本;提取每张高分辨率图像中与低分辨率图像块位置对应的高分辨率图像块作为该训练样本的标签。
本发明中构造了不同缩放倍数下的训练数据并分别进行了训练,得到了针对不同放大倍数的双向递归卷积神经网络模型。
步骤A2,双向递归卷积神经网络的模型训练:利用所述的训练样本和训练样本的标签进行双向递归卷积神经网络模型的训练。
本发明中双向递归卷积神经网络模型进行训练的目标函数如公式(1)所示;
其中E为整个网络训练的目标损失函数,为第i个训练样本中第j个低分辨率图像块,为对应于的真实高分辨率图像块。N为训练样本的个数,M为每个训练样本中空间上相邻的图像块的个数。表示将低分辨率图像块输入到双向递归卷积神经网络生成的高分辨率图像块。θ表示双向递归卷积神经网络中隐节点之间的递归连接参数,负责对相邻图像块间的空间位置关系进行学习,根据学习的空间位置关系方向的不同该参数可以进一步表示为:θ=[θF,θB],其中θF表示前向递归连接参数,θB表示后向递归连接参数。W表示双向递归卷积神经网络中输入低分辨率图像块到输出高分辨率图像块之间的连接参数,负责由低分辨率图像块到高分辨率图像块之间映射关系的学习。
本发明中主要通过最小化网络生成的高分辨率图像块与真实高分辨率图像块之间的均方根误差对模型进行训练,即通过最小化目标函数E来求取参数θ,W的最优估计值如公式(2)所示
利用双向递归卷积神经网络模型生成高分辨率图像块时,充分利用了输入的低分辨率图像块及与其相邻的低分辨率图像块的信息进行高分辨率图像块的生成;生成的高分辨率图像块可以进一步表示为公式(3):
其中为第i个训练样本中空间上依次相邻的低分辨率图像块,如同一行中从左到右依次相邻的低分辨率图像块、同一列中从上到下依次相邻的低分辨率图像块等。表示利用与其之前的低分辨率图像块生成高分辨率图像块。表示利用与其之后的低分辨率图像块生成高分辨率图像块。公式(3)表明双向递归卷积神经网络利用输入低分辨率图像块前后两个方向上的相邻图像块的信息融合产生高分辨率图像块。
附图2显示了双向递归卷积神经网络的结构,图中下半部分为前向递归卷积神经网络,上半部分为后向递归卷积神经网络。图中为空间上依次相邻的输入低分辨率图像块,为对应的网络生成的高分辨率图像块,分别为对应于不同输入低分辨率图像块的隐节点。前向递归连接参数θF可以进一步表示为θF=[θF1,θF2],θF1表示前向网络中第一层隐节点之间的递归连接参数,θF2表示前向网络中第二层隐节点之间的递归连接参数,如图中所示。同理后向递归连接参数θB可以进一步表示为θB=[θB1,θB2],θB1表示后向网络中第一层隐节点之间的递归连接参数,θB2表示后向网络中第二层隐节点之间的递归连接参数。参数W可以进一步表示为W=[W1,W2,W3],W1表示输入低分辨率图像块到第一层隐节点之间的连接参数,W2表示第一层隐节点到第二层隐节点之间的连接参数,W3则表示第二层隐节点到输出高分辨率图像块之间的连接参数,如图中所示。
现以前向为例具体介绍递归卷积神经网络生成高分辨率图像块的过程:
1)隐节点计算如公式(4)所示:
其中σ为节点的非线性激励函数,*为卷积操作。
2)隐节点计算如公式(5)所示:
3)输出高分辨率图像块计算如公式(6)所示:
后向递归卷积神经网络生成高分辨率图像块过程类似,两者生成的高分辨率图像块加和平均生成最终的高分辨率图像块如公式(3)所示。
本实施例中,公式(3)中的高分辨率图像块和的计算如公式(7)、(8)所示:
其中
其中
分辨率增强:
步骤B1,低分辨率图像预处理:首先将输入的低分辨率图像的像素值归一化0到1区间,接着使用双三次插值的方式缩放到目标尺寸;将待处理低分辨率图像通过滑动窗口的方法分割成一组待处理低分辨率图像块,同一张待处理低分辨率图像中连续的空间位置上依次相邻的低分辨率图像块组合形成一个待处理样本序列,并保存每个低分辨率图像块在图像中的对应位置;
步骤B2,利用训练好的双向递归卷积神经网络模型生成高分辨率图像:将所述待处理样本序列输入到步骤A2训练好的双向递归卷积神经网络模型中,输出待处理样本序列中各待处理低分辨率图像块对应的高分辨率图像块,将输出的高分辨率图像块按照对应低分辨率图像块在图像中的位置进行融合,从而生成高分辨率图像。
本发明提出了一种新的基于双向递归卷积神经网络的图像超分辨率增强方法很好地利用了双向递归卷积神经网络对相邻图像块空间位置关系建模的能力,得到了具有更高峰值信噪比且包含有更多边缘纹理等细节信息的结果高分辨率图像,进而说明了相邻图像块空间位置关系对图像超分辨率的有效性。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (8)
1.基于双向递归卷积神经网络的图像超分辨率增强方法,其特征在于,包括模型训练和分辨率增强两部分;
模型训练:
步骤A1,获取多组包含有完全相同内容的高、低分辨率图像;对每张低分辨率图像通过滑动窗口的方法提取一组低分辨率图像块,同一张低分辨率图像中连续M个空间位置上依次相邻的低分辨率图像块组合形成一个训练样本;提取每张高分辨率图像中与低分辨率图像块位置对应的高分辨率图像块作为该训练样本的标签;
步骤A2,利用所述的训练样本和训练样本的标签进行双向递归卷积神经网络模型的训练;
分辨率增强:
步骤B1,将待处理低分辨率图像通过滑动窗口的方法分割成一组待处理低分辨率图像块,同一张待处理低分辨率图像中连续的空间位置上依次相邻的低分辨率图像块组合形成一个待处理样本序列,并保存每个低分辨率图像块在图像中的对应位置;
步骤B2,将所述待处理样本序列输入到步骤A2训练好的双向递归卷积神经网络模型中,输出待处理样本序列中各待处理低分辨率图像块对应的高分辨率图像块,将输出的高分辨率图像块按照对应低分辨率图像块在图像中的位置进行融合,从而生成高分辨率图像。
2.如权利要求1所述的方法,其特征在于,所述双向递归卷积神经网络模型进行训练的目标函数为
其中表示第i个训练样本中第j个低分辨率图像块,Yi j表示对应的真实高分辨率图像块,N为训练样本的个数,M为每个训练样本中空间上相邻的图像块的个数;θ表示双向递归卷积神经网络中隐节点之间的递归连接参数,负责对相邻图像块间的空间位置关系进行学习,根据学习的空间位置关系方向的不同该参数可以进一步表示为:θ=[θF,θB],其中θF表示为前向递归连接参数,θB表示后向递归连接参数;W表示双向递归卷积神经网络中输入低分辨率图像块到输出高分辨率图像块之间的连接参数,负责由低分辨率图像块到高分辨率图像块之间映射关系的学习;表示将低分辨率图像块输入到双向递归卷积神经网络生成的高分辨率图像块;
通过最小化目标函数E来求取参数θ,W的最优估计值
3.根据权利2所述方法,其特征在于,所述双向递归卷积神经网络模型生成高分辨率图像块的具体公式如下:
其中为第i个训练样本中空间上依次相邻的低分辨率图像块;表示利用与其之前的低分辨率图像块的信息生成的高分辨率图像块;表示利用与其之后的低分辨率图像块的信息生成的高分辨率图像块。
4.根据权利3所述方法,其特征在于,所述高分辨率图像块和的公示如下:
其中
其中
5.根据权利1~4中任一项所述方法,其特征在于,所述获取多组包含有完全相同内容的高、低分辨率图像的方法为:选取高分辨率图像构成训练原始数据,将训练原始数据中的高分辨率图像模拟生成低分辨率图像。
6.根据权利5所述方法,其特征在于,采用图像降质观测模型将高分辨率图像模拟生成低分辨率图像,具体为:
对高分辨率图像首先进行高斯模糊,接着利用双三次插值方法进行百分比缩放,然后对得到的缩小的低分辨率图像使用双三次插值的方式放大至对应的高分辨率图像的原有尺寸。
7.根据权利6所述方法,其特征在于,利用双三次插值方法进行两个或两个以上尺寸的百分比缩放得到多个缩小尺寸的低分辨率图像,基于一个高分辨率图像生成多个高、低分辨率图像组。
8.根据权利7所述方法,其特征在于,百分比缩放的尺寸可以为高分辨率图像的尺寸的二分之一或三分之一或四分之一。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610458327.2A CN106127684B (zh) | 2016-06-22 | 2016-06-22 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610458327.2A CN106127684B (zh) | 2016-06-22 | 2016-06-22 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106127684A true CN106127684A (zh) | 2016-11-16 |
CN106127684B CN106127684B (zh) | 2019-03-15 |
Family
ID=57269332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610458327.2A Active CN106127684B (zh) | 2016-06-22 | 2016-06-22 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106127684B (zh) |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
CN106683048A (zh) * | 2016-11-30 | 2017-05-17 | 浙江宇视科技有限公司 | 一种图像超分辨率方法及设备 |
CN107392868A (zh) * | 2017-07-21 | 2017-11-24 | 深圳大学 | 基于全卷积神经网络的压缩双目图像质量增强方法及装置 |
CN107392865A (zh) * | 2017-07-01 | 2017-11-24 | 广州深域信息科技有限公司 | 一种人脸图像的复原方法 |
CN107464217A (zh) * | 2017-08-16 | 2017-12-12 | 清华-伯克利深圳学院筹备办公室 | 一种图像处理方法及装置 |
CN107527322A (zh) * | 2017-09-27 | 2017-12-29 | 杭州群核信息技术有限公司 | 渲染方法、装置、引擎及存储介质 |
CN107680042A (zh) * | 2017-09-27 | 2018-02-09 | 杭州群核信息技术有限公司 | 渲染方法、装置、引擎及存储介质 |
CN107742317A (zh) * | 2017-09-27 | 2018-02-27 | 杭州群核信息技术有限公司 | 一种渲染图像的获取方法、装置、渲染系统及存储介质 |
CN107967514A (zh) * | 2016-10-20 | 2018-04-27 | 宏达国际电子股份有限公司 | 卷积网络装置及其影像强化装置与方法 |
CN108009989A (zh) * | 2017-12-18 | 2018-05-08 | 华中科技大学 | 一种基于srcnn的微波遥感图像超分辨率重建方法 |
CN108182669A (zh) * | 2018-01-02 | 2018-06-19 | 华南理工大学 | 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法 |
CN108460726A (zh) * | 2018-03-26 | 2018-08-28 | 厦门大学 | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 |
CN108492249A (zh) * | 2018-02-08 | 2018-09-04 | 浙江大学 | 基于小卷积递归神经网络的单帧超分辨重建方法 |
CN108596334A (zh) * | 2018-03-23 | 2018-09-28 | 大国创新智能科技(东莞)有限公司 | 基于双向深度学习的数据对应关系判断、生成方法和系统 |
CN108765343A (zh) * | 2018-05-29 | 2018-11-06 | Oppo(重庆)智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
CN108830816A (zh) * | 2018-06-27 | 2018-11-16 | 厦门美图之家科技有限公司 | 图像增强方法及装置 |
CN108846800A (zh) * | 2018-05-30 | 2018-11-20 | 武汉大学 | 一种图像超分辨率重建的无参考图像质量评价方法 |
CN109427061A (zh) * | 2017-08-31 | 2019-03-05 | 宏达国际电子股份有限公司 | 影像切割方法及装置 |
WO2019128797A1 (zh) * | 2017-12-26 | 2019-07-04 | 同方威视技术股份有限公司 | 图像处理方法、装置及计算机可读存储介质 |
CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
CN110087084A (zh) * | 2018-01-25 | 2019-08-02 | 联咏科技股份有限公司 | 视频处理装置及视频处理方法 |
CN110147753A (zh) * | 2019-05-17 | 2019-08-20 | 电子科技大学 | 一种检测图像中小物体的方法及装置 |
CN110537369A (zh) * | 2017-04-21 | 2019-12-03 | 株式会社半导体能源研究所 | 图像处理方法及图像接收装置 |
US10600167B2 (en) | 2017-01-18 | 2020-03-24 | Nvidia Corporation | Performing spatiotemporal filtering |
CN110996138A (zh) * | 2019-12-17 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 一种视频标注方法、设备及存储介质 |
CN111034183A (zh) * | 2017-09-04 | 2020-04-17 | 株式会社半导体能源研究所 | 图像处理方法、半导体装置及电子设备 |
CN111383172A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 神经网络模型的训练方法、装置及智能终端 |
CN111429357A (zh) * | 2020-03-31 | 2020-07-17 | 广州市百果园信息技术有限公司 | 训练数据确定方法、视频处理方法、装置、设备及介质 |
CN111555990A (zh) * | 2020-04-27 | 2020-08-18 | 上海大学 | 基于长短时记忆残差网络的信道插值估计方法 |
CN111819676A (zh) * | 2018-03-28 | 2020-10-23 | 科磊股份有限公司 | 训练用于低分辨率图像中的缺陷检测的神经网络 |
CN112258483A (zh) * | 2020-10-23 | 2021-01-22 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销插托错位和螺母丢失故障检测方法 |
CN114539586A (zh) * | 2022-04-27 | 2022-05-27 | 河南银金达新材料股份有限公司 | 一种聚合物膜的表面处理生产工艺 |
US11678029B2 (en) | 2019-12-17 | 2023-06-13 | Tencent Technology (Shenzhen) Company Limited | Video labeling method and apparatus, device, and computer-readable storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106508045B (zh) * | 2011-12-05 | 2014-08-27 | 中国科学院自动化研究所 | 一种基于图像边缘保持自适应分解的超分辨率重建方法 |
US9207759B1 (en) * | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
-
2016
- 2016-06-22 CN CN201610458327.2A patent/CN106127684B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106508045B (zh) * | 2011-12-05 | 2014-08-27 | 中国科学院自动化研究所 | 一种基于图像边缘保持自适应分解的超分辨率重建方法 |
US9207759B1 (en) * | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
Non-Patent Citations (1)
Title |
---|
徐冉等: "利用双通道卷积神经网络的图像超分辨率算法", 《中国图象图形学报》 * |
Cited By (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107967514A (zh) * | 2016-10-20 | 2018-04-27 | 宏达国际电子股份有限公司 | 卷积网络装置及其影像强化装置与方法 |
CN106683048A (zh) * | 2016-11-30 | 2017-05-17 | 浙江宇视科技有限公司 | 一种图像超分辨率方法及设备 |
CN106683048B (zh) * | 2016-11-30 | 2020-09-01 | 浙江宇视科技有限公司 | 一种图像超分辨率方法及设备 |
CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
TWI764974B (zh) * | 2017-01-18 | 2022-05-21 | 美商輝達公司 | 使用一類神經網路過濾影像資料 |
US11113800B2 (en) | 2017-01-18 | 2021-09-07 | Nvidia Corporation | Filtering image data using a neural network |
US10600167B2 (en) | 2017-01-18 | 2020-03-24 | Nvidia Corporation | Performing spatiotemporal filtering |
US11238559B2 (en) | 2017-04-21 | 2022-02-01 | Semiconductor Energy Laboratory Co., Ltd. | Image processing method and image receiving apparatus |
CN110537369A (zh) * | 2017-04-21 | 2019-12-03 | 株式会社半导体能源研究所 | 图像处理方法及图像接收装置 |
CN110537369B (zh) * | 2017-04-21 | 2021-07-13 | 株式会社半导体能源研究所 | 图像处理方法及图像接收装置 |
CN107392865B (zh) * | 2017-07-01 | 2020-08-07 | 广州深域信息科技有限公司 | 一种人脸图像的复原方法 |
CN107392865A (zh) * | 2017-07-01 | 2017-11-24 | 广州深域信息科技有限公司 | 一种人脸图像的复原方法 |
CN107392868A (zh) * | 2017-07-21 | 2017-11-24 | 深圳大学 | 基于全卷积神经网络的压缩双目图像质量增强方法及装置 |
CN107464217A (zh) * | 2017-08-16 | 2017-12-12 | 清华-伯克利深圳学院筹备办公室 | 一种图像处理方法及装置 |
CN109427061B (zh) * | 2017-08-31 | 2020-11-17 | 宏达国际电子股份有限公司 | 影像切割方法及装置 |
CN109427061A (zh) * | 2017-08-31 | 2019-03-05 | 宏达国际电子股份有限公司 | 影像切割方法及装置 |
JP7129986B2 (ja) | 2017-09-04 | 2022-09-02 | 株式会社半導体エネルギー研究所 | 画像処理方法および半導体装置、ならびに電子機器 |
CN111034183A (zh) * | 2017-09-04 | 2020-04-17 | 株式会社半导体能源研究所 | 图像处理方法、半导体装置及电子设备 |
CN111034183B (zh) * | 2017-09-04 | 2022-05-13 | 株式会社半导体能源研究所 | 图像处理方法、半导体装置及电子设备 |
JP7395680B2 (ja) | 2017-09-04 | 2023-12-11 | 株式会社半導体エネルギー研究所 | 半導体装置 |
JPWO2019043525A1 (ja) * | 2017-09-04 | 2020-10-15 | 株式会社半導体エネルギー研究所 | 画像処理方法および半導体装置、ならびに電子機器 |
CN107527322A (zh) * | 2017-09-27 | 2017-12-29 | 杭州群核信息技术有限公司 | 渲染方法、装置、引擎及存储介质 |
CN107527322B (zh) * | 2017-09-27 | 2020-08-04 | 杭州群核信息技术有限公司 | 结合卷积神经网络的渲染方法、装置、引擎及存储介质 |
CN107680042A (zh) * | 2017-09-27 | 2018-02-09 | 杭州群核信息技术有限公司 | 渲染方法、装置、引擎及存储介质 |
CN107680042B (zh) * | 2017-09-27 | 2020-03-31 | 杭州群核信息技术有限公司 | 结合纹理及卷积网络的渲染方法、装置、引擎及存储介质 |
CN107742317A (zh) * | 2017-09-27 | 2018-02-27 | 杭州群核信息技术有限公司 | 一种渲染图像的获取方法、装置、渲染系统及存储介质 |
CN108009989A (zh) * | 2017-12-18 | 2018-05-08 | 华中科技大学 | 一种基于srcnn的微波遥感图像超分辨率重建方法 |
US10884156B2 (en) | 2017-12-26 | 2021-01-05 | Nuctech Company Limited | Image processing method, device, and computer readable storage medium |
WO2019128797A1 (zh) * | 2017-12-26 | 2019-07-04 | 同方威视技术股份有限公司 | 图像处理方法、装置及计算机可读存储介质 |
CN108182669A (zh) * | 2018-01-02 | 2018-06-19 | 华南理工大学 | 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法 |
CN110087084B (zh) * | 2018-01-25 | 2022-03-18 | 联咏科技股份有限公司 | 视频处理装置及视频处理方法 |
CN110087084A (zh) * | 2018-01-25 | 2019-08-02 | 联咏科技股份有限公司 | 视频处理装置及视频处理方法 |
CN108492249B (zh) * | 2018-02-08 | 2020-05-12 | 浙江大学 | 基于小卷积递归神经网络的单帧超分辨重建方法 |
CN108492249A (zh) * | 2018-02-08 | 2018-09-04 | 浙江大学 | 基于小卷积递归神经网络的单帧超分辨重建方法 |
CN108596334A (zh) * | 2018-03-23 | 2018-09-28 | 大国创新智能科技(东莞)有限公司 | 基于双向深度学习的数据对应关系判断、生成方法和系统 |
CN108596334B (zh) * | 2018-03-23 | 2021-01-01 | 大国创新智能科技(东莞)有限公司 | 基于双向深度学习的数据对应关系判断、生成方法和系统 |
CN108460726B (zh) * | 2018-03-26 | 2020-08-11 | 厦门大学 | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 |
CN108460726A (zh) * | 2018-03-26 | 2018-08-28 | 厦门大学 | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 |
CN111819676B (zh) * | 2018-03-28 | 2022-01-14 | 科磊股份有限公司 | 训练用于低分辨率图像中的缺陷检测的神经网络 |
CN111819676A (zh) * | 2018-03-28 | 2020-10-23 | 科磊股份有限公司 | 训练用于低分辨率图像中的缺陷检测的神经网络 |
CN108765343A (zh) * | 2018-05-29 | 2018-11-06 | Oppo(重庆)智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
CN108765343B (zh) * | 2018-05-29 | 2021-07-20 | Oppo(重庆)智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
CN108846800A (zh) * | 2018-05-30 | 2018-11-20 | 武汉大学 | 一种图像超分辨率重建的无参考图像质量评价方法 |
CN108830816B (zh) * | 2018-06-27 | 2020-12-04 | 厦门美图之家科技有限公司 | 图像增强方法及装置 |
CN108830816A (zh) * | 2018-06-27 | 2018-11-16 | 厦门美图之家科技有限公司 | 图像增强方法及装置 |
CN111383172A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 神经网络模型的训练方法、装置及智能终端 |
CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
CN110147753A (zh) * | 2019-05-17 | 2019-08-20 | 电子科技大学 | 一种检测图像中小物体的方法及装置 |
WO2021120814A1 (zh) * | 2019-12-17 | 2021-06-24 | 腾讯科技(深圳)有限公司 | 一种视频标注方法及装置、设备、计算机可读存储介质 |
CN110996138B (zh) * | 2019-12-17 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 一种视频标注方法、设备及存储介质 |
CN110996138A (zh) * | 2019-12-17 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 一种视频标注方法、设备及存储介质 |
US11678029B2 (en) | 2019-12-17 | 2023-06-13 | Tencent Technology (Shenzhen) Company Limited | Video labeling method and apparatus, device, and computer-readable storage medium |
CN111429357A (zh) * | 2020-03-31 | 2020-07-17 | 广州市百果园信息技术有限公司 | 训练数据确定方法、视频处理方法、装置、设备及介质 |
CN111555990A (zh) * | 2020-04-27 | 2020-08-18 | 上海大学 | 基于长短时记忆残差网络的信道插值估计方法 |
CN112258483B (zh) * | 2020-10-23 | 2021-07-06 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销插托错位和螺母丢失故障检测方法 |
CN112258483A (zh) * | 2020-10-23 | 2021-01-22 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销插托错位和螺母丢失故障检测方法 |
CN114539586A (zh) * | 2022-04-27 | 2022-05-27 | 河南银金达新材料股份有限公司 | 一种聚合物膜的表面处理生产工艺 |
CN114539586B (zh) * | 2022-04-27 | 2022-07-19 | 河南银金达新材料股份有限公司 | 一种聚合物膜的表面处理生产和检测工艺 |
Also Published As
Publication number | Publication date |
---|---|
CN106127684B (zh) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106127684A (zh) | 基于双向递归卷积神经网络的图像超分辨率增强方法 | |
CN109509152B (zh) | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 | |
CN111275618B (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
WO2017219263A1 (zh) | 基于双向递归卷积神经网络的图像超分辨率增强方法 | |
CN106228512A (zh) | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 | |
CN106981080A (zh) | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 | |
CN107590775B (zh) | 一种利用回归树场的图像超分辨率放大方法 | |
CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN106022363A (zh) | 一种适用于自然场景下的中文文字识别方法 | |
CN110930306B (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
JP7344987B2 (ja) | 農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステム | |
CN112489050A (zh) | 一种基于特征迁移的半监督实例分割算法 | |
CN109993702A (zh) | 基于生成对抗网络的满文图像超分辨率重建方法 | |
CN114841859A (zh) | 基于轻量神经网络和Transformer的单图像超分辨率重建方法 | |
CN112017116A (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
CN111861886A (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
CN109272450B (zh) | 一种基于卷积神经网络的图像超分方法 | |
CN106023152B (zh) | 一种无参考立体图像质量客观评价方法 | |
CN112686913B (zh) | 基于边界注意力一致性的目标边界检测和目标分割模型 | |
CN113536926A (zh) | 基于距离向量和多角度自适应网络的人体动作识别方法 | |
CN109087247B (zh) | 一种对立体图像进行超分的方法 | |
JP7218959B2 (ja) | 差分比較学習に基づく深度マップ合成方法 | |
CN110009568A (zh) | 满文图像超分辨率重建的生成器构建方法 | |
CN111931566B (zh) | 一种基于图像处理的人脸卡通形象设计方法 | |
CN103559683A (zh) | 基于多视图流行低秩表示的受损图像修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |