CN112150384A - 一种基于残差网络与动态卷积网络模型融合的方法及系统 - Google Patents

一种基于残差网络与动态卷积网络模型融合的方法及系统 Download PDF

Info

Publication number
CN112150384A
CN112150384A CN202011049794.2A CN202011049794A CN112150384A CN 112150384 A CN112150384 A CN 112150384A CN 202011049794 A CN202011049794 A CN 202011049794A CN 112150384 A CN112150384 A CN 112150384A
Authority
CN
China
Prior art keywords
network
image
module
residual error
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011049794.2A
Other languages
English (en)
Inventor
冷聪
李成华
于浩东
周波
程健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Original Assignee
Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences, Zhongke Fangcun Zhiwei Nanjing Technology Co ltd filed Critical Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Priority to CN202011049794.2A priority Critical patent/CN112150384A/zh
Publication of CN112150384A publication Critical patent/CN112150384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4046Scaling the whole image or part thereof using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本发明提出了一种基于残差网络与动态卷积网络模型融合的方法及系统,包括以下步骤:首先,组建用于构建机器学习训练的图像数据集;其次,构建多个训练网络,将数据集放入学习;再次,融合网络模型输出结果集,并在融合过程中使用crop‑ensemble方法对图像进行处理,将生成的结果进行像素的加权求值;最后,得到特定位置的像素值。本发明利用非局部残差网络与双路径动态卷积网络的模型融合,并通过使用剪裁增强方法,得到远高于单独模型的结果。

Description

一种基于残差网络与动态卷积网络模型融合的方法及系统
技术领域
本发明涉及一种基于残差网络与动态卷积网络模型融合的方法及系统,涉及一般的图像数据处理和基于机器学习图像去噪技术,尤其涉及基于深度学习的计算机视觉领域。
背景技术
真实场景超分和传统超分的区别在于真实场景中存在着较为复杂的降质方式,在低分辨率图像中会存在较多的噪声以及一定程度上的模糊,这就使得算法在学习的过程中可以使用的有用信息减少许多,对算法学习能力的要求也就更高。
现有技术中,不同的模型算法都是写在不同的代码框架下,需要多个算法的结果进行融合时只能单独把每个算法都跑一遍,将所有算法的结果都存储好,之后再对这些不同的超分辨率结果进行二次读取,来取其像素值的平均,浪费时间的同时也会浪费空间。同时针对需要对裁剪后才可放入训练网络的图像在剪裁和拼接时会出现伪影的现象。
发明内容
发明目的:一个目的是提出一种基于残差网络与动态卷积网络模型融合的方法,以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。
技术方案:一种基于残差网络与动态卷积网络模型融合的方法,包括以下步骤:
步骤1、组建图像集,用于模型对真实场景中有用信息的学习;
步骤2、构建学习训练网络,将获得的训练集放入学习网络中,进行网络训练;其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络;
步骤3、对生成对应网络学习的结果集进行网络模型融合,并在融合过程中利用crop-ensemble方法;其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合,具体为通过将所有网络集成到一个代码框架下,利用求均值操作实现;其中所述crop-ensemble方法为剪裁增强方法,用于避免在剪切,合并图片时在接缝处产生伪影的情况;
步骤4、获得最终处理过的图像结果。
在进一步的实施例中,所述步骤2进一步为:学习训练网络中所述的非局部深度残差网络为改进的深度残差网络,其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息;
非局部模块接收输入X′(H×W×C),并将其变成两个维度的输入X(HW×C),其中非局部操作为:
Figure BDA0002709191420000021
其中i是输出位置上的索引,其输出计算的是相似信息,j是枚举所有可能的位置;输入的x为一个特征信号,y是和x尺寸一样的输出信号,函数f表示一个i和所有j计算的一个标量代表两者之间的相关性,一元函数g为计算输入信号所有位置j的输入信号;g(x)=Wgxj其中Wg表示1×1卷积,C(x)表示将最终得到的相关信息进行归一化;
其中f(xi,xj)、C(x)如下:
Figure BDA0002709191420000022
Figure BDA0002709191420000023
式中θ(xi)Tφ(xj)表示点乘相似性,其中θ(xi)=Wθxi,φ(xj)=Wφxj,Wθ、Wφ为1×1卷积,归一化因子如上C(x)时,输入变为
y=soffmax(xTWθWφx)g(x)
即输出表示为
z=Wzy+x
其中Wz表示1×1卷积,+x表示残差学习;网络中的基本残差结构中第k个残差块的输出为:
Rk=Conv(ReLU(Conv(Rk-1)))
其中,Rk-1表示前一层残差块的输出;
非局部深度残差网络整个模型结构分为5个子模块即:浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块;其中浅层特征提取模块由一层卷积层组成,深层特征提取模块由40个残差块组成,最后加上了一个全局残差;上采样模块使用的是亚像素卷积;重构模块使用的是两层卷积层。
在进一步的实施例中,所述步骤3进一步为:对生成对应网络学习的结果集进行网络模型融合;其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合,具体为通过将所有网络集成到一个代码框架下,利用求均值操作实现;
crop-ensemble方法为剪切增强方法,可有效减少图片剪裁过程中在接缝处产生伪影的情况,其实现方式为:
首先,执行程序接受用户在程序执行前设定的一个图像增强次数,且次数的大于预定值;其次,执行程序接受crop-ensemble指令,将当前图像小块以正常的方式输入网络中,通过旋转90度使得被网络增强一次,并同时记录每个小块被旋转的度数,当网络完成一次增强后,图像小块会被转回到正常位置;再次,将获得的所有结果进行叠加再取其平均;最后,执行程序再将若干个图像小块拼接成完成的大图;
其中所述小块旋转结果流程实现为:
y0=G(x′0)
y1=G(x′1)
Figure BDA0002709191420000031
其中,yi表示被网络超分辨率处理一次后,并且被旋转回正常位置的图像小块,n为用户设定的用于执行程度识别的图像增强系数,R为最终输出的图像小块;
crop-ensemble模块中还包含有shave-ensemble功能,即镜像翻转功能,其中除了镜像翻转的次数外,用户还可以设定用于图像小块进行镜像翻转的轴和轴的相对位置,该轴的方向可以是水平、竖直或者两者同时存在;shave-ensemble功能的实现方式为:首先,执行程序在接收到镜像翻转指令后,按照设定的轴方向和相对位置对图像小块进行翻转;然后,执行程序再将翻转后的图像小块置入网络进行上采样;最后,对完成所有翻转后的结果进行叠加和求平均值,并将结果作为该小块的最终输出;
使用的模型融合方式的流程为将所有网络集成到一个代码框架下,做融合时只需运行一个程序,且所有的图片不进行二次读取,在每个模型输出结果时进行累加后求均值,不需将每个算法的结果存储下来后在进行二次读取。
一种基于残差网络与动态卷积网络模型融合的系统,包括
用于构建训练集的第一模块,该模块通过组建图像集,用于模型对真实场景中有用信息的学习。
用于实现网络的学习训练的第二模块,该模块通过构建学习训练网络,将获得的训练集放入学习网络中,进行网络训练。其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络;学习训练网络中所述的非局部深度残差网络为改进的深度残差网络,其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息。
非局部模块接收输入X′(H×W×C),将其变成两个维度的输入X(HW×C),其中非局部操作为:
Figure BDA0002709191420000041
其中i是输出位置上的索引,其输出计算的是相似信息,j是枚举所有可能的位置;输入的x为一个特征信号,y是和x尺寸一样的输出信号,函数f表示一个i和所有j计算的一个标量代表两者之间的相关性,一元函数g为计算输入信号所有位置j的输入信号;g(x)=Wgxj其中Wg表示1×1卷积,C(x)表示将最终得到的相关信息进行归一化;
其中f(xi,xj)、C(x)如下:
Figure BDA0002709191420000042
Figure BDA0002709191420000043
式中θ(xi)Tφ(xj)表示点乘相似性,其中θ(xi)=Wθxi,φ(xj)=Wφxj,Wθ、Wφ为1×1卷积,归一化因子如上C(x)时,输入变为
y=soffmax(xTWθWφx)g(x)
即输出表示为
z=Wzy+x
其中Wz表示1×1卷积,+x表示残差学习;网络中的基本残差结构中第k个残差块的输出为:
Rk=Conv(ReLU(Conv(Rk-1)))
其中,Rk-1表示前一层残差块的输出;
非局部深度残差网络整个模型结构分为5个子模块即:浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块;其中浅层特征提取模块由一层卷积层组成,深层特征提取模块由40个残差块组成,最后加上了一个全局残差;上采样模块使用的是亚像素卷积;重构模块使用的是两层卷积层。
用于处理数据获得结果的第三模块,该模块对生成对应网络学习的结果集进行网络模型融合;其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合,具体为通过将所有网络集成到一个代码框架下,利用求均值操作实现;
crop-ensemble方法为剪裁增强方法,可有效减少图片剪裁拼接过程中在接缝处产生伪影的情况,其实现方式为:
首先,执行程序接受用户在程序执行前设定的一个图像增强次数,且次数的设定不能太小;其次,执行程序接受crop-ensemble指令,将当前图像小块以正常的方式输入网络中,通过旋转90度使得被网络增强一次,并同时记录每个小块被旋转的度数,当网络完成一次增强后,图像小块会被转回到正常位置;再次,将获得的所有结果进行叠加再取其平均;最后,执行程序再将若干个图像小块拼接成完成的大图;
其中所述小块旋转结果流程实现为:
y0=G(x′0)
y1=G(x′1)
Figure BDA0002709191420000051
其中,yi表示被网络超分辨率处理一次后,并且被旋转回正常位置的图像小块,n为用户设定的用于执行程度识别的图像增强系数,R为最终输出的图像小块;
crop-ensemble模块中还包含有shave-ensemble功能,即镜像翻转功能,其中除了镜像翻转的次数外,用户还可以设定用于图像小块进行镜像翻转的轴和轴的相对位置,该轴的方向可以是水平、竖直或者两者同时存在;shave-ensemble功能的实现方式为:首先,执行程序在接收到镜像翻转指令后,按照设定的轴方向和相对位置对图像小块进行翻转;然后,执行程序再将翻转后的图像小块置入网络进行上采样;最后,对完成所有翻转后的结果进行叠加和求平均值,并将结果作为该图像小块的最终输出;
使用的模型融合方式的流程为将所有网络集成到一个代码框架下,做融合时只需运行一个程序,且所有的图片不进行二次读取,在每个模型输出结果时进行累加后求均值,不需将每个算法的结果存储下来后在进行二次读取。
用于呈现结果的第四模块。
有益效果:本发明提出了一种基于残差网络与动态卷积网络模型融合的方法及系统,通过非局部深度残差网络对真实场景信息进行学习,然后利用模型融合的方法,将非局部残差网络与双路径动态卷积网络用这种方法进行融合,最后在融合过程中使用剪裁增强方法crop-ensemble,实现在减少运算时间复杂度和空间复杂度的同时,达到远高于单独模型结果的目标。
附图说明
图1为本发明非局部深度残差网络与双路径动态卷积网络模型融合流程图。
图2为本发明非局部模块结构图。
图3为普通的模型融合图。
图4为本发明改进的模型融合图。
图5为非局部深度残差网络整体结构图。
图6为Resblock结构图。
图7为亚像素卷积结构图。
图8为伪影示例图。
具体实施方式
申请人认为,在图像超分辨率提升和图像去噪声的现有技术发展中,真实场景超分和传统超分的区别在于真实场景中存在着较为复杂的降质方式,在低分辨率图像中会存在较多的噪声以及一定程度上的模糊,使得算法在学习的过程中可以使用的有用信息急剧减少。由于不同的算法都是写在不同的代码框架下,需要多个算法的结果进行融合时只能单独把每个算法都跑一遍,,增加了运算时的时间复杂度和空间复杂度。
为解决现有技术存在的问题,本发明提出了一种非局部深度残差网络与双路径动态卷积网络模型融合的方法及实现该方法的系统,该方法通过非局部深度残差网络对真实场景信息进行学习,然后利用模型融合的方法,将非局部残差网络与双路径动态卷积网络用这种方法进行融合,最后在融合过程中使用剪裁增强方法crop-ensemble,实现在减少运算时间复杂度和空间复杂度的同时,达到远高于单独模型结果的目标。
下面通过实施例,并结合附图对本方案做进一步具体说明。
在本申请中,我们提出了一种基于残差网络与动态卷积网络模型融合的方法及系统,所述方法具体为包括以下步骤:
步骤1、组建图像集,用于模型对真实场景中有用信息的学习。
步骤2、构建学习训练网络,将获得的训练集放入学习网络中,进行网络训练;其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络。
步骤3、对生成对应网络学习的结果集进行网络模型融合,并在融合过程中利用crop-ensemble方法;其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合,具体为通过将所有网络集成到一个代码框架下,利用求均值操作实现;其中所述crop-ensemble方法为剪裁增强方法,用于避免在剪切图片时在接缝处产生伪影的情况。
步骤4、获得最终处理过的图像结果并呈现。
由于针对图片被输入网络时对图像大小的限定,所以需对其输入图像进行剪裁,所以在步骤一中需进一步将图片剪裁设定为大小是448*448像素的图像小块。
目前较多的算法都只是通过叠加残差层来提取特征,此方式过于简单且提取到的有效特征较少,本发明在步骤二实现的过程中提出了构建深度非局部残差超分网络,该网络主要改进的是在深度残差网络的深层特征开始之前添加了一个非局部模块来使用邻域信息,从而一定程度上缓解低分辨率图像上可提取特征较少的问题。
其中涉及的非局部模块为对于输入的X′(H×W×C),先将其变成两个维度的输入X(HW×C),其中非局部操作为:
Figure BDA0002709191420000071
其中i是输出位置上的索引,其输出计算的是相似信息,j是枚举所有可能的位置;输入的x为一个特征信号,y是和x尺寸一样的输出信号,函数f表示一个i和所有j计算的一个标量代表两者之间的相关性,一元函数g为计算输入信号所有位置j的输入信号;g(x)=Wgxj其中Wg表示1×1卷积,C(x)表示将最终得到的相关信息进行归一化;
其中f(xi,xj)、C(x)如下:
Figure BDA0002709191420000072
Figure BDA0002709191420000073
式中θ(xi)Tφ(xj)表示点乘相似性,其中θ(xi)=Wθxi,φ(xj)=Wφxj,Wθ、Wφ为1×1卷积,归一化因子如上C(x)时,输入变为
y=softmax(xTWθWφx)g(x)
即输出表示为
z=Wzy+x
其中Wz表示1×1卷积,+x表示残差学习;网络中的基本残差结构中第k个残差块的输出为:
Rk=Conv(ReLU(Conv(Rk-1)))
其中,Rk-1表示前一层残差块的输出;
非局部深度残差网络整个模型结构分为5个子模块即:浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块;其中浅层特征提取模块由一层卷积层组成,深层特征提取模块由40个残差块组成,最后加上了一个全局残差;上采样模块使用的是亚像素卷积,对于给定的输入X(H×W×C*R^2),经过亚像素卷积进行重新排列得到新的输出Y(H*R×H*R×C),其中R表示放大因子,最大程度上降低了所需算力。重构模块使用的则是两层卷积层。
现有的模型融合方式浪费时间和空间的缺陷,步骤三中我们在设计代码框架时,对于不同网络模型的导入设置了极大的便利,即在一次运行时就加载多个不同的模型,并且可以直接对所有的结果进行求均值操作而不需要进行存储之后再读取再求平均。这样的设计将所有网络集成到了一个代码框架下,融合时仅需运行一个程序,从而减少运行不同代码框架的时间;且本发明提出的融合过程中,所有的图片都不需要进行二次读取,在每个模型输出结果时就可以进行累加再求均值而不需要将每个算法的结果存储下来后续再进行二次读取,既节省了存储时间也节省了存储空间。
为清楚说明本申请模型融合的具体过程,下面采用一实施例进行说明。
针对提升提出真实世界图像超分效果,本发明使用非局部深度残差网络,双路径动态卷积网络和深度监督双路径动态卷积网络进行模型融合的方式。融合流程如图1所示,在模型训练阶段,几种模型可以分开训练,再分开生成各自结果。几种模型各自的结果都生成好之后,本发明采用将不同结果中同一张图像上的对应像素点求和再求算术平均值的方式,来获取模型融合后的结果。下表1所示为使用了模型与未使用模型融合的PSNR,SSIM对比。
表1使用了模型融合与未使用模型融合的PSNR,SSIM对比表
Figure BDA0002709191420000081
Figure BDA0002709191420000091
经过对比可以发现,模型融合后的图像在局部地区线条更加明显,对比度更加出色,这也是融合后PSNR和SSIM都有所提高的原因。
为了使最终获得的结果呈现非局部深度残差网络,双路径动态卷积网络以及深度监督双路径动态卷积网络的特点,在融合过程中本发明还提出实现了crop-ensemble增强方法,其可以有效避免在剪切图片时在接缝处产生的伪影。该方法的实现流程如下:
crop-ensemble方法为剪裁增强方法,可有效减少图片剪裁拼接过程中在接缝处产生伪影的情况,其实现方式为:
首先,执行程序接受用户在程序执行前设定的一个图像增强次数,该数字最好能被4整除,且次数的设定不能太小,因为图像小块在网络中每次会被旋转90度,其设置的次数可具体为300、400、600等。
其次,执行程序接受crop-ensemble指令,将当前图像小块以正常的方式输入网络中,在用户给定的次数内,通过每旋转90度使得被网络增强一次,并同时记录每个小块被旋转的度数。
x′0=x0
x′1=Rot90°(x′0)
x′2=Rot90°(x′1)
其中x0表示被按照正常方向输入网络的图像小块,Rot90°表示顺时针旋转90度的操作,x′i表示旋转的结果。
当网络完成一次增强后,图像小块会被转回到正常位置;再次,将获得的所有结果进行叠加再取其平均,该过程如下所示:
y0=G(x′0)
y1=G(x′1)
Figure BDA0002709191420000092
其中,yi表示被网络超分辨率处理一次后,并且被旋转回正常位置的图像小块,n为用户设定的用于执行程度识别的图像增强系数,R为最终输出的图像小块;最后,执行程序再将若干个图像小块拼接成完成的大图,确保每个图像小块都会得到一个比只增强一次更好的结果。
这种方法可以更好的防止不同图像小块间有色差,边缘处理不佳,局部信息丢失,条纹图案处理不佳等问题。当最终所有小块被拼接到一起时组成一张完整的大图时,使用了本发明提出的crop-ensemble增强方法的效果会有肉眼可见的提升。如下表2所示,两种结果使用的是同一个图片测试集,包含20张真实场景的图片。
表2使用了crop-ensemble和未使用crop-ensemble的PSNR、SSIM对比表
峰值信噪比PSNR 结构相似性SSIM
未使用crop-ensemble 27.4057 0.7789
使用了crop-ensemble 27.7940 0.7912
同时我们还发现使用我们的crop-ensemble方法时,每次处理的图像块的尺寸越大,最终的完整大图效果会更好PSNR和SSIM等计算机视觉领域的常见指标也会得到显著提升。其实验结果数据如下表3所示。
表3不同图像块尺寸的PSNR、SSIM对比表
图像块尺寸 峰值信噪比PSNR 结构相似性SSIM
450*450 32.251 0.9143
300*300 32.243 0.9082
crop-ensemble模块中还包含有shave-ensemble功能,即镜像翻转功能,其中除了镜像翻转的次数外,用户还可以设定用于图像小块进行镜像翻转的轴和轴的相对位置,该轴的方向可以是水平、竖直或者两者同时存在;shave-ensemble功能的实现方式为:首先,执行程序在接收到镜像翻转指令后,按照设定的轴方向和相对位置对图像小块进行翻转;然后,执行程序再将翻转后的图像小块置入网络进行上采样;最后,对完成所有翻转后的结果进行叠加和求平均值,并将结果作为该小块的最终输出。实验表明,翻转次数越多,且翻转轴的位置小于图像块1/2时,效果更佳。
将crop-ensemble和shave-ensemble配合使用,对于图像的超分辨率效果提升具有显著影响;并且对于任意深度学习模型而言,只需稍加改动便可同样使用本发明提出的方法,其普适性是很符合当前技术发展及应用的。同时本发明的方法在具体实施过程中,细节参数可调,可以做到适应不同的硬件设备,为计算机视觉领域发展提供动力。
基于上述方法,可以构建一种用于实现上述方法的系统,包括:
用于构建训练集的第一模块,该模块通过组建图像集,用于模型对真实场景中有用信息的学习。由于针对图片被输入网络时对图像大小的限定,所以需对其输入图像进行剪裁,所以在步骤一中需进一步将图片剪裁设定为大小是448*448像素的图像小块。
用于实现网络的学习训练的第二模块,该模块通过构建学习训练网络,将获得的训练集放入学习网络中,进行网络训练。其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络;学习训练网络中所述的非局部深度残差网络为改进的深度残差网络,其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息。
非局部模块为对于输入的X′(H×W×C),将其变成两个维度的输入X(HW×C),其中非局部操作为:
Figure BDA0002709191420000111
其中i是输出位置上的索引,其输出计算的是相似信息,j是枚举所有可能的位置;输入的x为一个特征信号,y是和x尺寸一样的输出信号,函数f表示一个i和所有j计算的一个标量代表两者之间的相关性,一元函数g为计算输入信号所有位置j的输入信号;g(x)=Wgxj其中Wg表示1×1卷积,C(x)表示将最终得到的相关信息进行归一化;
其中f(xi,xj)、C(x)如下:
Figure BDA0002709191420000112
Figure BDA0002709191420000113
式中θ(xi)Tφ(xj)表示点乘相似性,其中θ(xi)=Wθxi,φ(xj)=Wφxj,Wθ、Wφ为1×1卷积,归一化因子如上C(x)时,输入变为
y=soffmax(xTWθWφx)g(x)
即输出表示为
z=Wzy+x
其中Wz表示1×1卷积,+x表示残差学习;网络中的基本残差结构中第k个残差块的输出为:
Rk=Conv(ReLU(Conv(Rk-1)))
其中,Rk-1表示前一层残差块的输出;
非局部深度残差网络整个模型结构分为5个子模块即:浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块;其中浅层特征提取模块由一层卷积层组成,深层特征提取模块由40个残差块组成,最后加上了一个全局残差;上采样模块使用的是亚像素卷积;重构模块使用的是两层卷积层。
用于处理数据获得结果的第三模块,该模块对生成对应网络学习的结果集进行网络模型融合;其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合,具体为通过将所有网络集成到一个代码框架下,利用求均值操作实现;
crop-ensemble方法为剪裁增强方法,可有效减少图片剪裁拼接过程中在接缝处产生伪影的情况,其实现方式为:
首先,执行程序接受用户在程序执行前设定的一个图像增强次数,且次数的设定不能太小;其次,执行程序接受crop-ensemble指令,将当前图像小块以正常的方式输入网络中,通过旋转90度使得被网络增强一次,并同时记录每个小块被旋转的度数,当网络完成一次增强后,图像小块会被转回到正常位置;再次,将获得的所有结果进行叠加再取其平均;最后,执行程序再将若干个图像小块拼接成完成的大图;
其中所述小块旋转结果流程实现为:
y0=G(x′0)
y1=G(x′1)
Figure BDA0002709191420000121
其中,yi表示被网络超分辨率处理一次后,并且被旋转回正常位置的图像小块,n为用户设定的用于执行程度识别的图像增强系数,R为最终输出的图像小块;
crop-ensemble模块中还包含有shave-ensemble功能,即镜像翻转功能,其中除了镜像翻转的次数外,用户还可以设定用于图像小块进行镜像翻转的轴和轴的相对位置,该轴的方向可以是水平、竖直或者两者同时存在;shave-ensemble功能的实现方式为:首先,执行程序在接收到镜像翻转指令后,按照设定的轴方向和相对位置对图像小块进行翻转;然后,执行程序再将翻转后的图像小块置入网络进行上采样;最后,对完成所有翻转后的结果进行叠加和求平均值,并将结果作为该图像小块的最终输出;
使用的模型融合方式的流程为将所有网络集成到一个代码框架下,做融合时只需运行一个程序,且所有的图片不进行二次读取,在每个模型输出结果时进行累加后求均值,不需将每个算法的结果存储下来后在进行二次读取。
用于呈现结果的第四模块。
如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上做出各种变化。

Claims (10)

1.一种基于残差网络与动态卷积网络模型融合的方法,其特征是包括以下步骤:
步骤1、组建图像集,用于模型对真实场景中有用信息的学习;
步骤2、构建学习训练网络,将获得的训练集放入学习网络中,进行网络训练;其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络;
步骤3、对生成对应网络学习的结果集进行网络模型融合,并在融合过程中利用crop-ensemble方法;其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合,具体为通过将所有网络集成到一个代码框架下,利用求均值操作实现;其中所述crop-ensemble方法为剪裁增强方法,用于避免在合并图片时在接缝处产生伪影的情况;
步骤4、获得最终处理过的图像结果并呈现。
2.根据权利要求1所述的一种基于残差网络与动态卷积网络模型融合的方法,其特征在于,所述步骤2进一步为:
多个学习训练网络中所述的非局部深度残差网络为改进的深度残差网络,其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息;
非局部模块接收输入X′(H×W×C),并将其变成两个维度的输入X(HW×C),其中非局部操作为:
Figure FDA0002709191410000011
其中i是输出位置上的索引,其输出计算的是相似信息,j是枚举所有可能的位置;输入的x为一个特征信号,y是和x尺寸一样的输出信号,函数f表示一个i和所有j计算的一个标量代表两者之间的相关性,一元函数g为计算输入信号所有位置j的输入信号;g(x)=Wgxj其中Wg表示1×1卷积,C(x)表示将最终得到的相关信息进行归一化;
其中f(xi,xj)、C(x)如下:
Figure FDA0002709191410000012
Figure FDA0002709191410000013
式中θ(xi)Tφ(xj)表示点乘相似性,其中θ(xi)=Wθxi,φ(xj)=Wφxj,Wθ、Wφ为1×1卷积,归一化因子如上C(x)时,输入变为:
y=softmax(xTWθWφx)g(x)
即输出表示为:
z=Wzy+x
其中Wz表示1×1卷积,+x表示残差学习;网络中的基本残差结构中第k个残差块的输出为:
Rk=Conv(ReLU(Conv(Rk-1)))
其中,Rk-1表示前一层残差块的输出。
3.根据权利要求1所述的一种基于残差网络与动态卷积网络模型融合的方法,其特征在于,非局部深度残差网络整个模型结构分为5个子模块:浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块;其中浅层特征提取模块由一层卷积层组成,深层特征提取模块由40个残差块组成,最后加上了一个全局残差;上采样模块使用的是亚像素卷积;重构模块使用的是两层卷积层。
4.根据权利要求1所述的一种基于残差网络与动态卷积网络模型融合的方法,其特征在于,所述步骤3进一步为:
对生成对应网络学习的结果集进行网络模型融合的过程进一步为将所有网络集成到一个代码框架下,融合时运行一个程序,在每个模型输出结果时进行累加后求均值;
crop-ensemble方法为剪切增强方法,减少图片剪裁过程中在接缝处产生伪影的情况,其实现方式为:
首先,执行程序接受用户在程序执行前设定的一个图像增强次数,且次数的设定大于预定值;其次,执行程序接受crop-ensemble指令,输出图像小块,再将所述图像小块以正常的方式输入网络中,通过旋转90度使得被网络增强一次,并同时记录每个图像小块被旋转的度数,当网络完成一次增强后,图像小块会被转回到正常位置;再次,将获得的所有结果进行叠加再取其平均;最后,执行程序再将若干个图像小块拼接成完成的大图;
其中所述图像小块旋转结果流程实现为:
y0=G(x′0)
y1=G(x′1)
Figure FDA0002709191410000021
其中,yi表示被网络超分辨率处理一次后,并且被旋转回正常位置的图像小块,n为用户设定的用于执行程度识别的图像增强系数,R为最终输出的图像小块,x;表示旋转的结果。
5.根据权利要求4所述的一种基于残差网络与动态卷积网络模型融合的方法,其特征在于,还包含有shave-ensemble模块,即镜像翻转功能,其中除了镜像翻转的次数外,用户还可以设定用于图像小块进行镜像翻转的轴,和轴的相对位置,该轴的方向为水平、竖直或者两者同时存在;
shave-ensemble模块的实现方式为:首先,执行程序在接收到镜像翻转指令后,按照设定的轴方向和相对位置对图像小块进行翻转;然后,执行程序再将翻转后的图像小块置入网络进行上采样;最后,对完成所有翻转后的结果进行叠加和求平均值,并将结果作为该图像小块的最终输出。
6.一种基于残差网络与动态卷积网络模型融合的系统,用于实现上述权利要求1~5中任一项所述方法,其特征在于,包括以下模块:
用于构建训练集的第一模块;该模块组建大量图像集,用于模型对真实场景中有用信息的学习;
用于实现网络学习训练的第二模块;
用于处理数据获得结果的第三模块;
用于呈现结果的第四模块。
7.根据权利要求6所述的一种基于残差网络与动态卷积网络模型融合的系统,其特征在于,所述第二模块进一步通过构建多个学习训练网络,将获得的训练集放入学习网络中,进行网络训练;
其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络;多个学习训练网络中所述的非局部深度残差网络为改进的深度残差网络,其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息;
非局部模块接收输入X′(H×W×C),并将其变成两个维度的输入X(HW×C),其中非局部操作为:
Figure FDA0002709191410000031
其中i是输出位置上的索引,其输出计算的是相似信息,j是枚举所有可能的位置;输入的x为一个特征信号,y是和x尺寸一样的输出信号,函数f表示一个i和所有j计算的一个标量代表两者之间的相关性,一元函数g为计算输入信号所有位置j的输入信号;g(x)=Wgxj其中Wg表示1×1卷积,C(x)表示将最终得到的相关信息进行归一化;
其中f(xi,xj)、C(x)如下:
Figure FDA0002709191410000041
Figure FDA0002709191410000042
式中θ(xi)Tφ(xj)表示点乘相似性,其中θ(xi)=Wθxi,φ(xj)=Wφxj,Wθ、Wφ为1×1卷积,归一化因子如上C(x)时,输入变为
y=softmax(xTWθWφx)g(x)
即输出表示为
z=Wzy+x
其中Wz表示1×1卷积,+x表示残差学习;网络中的基本残差结构中第k个残差块的输出为:
Rk=Conv(ReLU(Conv(Rk-1)))
其中,Rk-1表示前一层残差块的输出。
8.根据权利要求7所述的一种基于残差网络与动态卷积网络模型融合的系统,其特征在于,
非局部深度残差网络整个模型结构分为5个子模块即:浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块;其中浅层特征提取模块由一层卷积层组成,深层特征提取模块由40个残差块组成,最后加上了一个全局残差;上采样模块使用的是亚像素卷积;重构模块使用的是两层卷积层。
9.根据权利要求7所述的一种基于残差网络与动态卷积网络模型融合的系统,其特征在于,所述第三模块进一步对生成对应网络学习的结果集进行网络模型融合;其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合,具体为通过将所有网络集成到一个代码框架下,利用求均值操作实现;
crop-ensemble方法为剪切增强方法,可有效减少图片剪裁过程中在接缝处产生伪影的情况,其实现方式为:
首先,执行程序接受用户在程序执行前设定的一个图像增强次数,且次数的设定大于预定值;其次,执行程序接受crop-ensemble指令,将当前图像小块以正常的方式输入网络中,通过旋转90度使得被网络增强一次,并同时记录每个小块被旋转的度数,当网络完成一次增强后,图像小块会被转回到正常位置;再次,将获得的所有结果进行叠加再取其平均;最后,执行程序再将若干个图像小块拼接成完成的大图;
其中所述图像小块旋转结果流程实现为:
y0=G(x′0)
y1=G(x′1)
Figure FDA0002709191410000051
其中,yi表示被网络超分辨率处理一次后,并且被旋转回正常位置的图像小块,n为用户设定的用于执行程度识别的图像增强系数,R为最终输出的图像小块。
10.根据权利要求7所述的一种基于残差网络与动态卷积网络模型融合的系统,其特征在于,还包含有shave-ensemble功能,即镜像翻转功能,其中除了镜像翻转的次数外,用户还可以设定用于图像小块进行镜像翻转的轴,轴的相对位置,该轴的方向可以是水平、竖直或者两者同时存在;
shave-ensemble功能的实现方式为:首先,执行程序在接收到镜像翻转指令后,按照设定的轴方向和相对位置对图像小块进行翻转;然后,执行程序再将翻转后的图像小块置入网络进行上采样;最后,对完成所有翻转后的结果进行叠加和求平均值,并将结果作为该图像小块的最终输出;
使用的模型融合方式的流程为将所有网络集成到一个代码框架下,融合时运行程序,在每个模型输出结果时进行累加后求均值。
CN202011049794.2A 2020-09-29 2020-09-29 一种基于残差网络与动态卷积网络模型融合的方法及系统 Pending CN112150384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011049794.2A CN112150384A (zh) 2020-09-29 2020-09-29 一种基于残差网络与动态卷积网络模型融合的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011049794.2A CN112150384A (zh) 2020-09-29 2020-09-29 一种基于残差网络与动态卷积网络模型融合的方法及系统

Publications (1)

Publication Number Publication Date
CN112150384A true CN112150384A (zh) 2020-12-29

Family

ID=73894528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049794.2A Pending CN112150384A (zh) 2020-09-29 2020-09-29 一种基于残差网络与动态卷积网络模型融合的方法及系统

Country Status (1)

Country Link
CN (1) CN112150384A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358929A (zh) * 2022-10-19 2022-11-18 中科方寸知微(南京)科技有限公司 压缩图像超分方法、图像压缩方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法
CN110930306A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN111242846A (zh) * 2020-01-07 2020-06-05 福州大学 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111626968A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于全局信息和局部信息的像素增强设计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法
CN110930306A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN111242846A (zh) * 2020-01-07 2020-06-05 福州大学 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111626968A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于全局信息和局部信息的像素增强设计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LIM B等: "Enhanced deep residual networks for single image super-resolution", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》, 31 December 2017 (2017-12-31), pages 136 - 144 *
SHI W等: "Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network", 《ROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2016 (2016-12-31), pages 1874 - 1883 *
WANG X等: "Non-local neural networks", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 16 December 2018 (2018-12-16), pages 7794 - 7803 *
WEI P等: "AIM 2020 challenge on real image super-resolution: Methods and results", 《OMPUTER VISION–ECCV 2020 WORKSHOPS》, 25 September 2020 (2020-09-25), pages 1 - 30 *
周波等: "区域级通道注意力融合高频损失的图像超分辨率重建", 《中国图象图形学报》, vol. 26, no. 12, 16 December 2021 (2021-12-16), pages 2836 - 2847 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358929A (zh) * 2022-10-19 2022-11-18 中科方寸知微(南京)科技有限公司 压缩图像超分方法、图像压缩方法及系统

Similar Documents

Publication Publication Date Title
Guo et al. Progressive image inpainting with full-resolution residual network
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
Luo et al. Deep constrained least squares for blind image super-resolution
CN111667410B (zh) 图像分辨率提升方法、装置及电子设备
EP3326148A1 (en) Image processing system for downscaling images using perceptual downscaling method
CN110211057B (zh) 一种基于全卷积网络的图像处理方法、装置和计算机设备
WO2022042124A1 (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
Zhao et al. Legacy photo editing with learned noise prior
CN111507333A (zh) 一种图像矫正方法、装置、电子设备和存储介质
CN112767270B (zh) 褶皱文档图像矫正系统
CN103390267A (zh) 图像处理方法及装置
Hai et al. Advanced retinexnet: a fully convolutional network for low-light image enhancement
CN112150384A (zh) 一种基于残差网络与动态卷积网络模型融合的方法及系统
Chauhan et al. Deep Learning-based Single-image Super-resolution: A comprehensive review
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
Zhao et al. Single depth image super-resolution with multiple residual dictionary learning and refinement
CN111476739B (zh) 水下图像增强方法、系统及存储介质
CN115423697A (zh) 图像修复方法、终端及计算机存储介质
Zheng et al. Joint residual pyramid for joint image super-resolution
CN116188272A (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN116029905A (zh) 一种基于渐进差值互补的人脸超分辨率重构方法及系统
Rui et al. Research on fast natural aerial image mosaic
CN114078096A (zh) 图像去模糊方法、装置和设备
CN112634126A (zh) 人像减龄处理方法、训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Applicant after: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Address before: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Applicant before: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

CB02 Change of applicant information