CN112150384B - 一种基于残差网络与动态卷积网络模型融合的方法及系统 - Google Patents

一种基于残差网络与动态卷积网络模型融合的方法及系统 Download PDF

Info

Publication number
CN112150384B
CN112150384B CN202011049794.2A CN202011049794A CN112150384B CN 112150384 B CN112150384 B CN 112150384B CN 202011049794 A CN202011049794 A CN 202011049794A CN 112150384 B CN112150384 B CN 112150384B
Authority
CN
China
Prior art keywords
network
image
residual
module
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011049794.2A
Other languages
English (en)
Other versions
CN112150384A (zh
Inventor
冷聪
李成华
于浩东
周波
程健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Original Assignee
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Nanjing Artificial Intelligence Innovation Research Institute, Zhongke Fangcun Zhiwei Nanjing Technology Co ltd filed Critical Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Priority to CN202011049794.2A priority Critical patent/CN112150384B/zh
Publication of CN112150384A publication Critical patent/CN112150384A/zh
Application granted granted Critical
Publication of CN112150384B publication Critical patent/CN112150384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于残差网络与动态卷积网络模型融合的方法及系统，包括以下步骤：首先，组建用于构建机器学习训练的图像数据集；其次，构建多个训练网络，将数据集放入学习；再次，融合网络模型输出结果集，并在融合过程中使用crop‑ensemble方法对图像进行处理，将生成的结果进行像素的加权求值；最后，得到特定位置的像素值。本发明利用非局部残差网络与双路径动态卷积网络的模型融合，并通过使用剪裁增强方法，得到远高于单独模型的结果。

Description

一种基于残差网络与动态卷积网络模型融合的方法及系统
技术领域
本发明涉及一种基于残差网络与动态卷积网络模型融合的方法及系统，涉及一般的图像数据处理和基于机器学习图像去噪技术，尤其涉及基于深度学习的计算机视觉领域。
背景技术
真实场景超分和传统超分的区别在于真实场景中存在着较为复杂的降质方式，在低分辨率图像中会存在较多的噪声以及一定程度上的模糊，这就使得算法在学习的过程中可以使用的有用信息减少许多，对算法学习能力的要求也就更高。
现有技术中，不同的模型算法都是写在不同的代码框架下，需要多个算法的结果进行融合时只能单独把每个算法都跑一遍，将所有算法的结果都存储好，之后再对这些不同的超分辨率结果进行二次读取，来取其像素值的平均，浪费时间的同时也会浪费空间。同时针对需要对裁剪后才可放入训练网络的图像在剪裁和拼接时会出现伪影的现象。
发明内容
发明目的：一个目的是提出一种基于残差网络与动态卷积网络模型融合的方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。
技术方案：一种基于残差网络与动态卷积网络模型融合的方法，包括以下步骤：
步骤1、组建图像集，用于模型对真实场景中有用信息的学习；
步骤2、构建学习训练网络，将获得的训练集放入学习网络中，进行网络训练；其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络；
步骤3、对生成对应网络学习的结果集进行网络模型融合，并在融合过程中利用crop-ensemble方法；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；其中所述crop-ensemble方法为剪裁增强方法，用于避免在剪切，合并图片时在接缝处产生伪影的情况；
步骤4、获得最终处理过的图像结果。
在进一步的实施例中，所述步骤2进一步为：学习训练网络中所述的非局部深度残差网络为改进的深度残差网络，其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息；
非局部模块接收输入X′(H×W×C)，并将其变成两个维度的输入X(HW×C)，其中非局部操作为：
其中i是输出位置上的索引，其输出计算的是相似信息，j是枚举所有可能的位置；输入的x为一个特征信号，y是和x尺寸一样的输出信号，函数f表示一个i和所有j计算的一个标量代表两者之间的相关性，一元函数g为计算输入信号所有位置j的输入信号；g(x)＝Wgxj其中Wg表示1×1卷积，C(x)表示将最终得到的相关信息进行归一化；
其中f(xi，xj)、C(x)如下：
式中θ(xi)Tφ(xj)表示点乘相似性，其中θ(xi)＝Wθxi，φ(xj)＝Wφxj，Wθ、Wφ为1×1卷积，归一化因子如上C(x)时，输入变为
y＝soffmax(xTWθWφx)g(x)
即输出表示为
z＝Wzy+x
其中Wz表示1×1卷积，+x表示残差学习；网络中的基本残差结构中第k个残差块的输出为：
Rk＝Conv(ReLU(Conv(Rk-1)))
其中，Rk-1表示前一层残差块的输出；
非局部深度残差网络整个模型结构分为5个子模块即：浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块；其中浅层特征提取模块由一层卷积层组成，深层特征提取模块由40个残差块组成，最后加上了一个全局残差；上采样模块使用的是亚像素卷积；重构模块使用的是两层卷积层。
在进一步的实施例中，所述步骤3进一步为：对生成对应网络学习的结果集进行网络模型融合；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；
crop-ensemble方法为剪切增强方法，可有效减少图片剪裁过程中在接缝处产生伪影的情况，其实现方式为：
首先，执行程序接受用户在程序执行前设定的一个图像增强次数，且次数的大于预定值；其次，执行程序接受crop-ensemble指令，将当前图像小块以正常的方式输入网络中，通过旋转90度使得被网络增强一次，并同时记录每个小块被旋转的度数，当网络完成一次增强后，图像小块会被转回到正常位置；再次，将获得的所有结果进行叠加再取其平均；最后，执行程序再将若干个图像小块拼接成完成的大图；
其中所述小块旋转结果流程实现为：
y0＝G(x′0)
y1＝G(x′1)
其中，yi表示被网络超分辨率处理一次后，并且被旋转回正常位置的图像小块，n为用户设定的用于执行程度识别的图像增强系数，R为最终输出的图像小块；
crop-ensemble模块中还包含有shave-ensemble功能，即镜像翻转功能，其中除了镜像翻转的次数外，用户还可以设定用于图像小块进行镜像翻转的轴和轴的相对位置，该轴的方向可以是水平、竖直或者两者同时存在；shave-ensemble功能的实现方式为：首先，执行程序在接收到镜像翻转指令后，按照设定的轴方向和相对位置对图像小块进行翻转；然后，执行程序再将翻转后的图像小块置入网络进行上采样；最后，对完成所有翻转后的结果进行叠加和求平均值，并将结果作为该小块的最终输出；
使用的模型融合方式的流程为将所有网络集成到一个代码框架下，做融合时只需运行一个程序，且所有的图片不进行二次读取，在每个模型输出结果时进行累加后求均值，不需将每个算法的结果存储下来后在进行二次读取。
一种基于残差网络与动态卷积网络模型融合的系统，包括
用于构建训练集的第一模块，该模块通过组建图像集，用于模型对真实场景中有用信息的学习。
用于实现网络的学习训练的第二模块，该模块通过构建学习训练网络，将获得的训练集放入学习网络中，进行网络训练。其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络；学习训练网络中所述的非局部深度残差网络为改进的深度残差网络，其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息。
非局部模块接收输入X′(H×W×C)，将其变成两个维度的输入X(HW×C)，其中非局部操作为：
其中i是输出位置上的索引，其输出计算的是相似信息，j是枚举所有可能的位置；输入的x为一个特征信号，y是和x尺寸一样的输出信号，函数f表示一个i和所有j计算的一个标量代表两者之间的相关性，一元函数g为计算输入信号所有位置j的输入信号；g(x)＝Wgxj其中Wg表示1×1卷积，C(x)表示将最终得到的相关信息进行归一化；
其中f(xi，xj)、C(x)如下：
式中θ(xi)Tφ(xj)表示点乘相似性，其中θ(xi)＝Wθxi，φ(xj)＝Wφxj，Wθ、Wφ为1×1卷积，归一化因子如上C(x)时，输入变为
y＝soffmax(xTWθWφx)g(x)
即输出表示为
z＝Wzy+x
其中Wz表示1×1卷积，+x表示残差学习；网络中的基本残差结构中第k个残差块的输出为：
Rk＝Conv(ReLU(Conv(Rk-1)))
其中，Rk-1表示前一层残差块的输出；
非局部深度残差网络整个模型结构分为5个子模块即：浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块；其中浅层特征提取模块由一层卷积层组成，深层特征提取模块由40个残差块组成，最后加上了一个全局残差；上采样模块使用的是亚像素卷积；重构模块使用的是两层卷积层。
用于处理数据获得结果的第三模块，该模块对生成对应网络学习的结果集进行网络模型融合；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；
crop-ensemble方法为剪裁增强方法，可有效减少图片剪裁拼接过程中在接缝处产生伪影的情况，其实现方式为：
首先，执行程序接受用户在程序执行前设定的一个图像增强次数，且次数的设定不能太小；其次，执行程序接受crop-ensemble指令，将当前图像小块以正常的方式输入网络中，通过旋转90度使得被网络增强一次，并同时记录每个小块被旋转的度数，当网络完成一次增强后，图像小块会被转回到正常位置；再次，将获得的所有结果进行叠加再取其平均；最后，执行程序再将若干个图像小块拼接成完成的大图；
其中所述小块旋转结果流程实现为：
y0＝G(x′0)
y1＝G(x′1)
其中，yi表示被网络超分辨率处理一次后，并且被旋转回正常位置的图像小块，n为用户设定的用于执行程度识别的图像增强系数，R为最终输出的图像小块；
crop-ensemble模块中还包含有shave-ensemble功能，即镜像翻转功能，其中除了镜像翻转的次数外，用户还可以设定用于图像小块进行镜像翻转的轴和轴的相对位置，该轴的方向可以是水平、竖直或者两者同时存在；shave-ensemble功能的实现方式为：首先，执行程序在接收到镜像翻转指令后，按照设定的轴方向和相对位置对图像小块进行翻转；然后，执行程序再将翻转后的图像小块置入网络进行上采样；最后，对完成所有翻转后的结果进行叠加和求平均值，并将结果作为该图像小块的最终输出；
使用的模型融合方式的流程为将所有网络集成到一个代码框架下，做融合时只需运行一个程序，且所有的图片不进行二次读取，在每个模型输出结果时进行累加后求均值，不需将每个算法的结果存储下来后在进行二次读取。
用于呈现结果的第四模块。
有益效果：本发明提出了一种基于残差网络与动态卷积网络模型融合的方法及系统，通过非局部深度残差网络对真实场景信息进行学习，然后利用模型融合的方法，将非局部残差网络与双路径动态卷积网络用这种方法进行融合，最后在融合过程中使用剪裁增强方法crop-ensemble，实现在减少运算时间复杂度和空间复杂度的同时，达到远高于单独模型结果的目标。
附图说明
图1为本发明非局部深度残差网络与双路径动态卷积网络模型融合流程图。
图2为本发明非局部模块结构图。
图3为普通的模型融合图。
图4为本发明改进的模型融合图。
图5为非局部深度残差网络整体结构图。
图6为Resblock结构图。
图7为亚像素卷积结构图。
图8为伪影示例图。
具体实施方式
申请人认为，在图像超分辨率提升和图像去噪声的现有技术发展中，真实场景超分和传统超分的区别在于真实场景中存在着较为复杂的降质方式，在低分辨率图像中会存在较多的噪声以及一定程度上的模糊，使得算法在学习的过程中可以使用的有用信息急剧减少。由于不同的算法都是写在不同的代码框架下，需要多个算法的结果进行融合时只能单独把每个算法都跑一遍，，增加了运算时的时间复杂度和空间复杂度。
为解决现有技术存在的问题，本发明提出了一种非局部深度残差网络与双路径动态卷积网络模型融合的方法及实现该方法的系统，该方法通过非局部深度残差网络对真实场景信息进行学习，然后利用模型融合的方法，将非局部残差网络与双路径动态卷积网络用这种方法进行融合，最后在融合过程中使用剪裁增强方法crop-ensemble，实现在减少运算时间复杂度和空间复杂度的同时，达到远高于单独模型结果的目标。
下面通过实施例，并结合附图对本方案做进一步具体说明。
在本申请中，我们提出了一种基于残差网络与动态卷积网络模型融合的方法及系统，所述方法具体为包括以下步骤：
步骤1、组建图像集，用于模型对真实场景中有用信息的学习。
步骤2、构建学习训练网络，将获得的训练集放入学习网络中，进行网络训练；其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络。
步骤3、对生成对应网络学习的结果集进行网络模型融合，并在融合过程中利用crop-ensemble方法；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；其中所述crop-ensemble方法为剪裁增强方法，用于避免在剪切图片时在接缝处产生伪影的情况。
步骤4、获得最终处理过的图像结果并呈现。
由于针对图片被输入网络时对图像大小的限定，所以需对其输入图像进行剪裁，所以在步骤一中需进一步将图片剪裁设定为大小是448*448像素的图像小块。
目前较多的算法都只是通过叠加残差层来提取特征，此方式过于简单且提取到的有效特征较少，本发明在步骤二实现的过程中提出了构建深度非局部残差超分网络，该网络主要改进的是在深度残差网络的深层特征开始之前添加了一个非局部模块来使用邻域信息，从而一定程度上缓解低分辨率图像上可提取特征较少的问题。
其中涉及的非局部模块为对于输入的X′(H×W×C)，先将其变成两个维度的输入X(HW×C)，其中非局部操作为：
其中i是输出位置上的索引，其输出计算的是相似信息，j是枚举所有可能的位置；输入的x为一个特征信号，y是和x尺寸一样的输出信号，函数f表示一个i和所有j计算的一个标量代表两者之间的相关性，一元函数g为计算输入信号所有位置j的输入信号；g(x)＝Wgxj其中Wg表示1×1卷积，C(x)表示将最终得到的相关信息进行归一化；
其中f(xi，xj)、C(x)如下：
式中θ(xi)Tφ(xj)表示点乘相似性，其中θ(xi)＝Wθxi，φ(xj)＝Wφxj，Wθ、Wφ为1×1卷积，归一化因子如上C(x)时，输入变为
y＝softmax(xTWθWφx)g(x)
即输出表示为
z＝Wzy+x
其中Wz表示1×1卷积，+x表示残差学习；网络中的基本残差结构中第k个残差块的输出为：
Rk＝Conv(ReLU(Conv(Rk-1)))
其中，Rk-1表示前一层残差块的输出；
非局部深度残差网络整个模型结构分为5个子模块即：浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块；其中浅层特征提取模块由一层卷积层组成，深层特征提取模块由40个残差块组成，最后加上了一个全局残差；上采样模块使用的是亚像素卷积，对于给定的输入X(H×W×C*R^2)，经过亚像素卷积进行重新排列得到新的输出Y(H*R×H*R×C)，其中R表示放大因子，最大程度上降低了所需算力。重构模块使用的则是两层卷积层。
现有的模型融合方式浪费时间和空间的缺陷，步骤三中我们在设计代码框架时，对于不同网络模型的导入设置了极大的便利，即在一次运行时就加载多个不同的模型，并且可以直接对所有的结果进行求均值操作而不需要进行存储之后再读取再求平均。这样的设计将所有网络集成到了一个代码框架下，融合时仅需运行一个程序，从而减少运行不同代码框架的时间；且本发明提出的融合过程中，所有的图片都不需要进行二次读取，在每个模型输出结果时就可以进行累加再求均值而不需要将每个算法的结果存储下来后续再进行二次读取，既节省了存储时间也节省了存储空间。
为清楚说明本申请模型融合的具体过程，下面采用一实施例进行说明。
针对提升提出真实世界图像超分效果，本发明使用非局部深度残差网络，双路径动态卷积网络和深度监督双路径动态卷积网络进行模型融合的方式。融合流程如图1所示，在模型训练阶段，几种模型可以分开训练，再分开生成各自结果。几种模型各自的结果都生成好之后，本发明采用将不同结果中同一张图像上的对应像素点求和再求算术平均值的方式，来获取模型融合后的结果。下表1所示为使用了模型与未使用模型融合的PSNR，SSIM对比。
表1使用了模型融合与未使用模型融合的PSNR，SSIM对比表
经过对比可以发现，模型融合后的图像在局部地区线条更加明显，对比度更加出色，这也是融合后PSNR和SSIM都有所提高的原因。
为了使最终获得的结果呈现非局部深度残差网络，双路径动态卷积网络以及深度监督双路径动态卷积网络的特点，在融合过程中本发明还提出实现了crop-ensemble增强方法，其可以有效避免在剪切图片时在接缝处产生的伪影。该方法的实现流程如下：
crop-ensemble方法为剪裁增强方法，可有效减少图片剪裁拼接过程中在接缝处产生伪影的情况，其实现方式为：
首先，执行程序接受用户在程序执行前设定的一个图像增强次数，该数字最好能被4整除，且次数的设定不能太小，因为图像小块在网络中每次会被旋转90度，其设置的次数可具体为300、400、600等。
其次，执行程序接受crop-ensemble指令，将当前图像小块以正常的方式输入网络中，在用户给定的次数内，通过每旋转90度使得被网络增强一次，并同时记录每个小块被旋转的度数。
x′0＝x0
x′1＝Rot90°(x′0)
x′2＝Rot90°(x′1)
…
其中x0表示被按照正常方向输入网络的图像小块，Rot90°表示顺时针旋转90度的操作，x′i表示旋转的结果。
当网络完成一次增强后，图像小块会被转回到正常位置；再次，将获得的所有结果进行叠加再取其平均，该过程如下所示：
y0＝G(x′0)
y1＝G(x′1)
其中，yi表示被网络超分辨率处理一次后，并且被旋转回正常位置的图像小块，n为用户设定的用于执行程度识别的图像增强系数，R为最终输出的图像小块；最后，执行程序再将若干个图像小块拼接成完成的大图，确保每个图像小块都会得到一个比只增强一次更好的结果。
这种方法可以更好的防止不同图像小块间有色差，边缘处理不佳，局部信息丢失，条纹图案处理不佳等问题。当最终所有小块被拼接到一起时组成一张完整的大图时，使用了本发明提出的crop-ensemble增强方法的效果会有肉眼可见的提升。如下表2所示，两种结果使用的是同一个图片测试集，包含20张真实场景的图片。
表2使用了crop-ensemble和未使用crop-ensemble的PSNR、SSIM对比表
峰值信噪比PSNR 结构相似性SSIM
未使用crop-ensemble 27.4057 0.7789
使用了crop-ensemble 27.7940 0.7912
同时我们还发现使用我们的crop-ensemble方法时，每次处理的图像块的尺寸越大，最终的完整大图效果会更好PSNR和SSIM等计算机视觉领域的常见指标也会得到显著提升。其实验结果数据如下表3所示。
表3不同图像块尺寸的PSNR、SSIM对比表
图像块尺寸 峰值信噪比PSNR 结构相似性SSIM
450*450 32.251 0.9143
300*300 32.243 0.9082
crop-ensemble模块中还包含有shave-ensemble功能，即镜像翻转功能，其中除了镜像翻转的次数外，用户还可以设定用于图像小块进行镜像翻转的轴和轴的相对位置，该轴的方向可以是水平、竖直或者两者同时存在；shave-ensemble功能的实现方式为：首先，执行程序在接收到镜像翻转指令后，按照设定的轴方向和相对位置对图像小块进行翻转；然后，执行程序再将翻转后的图像小块置入网络进行上采样；最后，对完成所有翻转后的结果进行叠加和求平均值，并将结果作为该小块的最终输出。实验表明，翻转次数越多，且翻转轴的位置小于图像块1/2时，效果更佳。
将crop-ensemble和shave-ensemble配合使用，对于图像的超分辨率效果提升具有显著影响；并且对于任意深度学习模型而言，只需稍加改动便可同样使用本发明提出的方法，其普适性是很符合当前技术发展及应用的。同时本发明的方法在具体实施过程中，细节参数可调，可以做到适应不同的硬件设备，为计算机视觉领域发展提供动力。
基于上述方法，可以构建一种用于实现上述方法的系统，包括：
用于构建训练集的第一模块，该模块通过组建图像集，用于模型对真实场景中有用信息的学习。由于针对图片被输入网络时对图像大小的限定，所以需对其输入图像进行剪裁，所以在步骤一中需进一步将图片剪裁设定为大小是448*448像素的图像小块。
用于实现网络的学习训练的第二模块，该模块通过构建学习训练网络，将获得的训练集放入学习网络中，进行网络训练。其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络；学习训练网络中所述的非局部深度残差网络为改进的深度残差网络，其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息。
非局部模块为对于输入的X′(H×W×C)，将其变成两个维度的输入X(HW×C)，其中非局部操作为：
其中i是输出位置上的索引，其输出计算的是相似信息，j是枚举所有可能的位置；输入的x为一个特征信号，y是和x尺寸一样的输出信号，函数f表示一个i和所有j计算的一个标量代表两者之间的相关性，一元函数g为计算输入信号所有位置j的输入信号；g(x)＝Wgxj其中Wg表示1×1卷积，C(x)表示将最终得到的相关信息进行归一化；
其中f(xi，xj)、C(x)如下：
式中θ(xi)Tφ(xj)表示点乘相似性，其中θ(xi)＝Wθxi，φ(xj)＝Wφxj，Wθ、Wφ为1×1卷积，归一化因子如上C(x)时，输入变为
y＝soffmax(xTWθWφx)g(x)
即输出表示为
z＝Wzy+x
其中Wz表示1×1卷积，+x表示残差学习；网络中的基本残差结构中第k个残差块的输出为：
Rk＝Conv(ReLU(Conv(Rk-1)))
其中，Rk-1表示前一层残差块的输出；
非局部深度残差网络整个模型结构分为5个子模块即：浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块；其中浅层特征提取模块由一层卷积层组成，深层特征提取模块由40个残差块组成，最后加上了一个全局残差；上采样模块使用的是亚像素卷积；重构模块使用的是两层卷积层。
用于处理数据获得结果的第三模块，该模块对生成对应网络学习的结果集进行网络模型融合；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；
crop-ensemble方法为剪裁增强方法，可有效减少图片剪裁拼接过程中在接缝处产生伪影的情况，其实现方式为：
首先，执行程序接受用户在程序执行前设定的一个图像增强次数，且次数的设定不能太小；其次，执行程序接受crop-ensemble指令，将当前图像小块以正常的方式输入网络中，通过旋转90度使得被网络增强一次，并同时记录每个小块被旋转的度数，当网络完成一次增强后，图像小块会被转回到正常位置；再次，将获得的所有结果进行叠加再取其平均；最后，执行程序再将若干个图像小块拼接成完成的大图；
其中所述小块旋转结果流程实现为：
y0＝G(x′0)
y1＝G(x′1)
其中，yi表示被网络超分辨率处理一次后，并且被旋转回正常位置的图像小块，n为用户设定的用于执行程度识别的图像增强系数，R为最终输出的图像小块；
crop-ensemble模块中还包含有shave-ensemble功能，即镜像翻转功能，其中除了镜像翻转的次数外，用户还可以设定用于图像小块进行镜像翻转的轴和轴的相对位置，该轴的方向可以是水平、竖直或者两者同时存在；shave-ensemble功能的实现方式为：首先，执行程序在接收到镜像翻转指令后，按照设定的轴方向和相对位置对图像小块进行翻转；然后，执行程序再将翻转后的图像小块置入网络进行上采样；最后，对完成所有翻转后的结果进行叠加和求平均值，并将结果作为该图像小块的最终输出；
使用的模型融合方式的流程为将所有网络集成到一个代码框架下，做融合时只需运行一个程序，且所有的图片不进行二次读取，在每个模型输出结果时进行累加后求均值，不需将每个算法的结果存储下来后在进行二次读取。
用于呈现结果的第四模块。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (8)

1.一种基于残差网络与动态卷积网络模型融合的方法，其特征是包括以下步骤：
步骤1、组建图像集，用于模型对真实场景中有用信息的学习；
步骤2、构建学习训练网络，将获得的训练集放入学习网络中，进行网络训练；其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络；所述非局部深度残差网络整个模型结构分为5个子模块：浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块；其中浅层特征提取模块由一层卷积层组成，深层特征提取模块由40个残差块组成，最后加上了一个全局残差；上采样模块使用的是亚像素卷积；重构模块使用的是两层卷积层；
步骤3、对生成对应网络学习的结果集进行网络模型融合，并在融合过程中利用crop-ensemble方法；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；其中所述crop-ensemble方法为剪裁增强方法，用于避免在合并图片时在接缝处产生伪影的情况；
其中，对生成对应网络学习的结果集进行网络模型融合的过程进一步为将所有网络集成到一个代码框架下，融合时运行一个程序，在每个模型输出结果时进行累加后求均值；
crop-ensemble方法为剪切增强方法，减少图片剪裁过程中在接缝处产生伪影的情况，其实现方式为：
首先，执行程序接受用户在程序执行前设定的一个图像增强次数，且次数的设定大于预定值；其次，执行程序接受crop-ensemble指令，输出图像小块，再将所述图像小块以正常的方式输入网络中，通过旋转90度使得被网络增强一次，并同时记录每个图像小块被旋转的度数，当网络完成一次增强后，图像小块会被转回到正常位置；再次，将获得的所有结果进行叠加再取其平均；最后，执行程序再将若干个图像小块拼接成完成的大图；
其中所述图像小块旋转结果流程实现为：
y0＝G(x′0)
y1＝G(x′1)
其中，yi表示被网络超分辨率处理一次后，并且被旋转回正常位置的图像小块，n为用户设定的用于执行程度识别的图像增强系数，R为最终输出的图像小块，x′i表示旋转的结果；x′0表示被按照正常方向输入网络的图像小块；x′1表示x′0按照顺时针旋转90度的操作结果；
步骤4、获得最终处理过的图像结果并呈现。
2.根据权利要求1所述的一种基于残差网络与动态卷积网络模型融合的方法，其特征在于，所述步骤2进一步为：
多个学习训练网络中所述的非局部深度残差网络为改进的深度残差网络，其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息；
非局部模块接收输入X′(H×W×C)，并将其变成两个维度的输入X(HW×C)，其中非局部操作为：
其中i是输出位置上的索引，其输出计算的是相似信息，j是枚举所有可能的位置；输入的x为一个特征信号，y是和x尺寸一样的输出信号，函数f表示一个i和所有j计算的一个标量代表两者之间的相关性，一元函数g为计算输入信号所有位置j的输入信号；g(x)＝Wgxj其中Wg表示1×1卷积，C(x)表示将最终得到的相关信息进行归一化；
其中f(xi,xj)、C(x)如下：
式中θ(xi)Tφ(xj)表示点乘相似性，其中θ(xi)＝Wθxi，φ(xj)＝Wφxj，Wθ、Wφ为1×1卷积，归一化因子如上C(x)时，输入变为：
y＝softmax(xTWθWφx)g(x)
即输出表示为：
z＝Wzy+x
其中Wz表示1×1卷积，+x表示残差学习；网络中的基本残差结构中第k个残差块的输出为：
Rk＝Conv(ReLU(Conv(Rk-1)))
其中，Rk-1表示前一层残差块的输出。
3.根据权利要求1所述的一种基于残差网络与动态卷积网络模型融合的方法，其特征在于，还包含有shave-ensemble模块，即镜像翻转功能，其中除了镜像翻转的次数外，用户还可以设定用于图像小块进行镜像翻转的轴，和轴的相对位置，该轴的方向为水平、竖直或者两者同时存在；
shave-ensemble模块的实现方式为：首先，执行程序在接收到镜像翻转指令后，按照设定的轴方向和相对位置对图像小块进行翻转；然后，执行程序再将翻转后的图像小块置入网络进行上采样；最后，对完成所有翻转后的结果进行叠加和求平均值，并将结果作为该图像小块的最终输出。
4.一种基于残差网络与动态卷积网络模型融合的系统，用于实现上述权利要求1～3中任一项所述方法，其特征在于，包括以下模块：
用于构建训练集的第一模块；该模块组建大量图像集，用于模型对真实场景中有用信息的学习；
用于实现网络学习训练的第二模块；
用于处理数据获得结果的第三模块；
用于呈现结果的第四模块。
5.根据权利要求4所述的一种基于残差网络与动态卷积网络模型融合的系统，其特征在于，所述第二模块进一步通过构建多个学习训练网络，将获得的训练集放入学习网络中，进行网络训练；
其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络；多个学习训练网络中所述的非局部深度残差网络为改进的深度残差网络，其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息；
非局部模块接收输入X′(H×W×C)，并将其变成两个维度的输入X(HW×C)，其中非局部操作为：
其中i是输出位置上的索引，其输出计算的是相似信息，j是枚举所有可能的位置；输入的x为一个特征信号，y是和x尺寸一样的输出信号，函数f表示一个i和所有j计算的一个标量代表两者之间的相关性，一元函数g为计算输入信号所有位置j的输入信号；g(x)＝Wgxj其中Wg表示1×1卷积，C(x)表示将最终得到的相关信息进行归一化；
其中f(xi,xj)、C(x)如下：
式中θ(xi)Tφ(xj)表示点乘相似性，其中θ(xi)＝Wθxi，φ(xj)＝Wφxj，Wθ、Wφ为1×1卷积，归一化因子如上C(x)时，输入变为
y＝softmax(xTWθWφx)g(x)
即输出表示为
z＝Wzy+x
其中Wz表示1×1卷积，+x表示残差学习；网络中的基本残差结构中第k个残差块的输出为：
Rk＝Conv(ReLU(Conv(Rk-1)))
其中，Rk-0表示前一层残差块的输出。
6.根据权利要求5所述的一种基于残差网络与动态卷积网络模型融合的系统，其特征在于，
非局部深度残差网络整个模型结构分为5个子模块即：浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块；其中浅层特征提取模块由一层卷积层组成，深层特征提取模块由40个残差块组成，最后加上了一个全局残差；上采样模块使用的是亚像素卷积；重构模块使用的是两层卷积层。
7.根据权利要求5所述的一种基于残差网络与动态卷积网络模型融合的系统，其特征在于，所述第三模块进一步对生成对应网络学习的结果集进行网络模型融合；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；
crop-ensemble方法为剪切增强方法，可有效减少图片剪裁过程中在接缝处产生伪影的情况，其实现方式为：
首先，执行程序接受用户在程序执行前设定的一个图像增强次数，且次数的设定大于预定值；其次，执行程序接受crop-ensemble指令，将当前图像小块以正常的方式输入网络中，通过旋转90度使得被网络增强一次，并同时记录每个小块被旋转的度数，当网络完成一次增强后，图像小块会被转回到正常位置；再次，将获得的所有结果进行叠加再取其平均；最后，执行程序再将若干个图像小块拼接成完成的大图；
其中所述图像小块旋转结果流程实现为：
y0＝G(x′0)
y1＝G(x′1)
其中，yi表示被网络超分辨率处理一次后，并且被旋转回正常位置的图像小块，n为用户设定的用于执行程度识别的图像增强系数，R为最终输出的图像小块。
8.根据权利要求5所述的一种基于残差网络与动态卷积网络模型融合的系统，其特征在于，还包含有shave-ensemble功能，即镜像翻转功能，其中除了镜像翻转的次数外，用户还可以设定用于图像小块进行镜像翻转的轴，轴的相对位置，该轴的方向可以是水平、竖直或者两者同时存在；
shave-ensemble功能的实现方式为：首先，执行程序在接收到镜像翻转指令后，按照设定的轴方向和相对位置对图像小块进行翻转；然后，执行程序再将翻转后的图像小块置入网络进行上采样；最后，对完成所有翻转后的结果进行叠加和求平均值，并将结果作为该图像小块的最终输出；
使用的模型融合方式的流程为将所有网络集成到一个代码框架下，融合时运行程序，在每个模型输出结果时进行累加后求均值。
CN202011049794.2A 2020-09-29 2020-09-29 一种基于残差网络与动态卷积网络模型融合的方法及系统 Active CN112150384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011049794.2A CN112150384B (zh) 2020-09-29 2020-09-29 一种基于残差网络与动态卷积网络模型融合的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011049794.2A CN112150384B (zh) 2020-09-29 2020-09-29 一种基于残差网络与动态卷积网络模型融合的方法及系统

Publications (2)

Publication Number Publication Date
CN112150384A CN112150384A (zh) 2020-12-29
CN112150384B true CN112150384B (zh) 2024-03-29

Family

ID=73894528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049794.2A Active CN112150384B (zh) 2020-09-29 2020-09-29 一种基于残差网络与动态卷积网络模型融合的方法及系统

Country Status (1)

Country Link
CN (1) CN112150384B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358929B (zh) * 2022-10-19 2023-03-24 中科方寸知微(南京)科技有限公司 压缩图像超分方法、图像压缩方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法
CN110930306A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN111242846A (zh) * 2020-01-07 2020-06-05 福州大学 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111626968A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于全局信息和局部信息的像素增强设计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法
CN110930306A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN111242846A (zh) * 2020-01-07 2020-06-05 福州大学 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111626968A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于全局信息和局部信息的像素增强设计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AIM 2020 challenge on real image super-resolution: Methods and results;Wei P等;《omputer Vision–ECCV 2020 Workshops》;20200925;1-30 *
Enhanced deep residual networks for single image super-resolution;Lim B等;《Proceedings of the IEEE conference on computer vision and pattern recognition workshops》;20171231;136-144 *
Non-local neural networks;Wang X等;《Proceedings of the IEEE conference on computer vision and pattern recognition》;20181216;7794-7803 *
Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network;Shi W等;《roceedings of the IEEE conference on computer vision and pattern recognition》;20161231;1874-1883 *
区域级通道注意力融合高频损失的图像超分辨率重建;周波等;《中国图象图形学报》;20211216;第26卷(第12期);2836-2847 *

Also Published As

Publication number Publication date
CN112150384A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
Gurrola-Ramos et al. A residual dense u-net neural network for image denoising
Dong et al. Deep spatial–spectral representation learning for hyperspectral image denoising
Demir et al. Patch-based image inpainting with generative adversarial networks
Luo et al. Deep constrained least squares for blind image super-resolution
Liang et al. Cameranet: A two-stage framework for effective camera isp learning
CN110009573B (zh) 模型训练、图像处理方法、装置、电子设备及存储介质
WO2017017584A1 (en) Image processing system for downscaling images using perceptual downscaling method
Zhao et al. Legacy photo editing with learned noise prior
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN113850741B (zh) 图像降噪方法、装置、电子设备以及存储介质
Achanta et al. Extreme image completion
CN113673675A (zh) 模型训练方法、装置、计算机设备和存储介质
CN114418853A (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
CN114155161B (zh) 图像去噪方法、装置、电子设备与存储介质
CN112150384B (zh) 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
Roy et al. Image inpainting using frequency-domain priors
Chauhan et al. Deep learning-based single-image super-resolution: a comprehensive review
Zhou et al. Sparse representation with enhanced nonlocal self-similarity for image denoising
Wang et al. Image super-resolution via lightweight attention-directed feature aggregation network
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
Banerjee et al. Bacterial foraging-fuzzy synergism based image Dehazing
Yaghmaee et al. Improving image inpainting quality by a new SVD-based decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Applicant after: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Address before: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Applicant before: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

GR01 Patent grant
GR01 Patent grant