CN114066736B - 一种模板信息辅助的彩色图像去马赛克方法 - Google Patents

一种模板信息辅助的彩色图像去马赛克方法 Download PDF

Info

Publication number
CN114066736B
CN114066736B CN202210046185.4A CN202210046185A CN114066736B CN 114066736 B CN114066736 B CN 114066736B CN 202210046185 A CN202210046185 A CN 202210046185A CN 114066736 B CN114066736 B CN 114066736B
Authority
CN
China
Prior art keywords
rgb
channel
image
conv
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210046185.4A
Other languages
English (en)
Other versions
CN114066736A (zh
Inventor
朱树元
刘宇
王忠荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210046185.4A priority Critical patent/CN114066736B/zh
Publication of CN114066736A publication Critical patent/CN114066736A/zh
Application granted granted Critical
Publication of CN114066736B publication Critical patent/CN114066736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像去马赛克和图像质量增强领域，具体提供一种模板信息辅助的彩色图像去马赛克方法，用以有效提升图像去马赛克重建质量。本发明通过构建马赛克模板信息辅助的彩色图像去马赛克卷积神经网络，实现高效的图像去马赛克；具体通过引入RGB三通道马赛克模板和RGB三通道插值模板，分别与插值后的全彩色RGB图像做特征融合再卷积在一起，使网络针对真实值和恢复值采用不同的卷积方式，使真实值和噪声被有效区分，从而有效提高图像去马赛克效果；综上所述，本发明引入模板信息之后，能够显著提升图像去马赛克重建质量。

Description

一种模板信息辅助的彩色图像去马赛克方法
技术领域
本发明属于图像去马赛克和图像质量增强领域，具体提供一种模板信息辅助的彩色图像去马赛克方法。
背景技术
大多数数码相机使用带有彩色滤光片阵列（CFA）的单一图像传感器，只从全彩图像中为每个像素记录一种颜色；最常用的彩色滤光片阵列（CFA）是Bayer模板；在这种模板下，全彩色图像被子采样以生成马赛克图像，其每个像素只包含RGB中一种颜色的信息；为了获取RGB全彩色图像，通常需要对马赛克图像进行图像去马赛克；去马赛克方法越好，获取的全彩色图像质量就越好，再对全彩色图像进行后处理的效果也会越好。
当前常用的彩色图像去马赛克方法是bicubic等传统插值方法；不过随着实际应用中对图像质量的要求不断提升，bicubic等传统插值方法已无法满足实际应用需求；基于卷积神经网络的方法能提供更好的去马赛克效果，但目前的基于卷积神经网络的图像去马赛克方法并未考虑马赛克模板的信息，利用马赛克模板进一步提升图像去马赛克质量势在必行。
发明内容
本发明的目的在于针对上述现有技术存在的问题，提供一种模板信息辅助的彩色图像去马赛克方法，用以有效提升图像去马赛克重建质量。为实现该目的，本发明采用的技术方案如下：
一种模板信息辅助的彩色图像去马赛克方法，其特征在于，包括以下步骤：
步骤1、数据预处理，包括以下步骤：
步骤1.1、将待处理马赛克图像通过插值方法插值为全彩色RGB图像Irgb；
步骤1.2、将单通道bayer马赛克模板转换为RGB三通道马赛克模板Mask；
步骤1.3、将RGB三通道马赛克模板Mask取反，得到RGB三通道插值模板Interpolation；
步骤2、将全彩色RGB图像Irgb、RGB三通道马赛克模板Mask与RGB三通道插值模板Interpolation输入至彩色图像去马赛克网络，由彩色图像去马赛克网络输出重建全彩色去马赛克图像。
进一步的，所述步骤1.3中，所述彩色图像去马赛克网络由特征提取模块、特征融合模块和图像重建模块组成；其中，
所述特征提取模块由RGB三通道马赛克模板分支、插值图像一分支、RGB三通道插值模板分支与插值图像二分支构成，每个分支的结构相同，具体为：CONV 3×3×64+ReLU+网络单元U；网络单元U的输入为Uin，Uin经过CONV 3×3×64+ReLU+Dilated-CONV 3×3×64_2 +ReLU+ Dilated-CONV 3×3×64_2+ ReLU后输出Umid，网络单元U的输出为Uout=Umid+Uin；所述RGB三通道马赛克模板分支的输入为RGB三通道马赛克模板Mask、输出为Fm，所述插值图像一分支的输入为传统方法插值得到的全彩色RGB图像Irgb、输出为Frgb1，所述RGB三通道插值模板分支的输入为RGB三通道插值模板Interpolation、输出为Ft，所述插值图像二分支的输入为全彩色RGB图像Irgb、输出为Frgb2；
所述特征融合模块由多级特征融合单元MFFU与带有残差的密集连接残差单元RRDU构成；所述多级特征融合单元MFFU的输入为Fm、Frgb1、Ft、Frgb2，输出为Fmffu，具体为：
输入Fm、Frgb1、Ft和Frgb2分别经过CONV 1×1×64+ReLU后输出Fm*、Frgb1*、Ft*和Frgb2*，Frgb1与Frgb2分别经过CONV 3×3×64+ReLU+CONV 3×3×64+ReLU后输出Frgb1**和Frgb2**；Fm*与Frgb1*沿通道执行concatenation操作，再经过CONV 3×3×64+ReLU +CONV 3×3×64+ReLU后输出M1；Ft*和Frgb2*沿通道执行concatenation操作，再经过CONV 3×3×64+ReLU +CONV 3×3×64+ReLU后输出M2；Frgb1**与M1进行点乘得到Frgb1***，Frgb2**与M2进行点乘得到Frgb2***；Frgb1***与Frgb2***沿通道执行concatenation操作，再经过CONV 3×3×64+ReLU +CONV 3×3×64+ReLU后输出Fmffu；
所述带有残差的密集连接残差单元RRDU由3个RDU构成，RDU1的输入为RDU1in、输出为RDU1out，RDU2的输入为RDU2in= RDU1out +RDU1in、输出为RDU2out，RDU3的输入为RDU3in=RDU2out+RDU2in、输出为RDU3out，RRDU的输出为RRDU out =RDU3out+RDU3in+RDU1in；Fmffu输入带有残差的密集连接残差单元RRDU后得到输出RRDU out1，RRDU out1再次输入带有残差的密集连接残差单元RRDU后得到输出RRDU out2，RRDU out2再次输入带有残差的密集连接残差单元RRDU后得到输出Frrdu；
所述图像重建模块由网络单元U与卷积层构成，具体为：网络单元U +CONV 3×3×64+ReLU，图像重建模块的输入为Frrdu、输出为重建的全彩色去马赛克图像。
进一步的，所述RDU包括5个卷积层，其中，每个卷积层具体为：CONV 3×3×64+LeakReLU，第一个卷积层的输入为RDU in、输出为CONVout1，CONVout1与 RDU in沿通道执行concatenation操作后得到第二个卷积层的输入CONV in2，第二个卷积层输出为CONVout2，CONVout2与CONV in2沿通道执行concatenation操作后得到第三个卷积层的输入CONV in3，第三个卷积层的输出为CONVout3，CONVout3与CONV in3沿通道执行concatenation操作后得到第四个卷积层的输入CONV in4，第四个卷积层的输出为CONVout4，CONVout4与CONV in4沿通道执行concatenation操作后得到第五个卷积层的输入为CONV in5，第五个卷积层的输出为RDU out；
进一步的，所述步骤1.1中，插值方法为bicubic插值方法。
进一步的，所述步骤1.2中，将单通道bayer马赛克模板转换为RGB三通道马赛克模板Mask的具体过程为：根据bayer马赛克模板在三通道RGB全彩色图像的采样位置，将采样位置的像素值置1，非采样位置的像素值置0，得到RGB三通道马赛克模板Mask。
与现有技术相比，本发明是有益效果在于：
本发明提出了一种模板信息辅助的彩色图像去马赛克方法，通过构建马赛克模板信息辅助的彩色图像去马赛克卷积神经网络，实现高效的图像去马赛克；在现有技术中，由于彩色图像去马赛克网络对真实值（即Bayer模板采样到的值）和恢复值（即插值所得到的值）采用同样的处理方式、导致由插值所带来的噪声被当作真实信息从而影响去马赛克重建质量；而在本发明中，通过引入RGB三通道马赛克模板和RGB三通道插值模板，分别与插值后的全彩色RGB图像做特征融合再卷积在一起，能够使网络针对真实值和恢复值采用不同的卷积方式，使真实值和噪声被有效区分，从而有效提高图像去马赛克效果；综上所述，本发明引入模板信息之后，能够显著提升图像去马赛克重建质量。
附图说明
图1为本发明实施例中模板信息辅助的彩色图像去马赛克网络结构图。
图2为本发明实施例中彩色图像去马赛克网络中单元U的结构图。
图3为本发明实施例中彩色图像去马赛克网络中MFFU的结构图。
图4为本发明实施例中彩色图像去马赛克网络中RRDU的结构图。
图5为本发明实施例中RRDU中RDU的结构图。
图6为本发明实施例中模板信息辅助的彩色图像去马赛克方法的流程图。
具体实施方式
下面将结合附图对本发明的实施例中的技术方案进行清楚、完整的描述，显然，下面所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种模板信息辅助的彩色图像去马赛克方法，其流程如图6所示，具体步骤如下：
步骤1. 数据预处理；
步骤1.1 将待去马赛克的马赛克图像通过传统方法插值为全彩色RGB图像，具体为将单通道马赛克图像通过bicubic插值方法插值为三通道RGB全彩色图像；
步骤1.2 将单通道bayer马赛克模板转换为RGB三通道马赛克模板，具体为根据bayer马赛克模板在三通道RGB全彩色图像的采样位置，将采样位置的像素值置1，非采样位置的像素值置0，这样得到的一个三通道0、1采样矩阵即为RGB三通道马赛克模板；
步骤1.3 将RGB三通道马赛克模板取反，得到RGB三通道插值模板，具体为将RGB三通道马赛克模板的0置1、1置0，得到RGB三通道插值模板；
步骤2. 将全彩色RGB图像、RGB三通道马赛克模板与RGB三通道插值模板输入至彩色图像去马赛克网络，由彩色图像去马赛克网络输出重建全彩色去马赛克图像。
所述彩色图像去马赛克网络的结构如图1所示，其中，卷积层对应的卷积核大小为3×3和1×1，除RRDU块中激活函数为LeakRelu函数外，其余卷积层激活函数均为Relu函数；具体网络结构如图1~图5所示，图中“CONV 3×3×64”表示一层卷积层、且对应的卷积核的大小为3×3、卷积的输出通道为64、padding参数为“same”，“Dilated-CONV 3×3×64_2”表示一层空洞卷积层、且对应的卷积核的大小为3×3、卷积的输出通道为64、padding参数为2、dilation参数为2，“CONCAT”表示沿通道尺度的concatenation操作，“
Figure 546834DEST_PATH_IMAGE001
”表示像素级的点乘操作；“RRDU” 处的“×3”表示采用1个带有残差的密集连接残差单元RRDU实现3个共享权值的带有残差的密集连接残差单元RRDU依次连接的功能；
更为具体的讲：所述彩色图像去马赛克网络由特征提取模块、特征融合模块和图像重建模块组成；
所述特征提取模块由RGB三通道马赛克模板分支、插值图像一分支、RGB三通道插值模板分支与插值图像二分支共四部分组成，其中，RGB三通道马赛克模板分支的输入为RGB三通道马赛克模板Mask、输出为Fm，插值图像一分支的输入为传统方法插值得到的全彩色RGB图像Irgb、输出为Frgb1，RGB三通道插值模板分支的输入为RGB三通道插值模板Interpolation、输出为Ft，插值图像二分支的输入为传统方法插值得到的全彩色RGB图像Irgb、输出为Frgb2；
所述RGB三通道马赛克模板分支、插值图像一分支、RGB三通道插值模板分支与插值图像二分支的网络结构相同，由一个3×3的卷积层加一个网络单元U依次连接组成，以RGB三通道马赛克模板分支为例，具体为：
CONV 3×3×64+ReLU+网络单元U，其输出为Fm；
其中，网络单元U的输入为Uin，Uin经过CONV 3×3×64+ReLU+Dilated-CONV 3×3×64_2+ +ReLU+ Dilated-CONV 3×3×64_2+ ReLU后输出Umid，网络单元U的输出为Uout=Umid+Uin，如图2所示；
所述特征融合模块由1个多级特征融合单元MFFU和3个共享权值的带有残差的密集连接残差单元RRDU依次连接组成，其中，多级特征融合单元MFFU的输入为Fm、Frgb1、Ft、Frgb2，输出为Fmffu，带有残差的密集连接残差单元RRDU的输入Fmffu、输出为Frrdu；
所述多级特征融合单元MFFU如图3所示，具体结构为：
输入Fm、Frgb1、Ft和Frgb2分别经过CONV 1×1×64+ReLU后输出Fm*、Frgb1*、Ft*和Frgb2*；Frgb1与Frgb2分别经过CONV 3×3×64+ReLU+CONV 3×3×64+ReLU后输出Frgb1**和Frgb2**；
Fm*与Frgb1*沿通道执行concatenation操作，再经过CONV 3×3×64+ReLU +CONV3×3×64+ReLU后输出M1；Ft*和Frgb2*沿通道执行concatenation操作，再经过CONV 3×3×64+ReLU +CONV 3×3×64+ReLU后输出M2；
Frgb1**与M1进行点乘得到Frgb1***，Frgb2**与M2进行点乘得到Frgb2***；
Frgb1***与Frgb2***沿通道执行concatenation操作，再经过CONV 3×3×64+ReLU +CONV 3×3×64+ReLU后输出Fmffu；
所述带有残差的密集连接残差单元RRDU包含3个相同的RDU，如图4所示，具体结构为：RDU1的输入为RDU1in、输出为RDU1out，RDU2的输入为RDU2in= RDU1out +RDU1in、输出为RDU2out，RDU3的输入为RDU3in=RDU2out+RDU2in、输出为RDU3out，RRDU的输出为RRDUout =RDU3out+RDU3in+RDU1in；
Fmffu输入带有残差的密集连接残差单元RRDU后得到输出RRDU out1，RRDU out1再次输入带有残差的密集连接残差单元RRDU后得到输出RRDU out2，RRDU out2再次输入带有残差的密集连接残差单元RRDU后得到输出Frrdu，即上述3个共享权值的带有残差的密集连接残差单元RRDU；
所述RDU包含5个卷积层，如图5所示，具体结构为：每个卷积层具体为：CONV 3×3×64+LeakReLU，第一个卷积层的输入为RDU in、输出为CONVout1，CONVout1与 RDU in沿通道执行concatenation操作后得到第二个卷积层的输入CONV in2，第二个卷积层输出为CONVout2，CONVout2与CONV in2沿通道执行concatenation操作后得到第三个卷积层的输入CONV in3，第三个卷积层的输出为CONVout3，CONVout3与CONV in3沿通道执行concatenation操作后得到第四个卷积层的输入CONV in4，第四个卷积层的输出为CONVout4，CONVout4与CONV in4沿通道执行concatenation操作后得到第五个卷积层的输入为CONV in5，第五个卷积层的输出为RDU out；
所述图像重建模块由1个网络单元U与一个卷积层依次连接组成，具体为：网络单元U +CONV 3×3×64+ReLU，图像重建模块的输入为Frrdu、输出为重建的全彩色去马赛克图像。
基于训练集对上述彩色图像去马赛克网络进行离线训练，具体为：
采用WED数据集中的4744张RGB高清图作为训练图像，然后将训练图像由RGB全彩色图像转为单通道马赛克图像，并将单通道马赛克训练图像经90度旋转、180度旋转、270度旋转、上下翻转、左右翻转等操作扩张为28464张图像，再将单通道马赛克训练图像切分为N×M（本实施例中，N=M=96）大小的子图像，并对子图像执行步骤1.1、步骤1.2与步骤1.3的数据预处理，得到插值后的全彩色RGB图像、RGB三通道马赛克模板与RGB三通道插值模板；以插值后的全彩色RGB图像、RGB三通道马赛克模板与RGB三通道插值模板作为输入、以原始RGB高清图像（子图像）作为标签，形成训练样本，进而构建得训练集；
采用Adam优化器对彩色图像去马赛克网络进行训练；所述训练参数为：学习率为0.0001、批尺寸为64、训练周期为40，所述损失函数为：
Figure 473202DEST_PATH_IMAGE002
其中，Y 1表示彩色图像去马赛克网络输出的重建全彩色去马赛克图像，Y 0表示标签，Y(i,j)表示图像Y的第i行、第j列的像素值，N、M分别表示输入图像的高、宽。
基于上述技术方案，本实施例在2个图像集进行测试，分别为Kodak图像集（分辨率为512×768、24张）和MCM图像集（分辨率为500×500、18张）；利用四种方法进行了对比：1）传统的RI插值方法，2）传统的ARI插值方法，3）无模板信息辅助的彩色图像去马赛克方法（将RGB三通道马赛克模板与RGB三通道插值模板替换为全1的矩阵），4）模板信息辅助的彩色图像去马赛克方法（网络结构如图1-5所示）；四种方法在2个图像集上对应的测试结果（CPSNR）为：1）传统的RI插值方法：Kodak 39.21dB、MCM 36.91dB，2）传统的ARI插值方法：Kodak 39.95dB、MCM 37.60dB，3）无模板信息辅助的彩色图像去马赛克方法：Kodak43.02dB、MCM 39.76dB，4）模板信息辅助的彩色图像去马赛克方法：Kodak 43.38dB、MCM40.12Db。
由以上结果可知，2个图像集中，本实施例中模板信息辅助的彩色图像去马赛克方法优于无模板信息辅助的彩色图像去马赛克方法，并且两者均优于传统的RI、ARI插值方法；由此可见，本实施例中模板信息辅助的彩色图像去马赛克方法具有最优的性能，测试结果表明引入的模板信息能加强图像去马赛克网络的性能，证明了本发明方法的有效性及优越性。由此可见，本发明所提出的模板信息辅助的彩色图像去马赛克方法具有出色的表现，在2个图像集中，相较于传统的RI、ARI插值方法，可将图像去马赛克的CPSNR提高3dB以上。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (4)

1.一种模板信息辅助的彩色图像去马赛克方法，其特征在于，包括以下步骤：
步骤1、数据预处理，包括以下步骤：
步骤1.1、将待处理马赛克图像通过插值方法插值为全彩色RGB图像Irgb；
步骤1.2、将单通道bayer马赛克模板转换为RGB三通道马赛克模板Mask；
步骤1.3、将RGB三通道马赛克模板Mask取反，得到RGB三通道插值模板Interpolation；
步骤2、将全彩色RGB图像Irgb、RGB三通道马赛克模板Mask与RGB三通道插值模板Interpolation输入至彩色图像去马赛克网络，由彩色图像去马赛克网络输出重建全彩色去马赛克图像；
所述彩色图像去马赛克网络由特征提取模块、特征融合模块和图像重建模块组成；其中，
所述特征提取模块由RGB三通道马赛克模板分支、插值图像一分支、RGB三通道插值模板分支与插值图像二分支构成，每个分支的结构相同，具体为：CONV 3×3×64+ReLU+网络单元U；网络单元U的输入为Uin，Uin经过CONV 3×3×64+ReLU+Dilated-CONV 3×3×64_2+ReLU+ Dilated-CONV 3×3×64_2+ReLU后输出Umid，网络单元U的输出为Uout=Umid+Uin；所述RGB三通道马赛克模板分支的输入为RGB三通道马赛克模板Mask、输出为Fm，所述插值图像一分支的输入为传统方法插值得到的全彩色RGB图像Irgb、输出为Frgb1，所述RGB三通道插值模板分支的输入为RGB三通道插值模板Interpolation、输出为Ft，所述插值图像二分支的输入为全彩色RGB图像Irgb、输出为Frgb2；
所述特征融合模块由多级特征融合单元MFFU与带有残差的密集连接残差单元RRDU构成；所述多级特征融合单元MFFU的输入为Fm、Frgb1、Ft、Frgb2，输出为Fmffu，具体为：
输入Fm、Frgb1、Ft和Frgb2分别经过CONV 1×1×64+ReLU后输出Fm*、Frgb1*、Ft*和Frgb2*，Frgb1与Frgb2分别经过CONV 3×3×64+ReLU+CONV 3×3×64+ReLU后输出Frgb1**和Frgb2**；Fm*与Frgb1*沿通道执行concatenation操作，再经过CONV 3×3×64+ReLU +CONV 3×3×64+ReLU后输出M1；Ft*和Frgb2*沿通道执行concatenation操作，再经过CONV3×3×64+ReLU +CONV 3×3×64+ReLU后输出M2；Frgb1**与M1进行点乘得到Frgb1***，Frgb2**与M2进行点乘得到Frgb2***；Frgb1***与Frgb2***沿通道执行concatenation操作，再经过CONV 3×3×64+ReLU +CONV 3×3×64+ReLU后输出Fmffu；
所述带有残差的密集连接残差单元RRDU由3个RDU构成，RDU1的输入为RDU1in、输出为RDU1out，RDU2的输入为RDU2in= RDU1out +RDU1in、输出为RDU2out，RDU3的输入为RDU3in=RDU2out+RDU2in、输出为RDU3out，RRDU的输出为RRDU out =RDU3out+RDU3in+RDU1in；Fmffu输入带有残差的密集连接残差单元RRDU后得到输出RRDU out1，RRDU out1再次输入带有残差的密集连接残差单元RRDU后得到输出RRDU out2，RRDU out2再次输入带有残差的密集连接残差单元RRDU后得到输出Frrdu；
所述图像重建模块由网络单元U与卷积层构成，具体为：网络单元U +CONV 3×3×64+ReLU，图像重建模块的输入为Frrdu、输出为重建的全彩色去马赛克图像。
2.按权利要求1所述模板信息辅助的彩色图像去马赛克方法，其特征在于，所述RDU包括5个卷积层，其中，每个卷积层具体为：CONV 3×3×64+LeakReLU，第一个卷积层的输入为RDU in、输出为CONVout1，CONVout1与 RDU in沿通道执行concatenation操作后得到第二个卷积层的输入CONV in2，第二个卷积层输出为CONVout2，CONVout2与CONV in2沿通道执行concatenation操作后得到第三个卷积层的输入CONV in3，第三个卷积层的输出为CONVout3，CONVout3与CONV in3沿通道执行concatenation操作后得到第四个卷积层的输入CONV in4，第四个卷积层的输出为CONVout4，CONVout4与CONV in4沿通道执行concatenation操作后得到第五个卷积层的输入为CONV in5，第五个卷积层的输出为RDUout。
3.按权利要求1所述模板信息辅助的彩色图像去马赛克方法，其特征在于，所述步骤1.1中，插值方法为bicubic插值方法。
4.按权利要求1所述模板信息辅助的彩色图像去马赛克方法，其特征在于，所述步骤1.2中，将单通道bayer马赛克模板转换为RGB三通道马赛克模板Mask的具体过程为：根据bayer马赛克模板在三通道RGB全彩色图像的采样位置，将采样位置的像素值置1，非采样位置的像素值置0，得到RGB三通道马赛克模板Mask。
CN202210046185.4A 2022-01-17 2022-01-17 一种模板信息辅助的彩色图像去马赛克方法 Active CN114066736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210046185.4A CN114066736B (zh) 2022-01-17 2022-01-17 一种模板信息辅助的彩色图像去马赛克方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210046185.4A CN114066736B (zh) 2022-01-17 2022-01-17 一种模板信息辅助的彩色图像去马赛克方法

Publications (2)

Publication Number Publication Date
CN114066736A CN114066736A (zh) 2022-02-18
CN114066736B true CN114066736B (zh) 2022-05-03

Family

ID=80231431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210046185.4A Active CN114066736B (zh) 2022-01-17 2022-01-17 一种模板信息辅助的彩色图像去马赛克方法

Country Status (1)

Country Link
CN (1) CN114066736B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342394B (zh) * 2023-05-30 2023-08-18 之江实验室 一种基于fpga的实时图像去马赛克方法、装置和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN111654705A (zh) * 2020-06-05 2020-09-11 电子科技大学 基于新型色彩空间转换的马赛克图像压缩方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880163B (zh) * 2018-09-05 2022-08-19 南京大学 一种基于深度学习的弱光彩色成像方法
CN112805744B (zh) * 2019-07-05 2024-04-09 百度时代网络技术（北京）有限公司 用于对多光谱图像去马赛克的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN111654705A (zh) * 2020-06-05 2020-09-11 电子科技大学 基于新型色彩空间转换的马赛克图像压缩方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Mosaic super-resolution via sequential feature pyramid networks;M Shoeiby等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;20200630;1-10 *
图像超分辨率重建算法研究与实现;陈文文;《中国优秀博硕士学位论文全文数据库(硕士)(信息科技辑)》;20200715(第07期);I138-750 *
基于残余插值的彩色图像去马赛克算法研究;贾慧秒;《中国优秀博硕士学位论文全文数据库(硕士)(信息科技辑)》;20190415(第04期);I138-752 *
基于深度学习的彩色图像去马赛克;余继辉等;《计算机应用研究》;20200630;第37卷(第s1期);343-345 *

Also Published As

Publication number Publication date
CN114066736A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN106910161B (zh) 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
Muresan et al. Demosaicing using optimal recovery
CN102254301B (zh) 基于边缘方向插值的cfa图像去马赛克方法
CN110211057B (zh) 一种基于全卷积网络的图像处理方法、装置和计算机设备
CN111008936B (zh) 一种多光谱图像全色锐化方法
CN111539893A (zh) 一种基于导向滤波的Bayer图像联合去马赛克去噪方法
CN114066736B (zh) 一种模板信息辅助的彩色图像去马赛克方法
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN113222819B (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN113066027B (zh) 面向Raw域的屏摄图像摩尔纹去除方法
CN111145102A (zh) 一种基于卷积神经网络的合成孔径雷达图像去噪方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN114998145A (zh) 一种基于多尺度和上下文学习网络的低照度图像增强方法
CN112381722A (zh) 一种单图像的超分与感知图像增强的联合任务学习方法
Zhang et al. Deep spatial adaptive network for real image demosaicing
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN107622477A (zh) 一种rgbw图像联合去马赛克和去模糊方法
CN116977191A (zh) 画质提升模型的训练方法和视频会议系统画质的提升方法
Guo et al. Joint demosaicking and denoising benefits from a two-stage training strategy
CN116823662A (zh) 一种融合原生特征的图像去噪去模糊方法
CN113139990B (zh) 一种基于内容感知的深度网格流鲁棒图像对齐方法
CN111598781B (zh) 一种基于混合高阶注意网络的图像超分辨率方法
CN110139087B (zh) 一种基于拜耳排布的图像处理方法
CN111445403A (zh) 一种适用于星上图像预处理的图像插值方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant