CN111654621A - 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 - Google Patents

一种基于卷积神经网络模型的双焦相机连续数字变焦方法 Download PDF

Info

Publication number
CN111654621A
CN111654621A CN202010455069.9A CN202010455069A CN111654621A CN 111654621 A CN111654621 A CN 111654621A CN 202010455069 A CN202010455069 A CN 202010455069A CN 111654621 A CN111654621 A CN 111654621A
Authority
CN
China
Prior art keywords
image
resolution
layer
convolutional
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010455069.9A
Other languages
English (en)
Other versions
CN111654621B (zh
Inventor
李奇
宋炯辉
徐之海
冯华君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jingzheng Optoelectronics Co ltd
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010455069.9A priority Critical patent/CN111654621B/zh
Publication of CN111654621A publication Critical patent/CN111654621A/zh
Application granted granted Critical
Publication of CN111654621B publication Critical patent/CN111654621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于卷积神经网络模型的双焦相机连续数字变焦方法。对公开数据集预处理，得尺寸相同的高低分辨图像以及对应的参考图像，构成图像对，作为训练集；建立卷积神经网络模型，以训练集迭代训练达到预设次数；输入短焦相机获得的低分辨图像和长焦相机获得的高分辨图像及变焦倍率，使用双三次插值的方法，上采样裁剪后和高分辨图像通过训练完成后的卷积神经网络模型，输出变焦后图像。本发明方法利用卷积神经网络模型实现连续倍率的数字变焦图像合成，相较于现有的连续数字变焦方法，可更有效地利用长焦相机获得的高分辨率图像提供的丰富的纹理细节。

Description

一种基于卷积神经网络模型的双焦相机连续数字变焦方法
技术领域
本发明属于数字图像处理领域的一种双焦相机连续数字变焦方法，涉及了一种利用卷积神经网络模型的双焦相机连续数字变焦方法。
背景技术
出于成本和尺寸以及成像系统可靠性的考虑，在航天相机以及智能手机中，很少搭载光学变焦的镜头，而是倾向于使用定焦相机。短焦相机视场较大，但是细节分辨力却不足，而长焦相机虽然可以拍摄高分辨图片并获得大量细节信息，但是视场却较小。因此，用两个焦距不同的定焦相机组成一个非对称的光学系统来模拟光学变焦相机有着越来越广的应用场景。但是这样的系统引入了一个新的问题：如何设计一种高效的算法，从输入的长焦相机高分辨图像和短焦相机低分辨图像出发，进行数字变焦，产生和光学变焦视觉效果相似的连续数字变焦算法。
在实现双焦相机连续数字变焦的过程中，主要面临以下几个技术难点：第一，传统的图像融合算法无法将长焦相机获得的纹理信息转移到长焦视场外，导致仅有短焦相机拍摄的区域纹理恢复效果较差。第二，目前被深入研究和广泛应用的基于卷积神经网络的单帧图像超分辨算法只能在一定程度上提升短焦相机所获得的图像质量，但无法有效利用长焦图像的纹理细节；而基于参考图像的图像超分辨算法，算法效果十分依赖参考图像和短焦图像的配准效果，同时绝大多数的基于卷积神经网络模型的图像超分辨算法由于网络模型输入和输出的图像大小为定值，仅能实现固定倍率的变焦，而基于块匹配的传统数字变焦算法耗时过长，所以难以提出一种能有效利用长焦相机获得的纹理细节的连续倍率变焦算法。
发明内容
本发明针对如图1所示的双焦相机成像系统在成像过程中难以有效利用长焦相机获得的纹理细节、现有卷积神经网络模型无法实现连续倍率数字变焦、传统算法耗时长等技术问题，采用了利用卷积神经网络模型的双焦相机连续数字变焦方法。
为达到以上目的，本发明采用以下技术方案，实现流程如图2所示：
(1)对公开数据集进行预处理，得到图像尺寸大小相同的高分辨图像和低分辨图像以及对应的参考图像，高分辨图像和低分辨图像构成图像对，作为训练卷积神经网络模型的训练集；
(2)建立如图4所示的卷积神经网络模型，以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，完成模型训练，具体是：
(2.1)以固定的初始化方法初始化待训练卷积神经网络模型的初始模型参数，使得服从特定的分布；
(2.2)利用训练集中的高分辨图像IH和裁剪后图像IUC，通过细节迁移子网络，将纹理细节迁移到低分辨图像上采样后的对应区域，得到掩膜图像mask、中心高分辨率区域RH和周边低分辨率区域RL；
(2.3)以中心高分辨率区域RH中的纹理细节信息为参考，结合周边低分辨率区域RL中的语义信息，并根据掩膜图像mask通过图像修复子网络，修复周边低分辨率区域RL中的纹理细节，输出修复后图像IB；
(2.4)根据修复后图像IB和对应参考图像IR计算保真项误差Loss；
(2.5)根据计算得到的保真项误差Loss，对待训练的卷积神经网络模型参数进行调整；
(2.6)根据调整后的卷积神经网络模型参数，重复进行步骤(2.2)至步骤(2.5) 的操作，进行模型参数调整的过程，直至迭代次数达到预设次数，则模型训练完毕；
(3)输入短焦相机获得的低分辨图像IRL和长焦相机获得的高分辨图像IRH以及变焦倍率B，使用双三次插值的方法，对低分辨图像IRL进行上采样，上采样倍率为变焦倍率B，将上采样后图像进行中心裁剪，使得裁剪后的图像尺寸大小为H×W，将上采样、裁剪后的图像和高分辨图像IRH通过训练完成后的卷积神经网络模型，输出变焦后图像IB。
本发明方法通常是针对拥有两个焦距不同的定焦相机，需要获得连续变焦图像的场景进行处理。
所述的双焦相机是获得低分辨图像的短焦相机和获得高分辨图像的长焦相机，短焦相机采集的图像作为低分辨图像，长焦相机采集的图像作为高分辨图像，低分辨图像和高分辨图像尺寸大小相同，且高分辨图像的视场在低分辨图像的视场内。
所述步骤(1)具体为：
(1.1)设短焦相机和长焦相机的空间采样率倍率比为M，获得图像尺寸大小为H×W，H和W分别表示图像的横纵方向的标准尺寸，从公开数据集获取的输入图像I尺寸大小为HI×WI，HI和WI分别表示输入图像I的横纵方向的尺寸，满足HI≥MH，WI≥MW；
(1.2)在输入图像I中随机裁剪尺寸大小为MH×MW的区域I0，对区域I0进行下采样，下采样倍率为M，将下采样后得到的区域I1作为低分辨图像IL；
将区域I0随机旋转θ，满足-1°≤θ≤1°，得到旋转后区域I2，对区域I2进行中心裁剪，裁剪成图像尺寸大小为H×W，将裁剪后的区域I2作为高分辨图像 IH；
(1.3)随机生成变焦倍率B，满足1≤B≤M，其中M为短焦相机和长焦相机的空间采样率倍率比，使用双三次插值的方法，对低分辨图像IL进行上采样，上采样倍率为变焦倍率B，将上采样后的图像进行中心裁剪，使得裁剪成图像尺寸大小为H×W，得到裁剪后图像IUC；
(1.4)对(1.2)获得的区域I0进行下采样，使得下采样后区域尺寸大小为BH ×BW，然后对下采样后的区域进行中心裁剪，裁剪成尺寸大小为H×W的区域，将下采样、裁剪后的区域I0作为对应参考图像IR；将裁剪后图像IUC、高分辨图像IH和对应参考图像IR作为训练集的一组图像；
(1.5)对公开数据集中的每幅图像随机生成3个不同的变焦倍率B，重复(1.1) 至(1.4)的操作，构建组成训练集。
所述的公开数据集为BSD100、Urban100、DIV2K等用于图像超分辨率重建的数据集。
所述步骤(2)中的卷积神经网络模型包含依次连接的细节迁移子网络和图像修复子网络的两个子网络：
细节迁移子网络主要由六层卷积层和一个基于注意力机制的特征迁移模块构成，第1层、第2层卷积层依次连接，第3层、第4层卷积层依次连接，第5 层、第6层卷积层依次连接，将训练集中得裁剪后图像IUC和高分辨图像IH分别输入到细节迁移子网络的第1层卷积层和第3层卷积层中，细节迁移子网络的第1层卷积层、第2层卷积层和第4层卷积层的输出均输入到特征迁移模块中，特征迁移模块的输出和第1层卷积层的输出一起经图像通道连接操作后输入到细节迁移子网络的第5层卷积层中，细节迁移子网络的第6层卷积层输出的中心高分辨率区域RH和裁剪后图像IUC处理后输出的周边低分辨率区域RL一起进行融合操作后输出融合后图像Itrans到图像修复子网络；
图像修复子网络主要由十层卷积层和四个特征迁移模块构成，融合后图像 Itrans输入到第1层卷积层中，第1层卷积层～第5层卷积层依次连接，第6层卷积层～第10层卷积层依次连接，第1层卷积层和第2层卷积层的输出输入到第1 特征迁移模块中，第2层卷积层和第3层卷积层的输出输入到第2特征迁移模块中，第3层卷积层和第4层卷积层的输出输入到第3特征迁移模块中，第4 层卷积层和第5层卷积层的输出输入到第4特征迁移模块中，第1特征迁移模块～第3特征迁移模块的输出分别和第1层卷积层～第3层卷积层的输出、第8层卷积层～第6层卷积层的输出经图像通道连接操作后分别再连接输入到第9层卷积层～第7层卷积层，即第1特征迁移模块的输出分别和第1层卷积层、第8 层卷积层的输出经图像通道连接操作后分别再连接输入到第9层卷积层，第2 特征迁移模块的输出分别和第2层卷积层、第7层卷积层的输出经图像通道连接操作后分别再连接输入到第8层卷积层，第3特征迁移模块的输出分别和第3 层卷积层、第6层卷积层的输出经图像通道连接操作后分别再连接输入到第7 层卷积层，同时第4特征迁移模块的输出和第4层卷积层的输出经图像通道连接操作后连接输入到第6层卷积层，第10层卷积层输出修复后图像IB。
所述步骤(2.1)中，将卷积神经网络模型的初始模型参数，即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值，初始化为32位浮点数，使卷积神经网络模型的所有初始模型参数服从(0,1)之间的均匀分布。
所述步骤(2.2)具体为：
(2.2.1)对步骤(1)获得的裁剪后图像IUC进行上采样，上采样倍率为M/B，得到上采样后图像I'UC，定义与上采样后图像I'UC尺寸大小相同的掩膜图像mask，将掩膜图像mask中心的H×W大小的区域的像素值均置为0，其余区域置为1；
(2.2.2)对掩膜图像mask进行下采样，下采样倍率为B/M，得到下采样后掩膜图像mask’，则周边低分辨率区域RL采用以下公式获得：
RL＝mask’.*IUC
其中，.*运算表示为矩阵中相同位置的元素对应相乘；
(2.2.3)对上采样后图像I'UC进行中心裁剪，使得裁剪后图像尺寸大小与裁剪后图像IUC相同，得到再次裁剪图像I”UC；
(2.2.4)对于再次裁剪图像I”UC和高分辨图像IH，分别输入到第1层卷积层和第3层卷积层中，分别利用下式同样处理获得经卷积层处理得到的结果图像：
Figure BDA0002508929900000041
Figure BDA0002508929900000042
Figure BDA0002508929900000043
Figure BDA0002508929900000044
Figure BDA0002508929900000051
其中，
Figure BDA0002508929900000052
为再次裁剪图像I”UC经第1层卷积层处理得到的结果图像，
Figure BDA0002508929900000053
为
Figure BDA0002508929900000054
经第2层卷积层处理得到的结果图像，
Figure BDA0002508929900000055
为高分辨图像IH经第2层卷积层处理得到的结果图像，
Figure BDA0002508929900000056
为
Figure BDA0002508929900000057
经第4层卷积层处理得到的结果图像； DownSample为作0.5倍下采样的操作；Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作；
(2.2.5)特征迁移模块：对于特征迁移模块，从第2层卷积层处理得到的结果图像
Figure BDA0002508929900000058
第4层卷积层处理得到的结果图像
Figure BDA0002508929900000059
中以1为步长提取3×3的裁剪小块pi、高分辨小块pj，i、j为小块编号，利用卷积操作得到一个裁剪小块和一个高分辨小块的每两个小块之间的余弦相似度si,j，对于第i个裁剪小块，利用下式计算其与各个高分辨小块的相似度αi,j：
Figure BDA00025089299000000510
其中，N为从第4层卷积层处理得到的结果图像
Figure BDA00025089299000000511
中提取的小块总数；
从
Figure BDA00025089299000000512
中以2为步长提取6×6的小块qj，小块qj为高分辨小块pj在结果图像
Figure BDA00025089299000000513
中对应的小块，利用相似度αi,j和小块qj通过下式得到特征迁移小块qi：
Figure BDA00025089299000000514
将所有特征迁移小块qi组合得到特征迁移模块的结果ATN1；
(2.2.6)利用下式得到经过第3层卷积层处理的结果图像fea3：
Figure BDA00025089299000000515
其中，
Figure BDA00025089299000000516
为第1层卷积层处理得到的结果图像；ATN1为特征迁移模块处理的结果图像；UpSample为作2.0倍上采样的操作；Cat为图像通道维度拼接操作；
(2.2.7)利用下式得到经过第4层卷积层处理的结果图像fea4：
fea4＝Conv{fea3}
(2.2.8)最后对第4层卷积层处理的结果图像fea4进行下采样，下采样倍率为 B/M，得到下采样后的结果图像作为高分辨率区域RH。
所述步骤(2.3)具体为：
(2.3.1)对步骤(2.2)获得的中心高分辨率区域RH和周边低分辨率区域RL，将中心高分辨率区域RH融合到周边低分辨率区域RL中心区域后得到如图5所示的融合后图像Itrans；
(2.3.2)对于融合后图像Itrans，在图像修复子网络的当前第1,2,3,4,5层卷积层时，利用下式处理获得每一当前层卷积层处理得到的结果图像：
Figure BDA0002508929900000061
其中，
Figure BDA0002508929900000062
为第k-1层卷积层处理得到的结果图像，k表示卷积层的序号， k＝1,2,3,4,5，
Figure BDA0002508929900000063
DownSample为作0.5倍下采样的操作；Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作；
(2.3.3)对于第n个特征迁移模块，n＝1,2,3,4：
首先，对步骤(2.2.2)获得的下采样后掩膜图像mask’作1/2n+1倍下采样的操作得到中间掩膜图像maskn+1，根据中间掩膜图像maskn+1得到中心高分辨率区域 RH和周边低分辨率区域RL分别在结果图像
Figure BDA0002508929900000064
中对应的区域
Figure BDA0002508929900000065
在区域
Figure BDA0002508929900000066
和
Figure BDA0002508929900000067
中分别以1为步长提取3×3的低分辨小块
Figure BDA0002508929900000068
高分辨小块
Figure BDA0002508929900000069
i、 j为小块编号，利用卷积操作得到一个低分辨小块和一个高分辨小块的每两个小块之间的余弦相似度
Figure BDA00025089299000000610
对于第i个低分辨小块，利用下式计算其与各个高分辨小块的相似度
Figure BDA00025089299000000611
Figure BDA00025089299000000612
其中，N为从区域
Figure BDA00025089299000000613
中提取的小块总数；
从
Figure BDA00025089299000000614
中以2为步长提取6×6的小块
Figure BDA00025089299000000615
小块
Figure BDA00025089299000000616
为高分辨小块
Figure BDA00025089299000000617
在结果图像
Figure BDA00025089299000000618
中对应的小块，利用相似度
Figure BDA00025089299000000619
和小块
Figure BDA00025089299000000620
通过下式得到第n个特征迁移模块的特征迁移小块
Figure BDA00025089299000000621
Figure BDA00025089299000000622
将
Figure BDA00025089299000000623
组合得到第n个特征迁移模块的结果ATNn；
(2.3.4)利用下式得到经过第6层卷积层处理的结果图像
Figure BDA00025089299000000624
Figure BDA00025089299000000625
其中，ATN4为第4个特征迁移模块处理的结果图像；UpSample为作2.0倍上采样的操作；Cat为图像通道维度拼接操作；
(2.3.5)在第7,8,9层卷积层时，均利用下式处理获得经第7/8/9层卷积层处理得到的结果图像
Figure BDA00025089299000000626
Figure BDA00025089299000000627
其中，ATN10-k为第10-k个特征迁移模块处理的结果图像；UpSample为作2.0 倍上采样的操作；Cat为图像通道维度拼接操作，k表示卷积层的序号，k＝7,8,9；
(2.3.6)利用下式得到经过第10层卷积层处理的结果图像作为修复后图像IB：
Figure BDA0002508929900000071
所述步骤(2.4)具体为：在得到最后一级卷积层输出的结果图像IB和参考图像IR后，通过以下公式计算保真项误差Loss：
Figure BDA0002508929900000072
其中，(x,y)为图像像素点的坐标值，IB(x,y)表示修复后图像IB的坐标(x,y) 的像素点的像素值，IR(x,y)表示参考图像IR的坐标(x,y)的像素点的像素值，|| ||1表示计算该项的L1范数。
所述步骤(2.5)具体为：首先通过下式获得保真项误差Loss对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值：
Figure BDA0002508929900000073
Figure BDA0002508929900000074
其中，
Figure BDA0002508929900000075
分别为步骤(2.2)和(2.3)中卷积操作Conv的卷积核权重，
Figure BDA0002508929900000076
分别为步骤(2.2)和(2.3)中卷积操作Conv的偏置参数；IR为参考图像；l为输入的高分辨图像与低分辨图像构成的图像对的序号；m为输入图像对的总量；
然后利用求得的保真项误差按照如下公式对卷积核权重
Figure BDA0002508929900000077
和偏置参数
Figure BDA0002508929900000078
进行更新：
Figure BDA0002508929900000079
Figure BDA00025089299000000710
其中，α为学习速率，
Figure BDA00025089299000000711
为更新后卷积核权重，
Figure BDA00025089299000000712
为更新后偏置参数。
本发明的有益效果：
本发明方法首先对公开数据集进行预处理，得到图像尺寸大小相同的高分辨图像和低分辨图像，以及与之对应的参考图像，作为训练卷积神经网络的训练集，然后建立卷积神经网络模型，以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，完成模型训练，最后利用训练完成后的卷积神经网络模型，输入短焦相机获得的低分辨图像和长焦相机获得的高分辨图像以及变焦倍率，得到变焦后图像。
相比较现有的双焦相机数字变焦方法，本发明方法具有以下优势：第一，由于有长焦相机拍摄的高分辨图像的纹理细节，本发明方法根据图像修复的思路，通过特征迁移模块在深层特征的匹配，将高分辨图像的纹理细节迁移到低分辨图像语义相近的区域中，使得最终输出纹理信息较为丰富的数字变焦图像。第二，针对现有卷积神经网络模型的超分辨算法只支持固定倍率的变焦，将无法实现连续倍率数字变焦的问题，本发明方法在设计卷积网络模型时不按照图像超分辨网络进行设计，而是从图像修复的角度出发来实现数字变焦，从而实现了用一个卷积神经网络模型进行连续变焦。第三，本发明方法与传统方法相比，除了在训练卷积神经网络模型时需要耗费一定的运算资源与时间，当模型训练完成后对于输入图像进行处理的耗时短、消耗运算资源少，且具有较强算法鲁棒性。
综合来说，本发明方法利用卷积神经网络模型实现连续倍率的数字变焦图像合成，相较于现有的连续数字变焦方法，可更有效地利用长焦相机获得的高分辨率图像提供的丰富的纹理细节。
附图说明
图1为双焦相机成像系统示意图。
图2为本发明方法主要框架流程示意图。
图3为训练集图像对示意图(图中变焦倍率B＝3)。
图4为本发明方法所述卷积神经网络模型结构图。
图5为RH和RL融合后图像Itrans(图中变焦倍率B＝2)。
图6为根据短焦相机获得的低分辨图像IRL和长焦相机获得的高分辨图像IRH，利用训练完成的卷积神经网络模型获得的不同变焦倍率的图像。
图7为在变焦倍率B＝3.5的情况下，参考图像IR、变焦后图像IB和直接上采样后的图像。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明针对如图1所示的双焦相机成像系统在成像过程中难以有效利用长焦相机获得的纹理细节、现有卷积神经网络模型无法实现连续倍率数字变焦、传统算法耗时长等技术问题，采用了利用卷积神经网络模型的双焦相机连续数字变焦方法。首先对公开数据集进行预处理，得到图像尺寸大小相同的高分辨图像和低分辨图像，以及与之对应的参考图像，作为训练卷积神经网络的训练集，然后建立卷积神经网络模型，以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，完成模型训练，最后利用训练完成后的卷积神经网络模型，输入短焦相机获得的低分辨图像和长焦相机获得的高分辨图像以及变焦倍率，得到变焦后图像。
本发明的实施例及其实施情况如下：
实施例的流程如附图2所示，主要包括对公开数据集进行预处理建立训练集、利用训练集迭代训练卷积神经网络模型和利用训练完成卷积神经网络模型进行测试三个步骤。
步骤1对公开数据集进行预处理，得到图像尺寸大小相同的高分辨图像和低分辨图像，以及与之对应的参考图像，作为训练卷积神经网络的训练集。
1-1设短焦相机和长焦相机的空间采样率倍率比为M，获得图像尺寸大小为 H×W，H和W分别表示图像的横纵方向的标准尺寸，从公开数据集获取的输入图像I尺寸大小为HI×WI，HI和WI分别表示输入图像I的横纵方向的尺寸，满足HI≥MH，WI≥MW，公开数据集为BSD100、Urban100、DIV2K等用于图像超分辨率重建的数据集。
在具体实验中，采用空间采样率倍率比M＝4，获得图像尺寸大小为256×256，使用的公开数据集为DIV2K数据集。
1-2在输入图像I中随机裁剪尺寸大小为MH×MW的区域I0，对区域I0进行下采样，下采样倍率为M，将下采样后得到的区域I1作为低分辨图像IL；
将区域I0随机旋转θ，满足-1°≤θ≤1°，得到旋转后区域I2，对区域I2进行中心裁剪，裁剪成图像尺寸大小为H×W，将裁剪后的区域I2作为高分辨图像 IH；
在具体实验中，考虑到长焦高分辨图像和短焦低分辨图像虽然存在未配准的情况，但在大多数情况下并不是特别明显，因此θ的生成分布满足
Figure BDA0002508929900000091
的正态分布。
1-3随机生成变焦倍率B，满足1≤B≤M，其中M为短焦相机和长焦相机的空间采样率倍率比，使用双三次插值的方法，对训练集中的低分辨图像IL进行上采样，上采样倍率为变焦倍率B，将上采样后图像进行中心裁剪，使得裁剪后图像尺寸大小为H×W，得到裁剪后图像IUC；
1-4对步骤1-2获得的区域I0进行下采样，使得下采样后区域尺寸大小为 BH×BW，然后对下采样后的区域进行中心裁剪，裁剪成尺寸大小为H×W的区域，将下采样、裁剪后的区域I0作为对应参考图像IR；将裁剪后图像IUC、高分辨图像IH和对应参考图像IR作为训练集的一组图像，如图3所示；
1-5对公开数据集中的每幅图像随机生成3个变焦倍率B，重复步骤1-1至 1-4的操作，组成训练集；
在具体实验中，为了提升卷积神经网络模型训练效果，生成了两组不同的训练集，第一组为训练前期使用的训练集，该组训练集的变焦倍率为定值，B＝2， 3，3.5；第二组为模型较为稳定后使用的训练集，该组训练集的变焦倍率为随机值。
步骤2建立如图4所示的卷积神经网络模型，以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，完成模型训练。
2-1卷积神经网络模型包含依次连接的细节迁移子网络和图像修复子网络的两个子网络：
细节迁移子网络主要由六层卷积层和一个基于注意力机制的特征迁移模块构成，第1层、第2层卷积层依次连接，第3层、第4层卷积层依次连接，第5 层、第6层卷积层依次连接，将训练集中得裁剪后图像IUC和高分辨图像IH分别输入到细节迁移子网络的第1层卷积层和第3层卷积层中，细节迁移子网络的第1层卷积层、第2层卷积层和第4层卷积层的输出均输入到特征迁移模块中，特征迁移模块的输出和第1层卷积层的输出一起经图像通道连接操作后输入到细节迁移子网络的第5层卷积层中，细节迁移子网络的第6层卷积层输出的中心高分辨率区域RH和裁剪后图像IUC处理后输出的周边低分辨率区域RL一起进行融合操作后输出融合后图像Itrans到图像修复子网络；
图像修复子网络主要由十层卷积层和四个特征迁移模块构成，融合后图像 Itrans输入到图像修复子网络的第1层卷积层中，第1层卷积层～第5层卷积层依次连接，第6层卷积层～第10层卷积层依次连接，第1层卷积层和第2层卷积层的输出输入到第1特征迁移模块中，第2层卷积层和第3层卷积层的输出输入到第2特征迁移模块中，第3层卷积层和第4层卷积层的输出输入到第3特征迁移模块中，第4层卷积层和第5层卷积层的输出输入到第4特征迁移模块中，第1特征迁移模块～第3特征迁移模块的输出分别和第1层卷积层～第3层卷积层的输出、第8层卷积层～第6层卷积层的输出经图像通道连接操作后分别再连接输入到第9层卷积层～第7层卷积层，同时第4特征迁移模块的输出和第 4层卷积层的输出经图像通道连接操作后连接输入到第6层卷积层，第10层卷积层输出修复后图像IB；
将卷积神经网络模型的初始模型参数，即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值，初始化为32位浮点数，使所有初始模型参数服从(0,1)之间的均匀分布。
在具体实验中，卷积层的结构如下表所示：
Figure BDA0002508929900000111
2-2对步骤1获得的IUC进行上采样，上采样倍率为M/B，得到上采样后图像I'UC，定义与I'UC尺寸大小相同的掩膜图像mask，将其中心H×W区域置为0，其余区域置为1；
对mask进行下采样，下采样倍率为B/M，得到下采样后掩膜图像mask’则周边低分辨率区域RL＝mask’.*IUC，其中.*运算为矩阵元素对应相乘；
对I'UC进行中心裁剪，使得裁剪后图像尺寸大小与IUC相同，得到裁剪后图像I”UC；
对于再次裁剪图像I”UC和高分辨图像IH，分别输入到第1层卷积层和第3层卷积层中，分别利用下式同样处理获得经卷积层处理得到的结果图像：
Figure BDA0002508929900000121
Figure BDA0002508929900000122
Figure BDA0002508929900000123
Figure BDA0002508929900000124
Figure BDA0002508929900000125
其中，
Figure BDA0002508929900000126
为再次裁剪图像I”UC经第1层卷积层处理得到的结果图像，
Figure BDA0002508929900000127
为
Figure BDA0002508929900000128
经第2层卷积层处理得到的结果图像，
Figure BDA0002508929900000129
为高分辨图像IH经第2层卷积层处理得到的结果图像，
Figure BDA00025089299000001210
为
Figure BDA00025089299000001211
经第4层卷积层处理得到的结果图像； DownSample为作0.5倍下采样的操作；Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作；
特征迁移模块：对于特征迁移模块，从第2层卷积层处理得到的结果图像
Figure BDA00025089299000001212
第4层卷积层处理得到的结果图像
Figure BDA00025089299000001213
中以1为步长提取3×3的裁剪小块pi、高分辨小块pj，i、j为小块编号，利用卷积操作得到一个裁剪小块和一个高分辨小块的每两个小块之间的余弦相似度si,j，对于第i个裁剪小块，利用下式计算其与各个高分辨小块的相似度αi,j：
Figure BDA00025089299000001214
其中，N为从第4层卷积层处理得到的结果图像
Figure BDA00025089299000001215
中提取的小块总数；
从
Figure BDA00025089299000001216
中以2为步长提取6×6的小块qj，小块qj为高分辨小块pj在结果图像
Figure BDA00025089299000001217
中对应的小块，利用相似度αi,j和小块qj，通过下式得到特征迁移小块qi：
Figure BDA00025089299000001218
将所有特征迁移小块qi组合得到特征迁移模块的结果ATN1；
利用下式得到经过第3层卷积层处理的结果图像fea3：
Figure BDA00025089299000001219
其中，
Figure BDA00025089299000001220
为第1层卷积层处理得到的结果图像；ATN1为第一层特征迁移模块处理的结果图像；UpSample为作2.0倍上采样的操作；Cat为沿着图像的通道维度拼接起来的操作；
利用下式得到经过第4层卷积层处理的结果图像fea4：
fea4＝Conv{fea3}
对fea4进行下采样，下采样倍率为B/M，得到下采样后的结果图像即为高分辨率区域RH。
2-3对步骤2-2获得的RL和RH，将RH填充到RL中心为0的区域，得到融合后图像Itrans，如图5所示；对于融合后图像Itrans，在图像修复子网络的当前第 1,2,3,4,5层卷积层时，利用下式处理获得每一当前层卷积层处理得到的结果图像：
Figure BDA0002508929900000131
其中，
Figure BDA0002508929900000132
为第k-1层卷积层处理得到的结果图像，k表示卷积层的序号， k＝1,2,3,4,5，
Figure BDA0002508929900000133
DownSample为作0.5倍下采样的操作；Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作；
对于第n个特征迁移模块，n＝1,2,3,4：
首先，对步骤(2.2.2)获得的下采样后掩膜图像mask’作1/2n+1倍下采样的操作得到中间掩膜图像maskn+1，根据中间掩膜图像maskn+1得到中心高分辨率区域 RH和周边低分辨率区域RL分别在结果图像
Figure BDA0002508929900000134
中对应的区域
Figure BDA0002508929900000135
在区域
Figure BDA0002508929900000136
和
Figure BDA0002508929900000137
中分别以1为步长提取3×3的低分辨小块
Figure BDA0002508929900000138
高分辨小块
Figure BDA0002508929900000139
i、 j为小块编号，利用卷积操作得到一个低分辨小块和一个高分辨小块的每两个小块之间的余弦相似度
Figure BDA00025089299000001310
对于第i个低分辨小块，利用下式计算其与各个高分辨小块的相似度
Figure BDA00025089299000001311
Figure BDA00025089299000001312
其中，N为从区域
Figure BDA00025089299000001313
中提取的小块总数；
从
Figure BDA00025089299000001314
中以2为步长提取6×6的小块
Figure BDA00025089299000001315
小块
Figure BDA00025089299000001316
为高分辨小块
Figure BDA00025089299000001317
在结果图像
Figure BDA00025089299000001318
中对应的小块，利用相似度
Figure BDA00025089299000001319
和小块
Figure BDA00025089299000001320
通过下式得到第n个特征迁移模块的特征迁移小块
Figure BDA00025089299000001321
Figure BDA00025089299000001322
将
Figure BDA00025089299000001323
组合得到第n个特征迁移模块的结果ATNn；
利用下式得到经过第6层卷积层处理的结果图像
Figure BDA00025089299000001324
Figure BDA00025089299000001325
其中，ATN4为第4个特征迁移模块处理的结果图像；UpSample为作2.0倍上采样的操作；Cat为图像通道维度拼接操作；
在第7,8,9层卷积层时，均利用下式处理获得经第7/8/9层卷积层处理得到的结果图像
Figure BDA00025089299000001326
Figure BDA0002508929900000141
其中，ATN10-k为第10-k个特征迁移模块处理的结果图像；UpSample为作2.0 倍上采样的操作；Cat为图像通道维度拼接操作，k表示卷积层的序号，k＝7,8,9；
利用下式得到经过第10层卷积层处理的结果图像作为修复后图像IB：
Figure BDA0002508929900000142
2-4在得到最后一级卷积层输出的结果图像IB和参考图像IR后，通过以下公式计算保真项误差Loss：
Figure BDA0002508929900000143
其中，(x,y)为图像像素点的坐标值，IB(x,y)表示修复后图像IB的坐标(x,y) 的像素点的像素值，IR(x,y)表示参考图像IR的坐标(x,y)的像素点的像素值，||||1表示计算该项的L1范数。
2-5首先通过下式获得保真项误差Loss对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值：
Figure BDA0002508929900000144
Figure BDA0002508929900000145
其中，
Figure BDA0002508929900000146
和
Figure BDA0002508929900000147
分别为步骤2-2和2-3中卷积操作Conv的卷积核权重和偏置参数；IR为参考图像；l为输入高分辨与低分辨图像对的序号；m为输入图像对的总量，在具体实验中，每输入16个图像对更新一次偏导；
然后利用求得的保真项误差按照如下公式对卷积核权重
Figure BDA0002508929900000148
和偏置参数
Figure BDA0002508929900000149
进行更新：
Figure BDA00025089299000001410
Figure BDA00025089299000001411
其中，α为学习速率，是控制卷积核权重和偏置参数变化快慢的参数。
2-6根据调整后的卷积神经网络模型参数，继续进行步骤2-2至2-5的操作，进行模型参数调整的过程，直至迭代次数达到预设次数，则模型训练完毕，在具体实验中，预设次数为250000次。
步骤3输入短焦相机获得的低分辨图像IRL和长焦相机获得的高分辨图像IRH以及变焦倍率B，使用双三次插值的方法，对低分辨图像IRL进行上采样，上采样倍率为变焦倍率B，将上采样后图像进行中心裁剪，使得裁剪后图像尺寸大小为H×W，将上采样、裁剪后图像和高分辨图像IRH通过训练完成后的卷积神经网络模型，输出变焦后图像IB。
图6为输入不同变焦倍率B后得到的变焦后图像，图7为同一变焦倍率下参考图像、直接上采样后图像和使用本方法获得的变焦后图像的视觉效果对比。从视觉结果可以明显发现，本发明方法实现了用一个卷积神经网络模型进行连续变焦，且具有较好的视觉效果。

Claims (9)

1.一种基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：该方法包括以下步骤：
(1)对公开数据集进行预处理，得到图像尺寸大小相同的高分辨图像和低分辨图像以及对应的参考图像，高分辨图像和低分辨图像构成图像对，作为训练卷积神经网络模型的训练集；
(2)建立卷积神经网络模型，以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，完成模型训练，具体是：
(2.1)以固定的初始化方法初始化待训练卷积神经网络模型的初始模型参数，使得服从特定的分布；
(2.2)利用训练集中的高分辨图像IH和裁剪后图像IUC，通过细节迁移子网络，将纹理细节迁移到低分辨图像上采样后的对应区域，得到掩膜图像mask、中心高分辨率区域RH和周边低分辨率区域RL；
(2.3)以中心高分辨率区域RH中的纹理细节信息为参考，结合周边低分辨率区域RL中的语义信息，并根据掩膜图像mask通过图像修复子网络，修复周边低分辨率区域RL中的纹理细节，输出修复后图像IB；
(2.4)根据修复后图像IB和对应参考图像IR计算保真项误差Loss；
(2.5)根据计算得到的保真项误差Loss，对待训练的卷积神经网络模型参数进行调整；
(2.6)根据调整后的卷积神经网络模型参数，重复进行步骤(2.2)至步骤(2.5)的操作，进行模型参数调整的过程，直至迭代次数达到预设次数，则模型训练完毕；
(3)输入短焦相机获得的低分辨图像IRL和长焦相机获得的高分辨图像IRH以及变焦倍率B，使用双三次插值的方法，对低分辨图像IRL进行上采样，上采样倍率为变焦倍率B，将上采样后图像进行中心裁剪，使得裁剪后的图像尺寸大小为H×W，将上采样、裁剪后的图像和高分辨图像IRH通过训练完成后的卷积神经网络模型，输出变焦后图像IB。
2.根据权利要求1所述的基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：所述的双焦相机是获得低分辨图像的短焦相机和获得高分辨图像的长焦相机，短焦相机采集的图像作为低分辨图像，长焦相机采集的图像作为高分辨图像，低分辨图像和高分辨图像尺寸大小相同，且高分辨图像的视场在低分辨图像的视场内。
3.根据权利要求1所述的基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：所述步骤(1)具体为：
(1.1)设短焦相机和长焦相机的空间采样率倍率比为M，获得图像尺寸大小为H×W，H和W分别表示图像的横纵方向的标准尺寸，从公开数据集获取的输入图像I尺寸大小为HI×WI，HI和WI分别表示输入图像I的横纵方向的尺寸，满足HI≥MH，WI≥MW；
(1.2)在输入图像I中随机裁剪尺寸大小为MH×MW的区域I0，对区域I0进行下采样，下采样倍率为M，将下采样后得到的区域I1作为低分辨图像IL；
将区域I0随机旋转θ，满足-1°≤θ≤1°，得到旋转后区域I2，对区域I2进行中心裁剪，裁剪成图像尺寸大小为H×W，将裁剪后的区域I2作为高分辨图像IH；
(1.3)随机生成变焦倍率B，满足1≤B≤M，其中M为短焦相机和长焦相机的空间采样率倍率比，使用双三次插值的方法，对低分辨图像IL进行上采样，上采样倍率为变焦倍率B，将上采样后的图像进行中心裁剪，使得裁剪成图像尺寸大小为H×W，得到裁剪后图像IUC；
(1.4)对(1.2)获得的区域I0进行下采样，使得下采样后区域尺寸大小为BH×BW，然后对下采样后的区域进行中心裁剪，裁剪成尺寸大小为H×W的区域，将下采样、裁剪后的区域I0作为对应参考图像IR；将裁剪后图像IUC、高分辨图像IH和对应参考图像IR作为训练集的一组图像；
(1.5)对公开数据集中的每幅图像随机生成3个不同的变焦倍率B，重复(1.1)至(1.4)的操作，构建组成训练集。
4.根据权利要求1所述的基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：所述步骤(2)中的卷积神经网络模型包含依次连接的细节迁移子网络和图像修复子网络的两个子网络：
细节迁移子网络主要由六层卷积层和一个特征迁移模块构成，第1层、第2层卷积层依次连接，第3层、第4层卷积层依次连接，第5层、第6层卷积层依次连接，将训练集中得裁剪后图像IUC和高分辨图像IH分别输入到细节迁移子网络的第1层卷积层和第3层卷积层中，细节迁移子网络的第1层卷积层、第2层卷积层和第4层卷积层的输出均输入到特征迁移模块中，特征迁移模块的输出和第1层卷积层的输出一起经图像通道连接操作后输入到细节迁移子网络的第5层卷积层中，细节迁移子网络的第6层卷积层输出的中心高分辨率区域RH和裁剪后图像IUC处理后输出的周边低分辨率区域RL一起进行融合操作后输出融合后图像Itrans到图像修复子网络；
图像修复子网络主要由十层卷积层和四个特征迁移模块构成，融合后图像Itrans输入到第1层卷积层中，第1层卷积层～第5层卷积层依次连接，第6层卷积层～第10层卷积层依次连接，第1层卷积层和第2层卷积层的输出输入到第1特征迁移模块中，第2层卷积层和第3层卷积层的输出输入到第2特征迁移模块中，第3层卷积层和第4层卷积层的输出输入到第3特征迁移模块中，第4层卷积层和第5层卷积层的输出输入到第4特征迁移模块中，第1特征迁移模块～第3特征迁移模块的输出分别和第1层卷积层～第3层卷积层的输出、第8层卷积层～第6层卷积层的输出经图像通道连接操作后分别再连接输入到第9层卷积层～第7层卷积层，同时第4特征迁移模块的输出和第4层卷积层的输出经图像通道连接操作后连接输入到第6层卷积层，第10层卷积层输出修复后图像IB。
5.根据权利要求1所述的基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：所述步骤(2.1)中，将卷积神经网络模型的初始模型参数，即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值，初始化为32位浮点数，使卷积神经网络模型的所有初始模型参数服从(0,1)之间的均匀分布。
6.根据权利要求1所述的基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：所述步骤(2.2)具体为：
(2.2.1)对步骤(1)获得的裁剪后图像IUC进行上采样，上采样倍率为M/B，得到上采样后图像I'UC，定义与上采样后图像I'UC尺寸大小相同的掩膜图像mask，将掩膜图像mask中心的H×W大小的区域的像素值均置为0，其余区域置为1；
(2.2.2)对掩膜图像mask进行下采样，下采样倍率为B/M，得到下采样后掩膜图像mask’，则周边低分辨率区域RL采用以下公式获得：
RL＝mask’.*IUC
其中，.*运算表示为矩阵中相同位置的元素对应相乘；
(2.2.3)对上采样后图像I'UC进行中心裁剪，使得裁剪后图像尺寸大小与裁剪后图像IUC相同，得到再次裁剪图像I”UC；
(2.2.4)对于再次裁剪图像I”UC和高分辨图像IH，分别输入到第1层卷积层和第3层卷积层中，分别利用下式同样处理获得经卷积层处理得到的结果图像：
Figure FDA0002508929890000041
Figure FDA0002508929890000042
Figure FDA0002508929890000043
Figure FDA0002508929890000044
Figure FDA0002508929890000045
其中，
Figure FDA0002508929890000049
为再次裁剪图像I”UC经第1层卷积层处理得到的结果图像，
Figure FDA00025089298900000410
为
Figure FDA00025089298900000411
经第2层卷积层处理得到的结果图像，
Figure FDA00025089298900000412
为高分辨图像IH经第2层卷积层处理得到的结果图像，
Figure FDA00025089298900000413
为
Figure FDA00025089298900000414
经第4层卷积层处理得到的结果图像；DownSample为作0.5倍下采样的操作；Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作；
(2.2.5)特征迁移模块：对于特征迁移模块，从第2层卷积层处理得到的结果图像
Figure FDA00025089298900000415
第4层卷积层处理得到的结果图像
Figure FDA00025089298900000416
中以1为步长提取3×3的裁剪小块pi、高分辨小块pj，i、j为小块编号，利用卷积操作得到一个裁剪小块和一个高分辨小块的每两个小块之间的余弦相似度si,j，对于第i个裁剪小块，利用下式计算其与各个高分辨小块的相似度αi,j：
Figure FDA0002508929890000046
其中，N为从第4层卷积层处理得到的结果图像
Figure FDA00025089298900000417
中提取的小块总数；
从
Figure FDA00025089298900000418
中以2为步长提取6×6的小块qj，小块qj为高分辨小块pj在结果图像
Figure FDA00025089298900000419
中对应的小块，利用相似度αi,j和小块qj通过下式得到特征迁移小块qi：
Figure FDA0002508929890000047
将所有特征迁移小块qi组合得到特征迁移模块的结果ATN1；
(2.2.6)利用下式得到经过第3层卷积层处理的结果图像fea3：
Figure FDA0002508929890000048
其中，
Figure FDA00025089298900000420
为第1层卷积层处理得到的结果图像；ATN1为特征迁移模块处理的结果图像；UpSample为作2.0倍上采样的操作；Cat为图像通道维度拼接操作；
(2.2.7)利用下式得到经过第4层卷积层处理的结果图像fea4：
fea4＝Conv{fea3}
(2.2.8)最后对第4层卷积层处理的结果图像fea4进行下采样，下采样倍率为B/M，得到下采样后的结果图像作为高分辨率区域RH。
7.根据权利要求1所述的基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：所述步骤(2.3)具体为：
(2.3.1)对步骤(2.2)获得的中心高分辨率区域RH和周边低分辨率区域RL，将中心高分辨率区域RH融合到周边低分辨率区域RL中心区域后得到融合后图像Itrans；
(2.3.2)对于融合后图像Itrans，在图像修复子网络的当前第1,2,3,4,5层卷积层时，利用下式处理获得每一当前层卷积层处理得到的结果图像：
Figure FDA0002508929890000051
其中，
Figure FDA0002508929890000055
为第k-1层卷积层处理得到的结果图像，k表示卷积层的序号，k＝1,2,3,4,5，
Figure FDA0002508929890000056
DownSample为作0.5倍下采样的操作；Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作；
(2.3.3)对于第n个特征迁移模块，n＝1,2,3,4：
首先，对步骤(2.2.2)获得的下采样后掩膜图像mask’作1/2n+1倍下采样的操作得到中间掩膜图像maskn+1，根据中间掩膜图像maskn+1得到中心高分辨率区域RH和周边低分辨率区域RL分别在结果图像
Figure FDA0002508929890000057
中对应的区域
Figure FDA0002508929890000058
在区域
Figure FDA0002508929890000059
和
Figure FDA00025089298900000510
中分别以1为步长提取3×3的低分辨小块
Figure FDA00025089298900000511
高分辨小块
Figure FDA00025089298900000512
i、j为小块编号，利用卷积操作得到一个低分辨小块和一个高分辨小块的每两个小块之间的余弦相似度
Figure FDA00025089298900000513
对于第i个低分辨小块，利用下式计算其与各个高分辨小块的相似度
Figure FDA00025089298900000514
Figure FDA0002508929890000052
其中，N为从区域
Figure FDA00025089298900000515
中提取的小块总数；
从
Figure FDA00025089298900000516
中以2为步长提取6×6的小块
Figure FDA00025089298900000517
小块
Figure FDA00025089298900000518
为高分辨小块
Figure FDA00025089298900000519
在结果图像
Figure FDA00025089298900000520
中对应的小块，利用相似度
Figure FDA00025089298900000521
和小块
Figure FDA00025089298900000522
通过下式得到第n个特征迁移模块的特征迁移小块
Figure FDA00025089298900000523
Figure FDA0002508929890000053
将
Figure FDA00025089298900000524
组合得到第n个特征迁移模块的结果ATNn；
(2.3.4)利用下式得到经过第6层卷积层处理的结果图像
Figure FDA00025089298900000525
Figure FDA0002508929890000054
其中，ATN4为第4个特征迁移模块处理的结果图像；UpSample为作2.0倍上采样的操作；Cat为图像通道维度拼接操作；
(2.3.5)在第7,8,9层卷积层时，均利用下式处理获得经第7/8/9层卷积层处理得到的结果图像
Figure FDA0002508929890000067
Figure FDA0002508929890000061
其中，ATN10-k为第10-k个特征迁移模块处理的结果图像；UpSample为作2.0倍上采样的操作；Cat为图像通道维度拼接操作，k表示卷积层的序号，k＝7,8,9；
(2.3.6)利用下式得到经过第10层卷积层处理的结果图像作为修复后图像IB：
Figure FDA0002508929890000062
8.根据权利要求1所述的基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：所述步骤(2.4)具体为：在得到最后一级卷积层输出的结果图像IB和参考图像IR后，通过以下公式计算保真项误差Loss：
Figure FDA0002508929890000063
其中，(x,y)为图像像素点的坐标值，IB(x,y)表示修复后图像IB的坐标(x,y)的像素点的像素值，IR(x,y)表示参考图像IR的坐标(x,y)的像素点的像素值，||||1表示计算该项的L1范数。
9.根据权利要求1所述的基于卷积神经网络模型的双焦相机连续数字变焦方法，其特征在于：所述步骤(2.5)具体为：首先通过下式获得保真项误差Loss对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值：
Figure FDA0002508929890000064
Figure FDA0002508929890000065
其中，
Figure FDA0002508929890000068
分别为步骤(2.2)和(2.3)中卷积操作Conv的卷积核权重，
Figure FDA0002508929890000069
分别为步骤(2.2)和(2.3)中卷积操作Conv的偏置参数；IR为参考图像；l为输入的高分辨图像与低分辨图像构成的图像对的序号；m为输入图像对的总量；
然后利用求得的保真项误差按照如下公式对卷积核权重
Figure FDA00025089298900000610
和偏置参数
Figure FDA00025089298900000611
进行更新：
Figure FDA0002508929890000066
Figure FDA0002508929890000071
其中，α为学习速率，
Figure FDA0002508929890000072
为更新后卷积核权重，
Figure FDA0002508929890000073
为更新后偏置参数。
CN202010455069.9A 2020-05-26 2020-05-26 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 Active CN111654621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010455069.9A CN111654621B (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络模型的双焦相机连续数字变焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010455069.9A CN111654621B (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络模型的双焦相机连续数字变焦方法

Publications (2)

Publication Number Publication Date
CN111654621A true CN111654621A (zh) 2020-09-11
CN111654621B CN111654621B (zh) 2021-04-16

Family

ID=72349616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010455069.9A Active CN111654621B (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络模型的双焦相机连续数字变焦方法

Country Status (1)

Country Link
CN (1) CN111654621B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102200A (zh) * 2020-09-21 2020-12-18 腾讯科技（深圳）有限公司 图像补全模型初始化方法、训练方法和图像补全方法
CN112617850A (zh) * 2021-01-04 2021-04-09 苏州大学 心电信号的早搏心拍检测方法
CN113240583A (zh) * 2021-04-13 2021-08-10 浙江大学 一种基于卷积核预测的图像超分辨方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401104A (zh) * 2018-02-08 2018-08-14 浙江大学 基于频带修复和超分辨的双焦相机数字变焦方法
CN108537747A (zh) * 2018-03-22 2018-09-14 南京大学 一种基于带对称跨层连接的卷积神经网络的图像修复方法
US20180293707A1 (en) * 2017-04-10 2018-10-11 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN109288333A (zh) * 2012-12-18 2019-02-01 艾斯适配有限公司 捕获和显示外观的装置、系统和方法
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN110378850A (zh) * 2019-07-09 2019-10-25 浙江大学 一种结合块匹配和神经网络的变焦图像生成方法
CN110390636A (zh) * 2019-06-19 2019-10-29 深圳慧源创新科技有限公司 无人机超、高清图片或视频数据的模拟变焦方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109288333A (zh) * 2012-12-18 2019-02-01 艾斯适配有限公司 捕获和显示外观的装置、系统和方法
US20180293707A1 (en) * 2017-04-10 2018-10-11 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN108401104A (zh) * 2018-02-08 2018-08-14 浙江大学 基于频带修复和超分辨的双焦相机数字变焦方法
CN108537747A (zh) * 2018-03-22 2018-09-14 南京大学 一种基于带对称跨层连接的卷积神经网络的图像修复方法
CN110390636A (zh) * 2019-06-19 2019-10-29 深圳慧源创新科技有限公司 无人机超、高清图片或视频数据的模拟变焦方法
CN110378850A (zh) * 2019-07-09 2019-10-25 浙江大学 一种结合块匹配和神经网络的变焦图像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赫贵然 等: ""基于CNN 特征提取的双焦相机连续数字变焦"", 《浙江大学学报(工学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102200A (zh) * 2020-09-21 2020-12-18 腾讯科技（深圳）有限公司 图像补全模型初始化方法、训练方法和图像补全方法
CN112102200B (zh) * 2020-09-21 2024-05-07 腾讯科技（深圳）有限公司 图像补全模型初始化方法、训练方法和图像补全方法
CN112617850A (zh) * 2021-01-04 2021-04-09 苏州大学 心电信号的早搏心拍检测方法
CN112617850B (zh) * 2021-01-04 2022-08-30 苏州大学 心电信号的早搏心拍检测系统
CN113240583A (zh) * 2021-04-13 2021-08-10 浙江大学 一种基于卷积核预测的图像超分辨方法

Also Published As

Publication number Publication date
CN111654621B (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN110570371B (zh) 一种基于多尺度残差学习的图像去雾方法
CN111161150B (zh) 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111654621B (zh) 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
CN109741260B (zh) 一种基于深度反投影网络的高效超分辨率方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111915484A (zh) 基于密集匹配与自适应融合的参考图引导超分辨率方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
Li et al. Dlgsanet: lightweight dynamic local and global self-attention networks for image super-resolution
CN110070489A (zh) 一种基于视差注意力机制的双目图像超分辨方法
CN110610526A (zh) 一种基于wnet对单目人像进行分割和景深渲染的方法
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN108401104B (zh) 基于频带修复和超分辨的双焦相机数字变焦方法
CN112509106A (zh) 文档图片展平方法、装置以及设备
CN112785502A (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法
Zou et al. Super-Resolution Reconstruction of Images Based on Microarray Camera.
CN112767246A (zh) 光场图像多倍率空间超分辨方法及装置
CN114359044A (zh) 一种基于参考图像的图像超分辨率系统
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN115511708A (zh) 基于不确定性感知特征传输的深度图超分辨率方法及系统
CN116934972B (zh) 一种基于双流网络的三维人体重建方法
CN110599403A (zh) 一种具有良好高频视觉效果的图像超分辨率重建方法
CN116245968A (zh) 基于Transformer的LDR图像生成HDR图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240301

Address after: 313100 The third floor of the 18 # factory building, the headquarters of the Science Park, No. 669 High speed Railway, the Taihu Lake Street, Changxing County, Huzhou City, Zhejiang Province

Patentee after: ZHEJIANG JINGZHENG OPTOELECTRONICS Co.,Ltd.

Country or region after: China

Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866

Patentee before: ZHEJIANG University

Country or region before: China

TR01 Transfer of patent right