CN114022381A - 一种双目图像自修复网络模型的训练方法 - Google Patents

一种双目图像自修复网络模型的训练方法 Download PDF

Info

Publication number
CN114022381A
CN114022381A CN202111299885.6A CN202111299885A CN114022381A CN 114022381 A CN114022381 A CN 114022381A CN 202111299885 A CN202111299885 A CN 202111299885A CN 114022381 A CN114022381 A CN 114022381A
Authority
CN
China
Prior art keywords
visual angle
image
module
feature
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111299885.6A
Other languages
English (en)
Other versions
CN114022381B (zh
Inventor
李恒宇
杨小康
刘靖逸
岳涛
王曰英
谢少荣
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Publication of CN114022381A publication Critical patent/CN114022381A/zh
Application granted granted Critical
Publication of CN114022381B publication Critical patent/CN114022381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像修复技术领域，公开了一种双目图像自修复网络模型的训练方法，步骤为：S1：获取样本图像集，样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，左视角图像或右视角图像为损坏图像，保留损坏图像的原始未损坏图像作为该损坏图像的真值；将样本图像集按比例随机划分为训练集和测试集；S2：采用训练集对预先构建的双目图像自修复网络模型进行训练，更新双目图像自修复网络模型，得到训练后的双目图像自修复网络模型；S3：采用测试集对训练后双目图像自修复网络模型进行测试，从训练后的双目图像自修复网络模型中选出最优双目图像自修复网络模型。本发明的模型具有高效、实时、清晰、修复精度高等优点，修复得到的修复图像真实、自然。

Description

一种双目图像自修复网络模型的训练方法
技术领域
本发明涉及图像修复处理技术领域，具体涉及一种双目图像自修复网络模型的训练方法。
背景技术
随着自主机器人的快速发展，以及计算机视觉技术取得的巨大进步，双目甚至是多目视觉系统的使用越来越广泛，同时人们对于机器人在复杂环境中具有高可靠性、移动性、便携性、安全性和自主感知能力的要求愈发强烈。然而，由于单目相机的视野有限且提供的场景信息较少，且在极端环境中常出现物体遮挡、图像失真、镜头污染甚至镜头损坏的情况，往往造成视觉感知过程发生异常甚至导致事故。双目图像修复技术可以利用图像中相似结构信息来修复破损区域的像素缺失问题，保证机器人顺利获取到完整的场景信息。
传统单视角图像修复方法通常基于相似纹理匹配技术，其修复出的图像往往具有较为明显的边缘“裂痕”，而且修复出的图像内容通常和真实结构相去甚远，无法帮助机器人在未知环境中作出正确的决策。
发明内容
针对现有技术中存在的问题和不足，本发明的目的旨在提供一种双目图像自修复网络模型的训练方法。
为实现发明目的，本发明采用的技术方案如下：
本发明第一方面提供了一种双目图像自修复网络模型的训练方法，包括以下步骤：
S1：获取样本图像集，所述样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，一对双目图像中的左视角图像和右视角图像对应同一个场景，采集时间相同；而且，一对双目图像中的左视角图像或右视角图像为损坏图像，每张损坏图像都保留其原始未损坏图像作为该损坏图像的真值；将样本图像集按比例随机划分为训练集和测试集；
S2：采用训练集对预先构建的双目图像自修复网络模型进行训练，更新双目图像自修复网络模型，得到训练后的双目图像自修复网络模型；其中，所述双目图像自修复网络模型包括特征提取模块、多尺度特征对齐及早期融合模块、多尺度特征聚合模块和空间注意力精化模块；所述特征提取模块用于对输入的一对双目图像进行特征提取，特征提取模块的输入为一对双目图像，输出为一对双目图像特征图，双目图像特征图包括左视角特征图和右视角特征图；所述多尺度特征对齐及早期融合模块用于对特征提取模块输出的一对双目图像特征图进行特征对齐及特征融合处理，多尺度特征对齐及早期融合模块的输入为特征提取模块输出的一对双目图像特征图，其输出为三个不同分辨率的左右视角融合特征图；所述多尺度特征聚合模块用于对所述多尺度特征对齐及早期融合模块输出的三个不同分辨率的左右视角融合特征图进行特征聚合处理，得到聚合特征图并输出；所述空间注意力精化模块用于对多尺度特征聚合模块输出的聚合特征图进行精化处理，得到最终的修复图像并输出；
S3：采用测试集对步骤S2得到的训练后双目图像自修复网络模型进行测试，从训练后的双目图像自修复网络模型中选出最优双目图像自修复网络模型。
根据上述的双目图像自修复网络模型的训练方法，优选地，所述多尺度特征对齐及早期融合模块包含三个支路，每个支路的结构相同，每个支路包含一个下采样模块、一个特征对齐模块和一个早期融合模块；所述下采样模块用于对输入的一对双目图像特征图进行下采样处理；所述特征对齐模块用于对经下采样模块处理后的一对双目图像特征图进行特征对齐处理，特征对齐模块的输入为经下采样模块处理后的一对双目图像特征图，特征对齐模块的输出为一对对齐双目图像特征图；所述早期融合模块用于对特征对齐模块的输出的一对对齐双目图像特征图进行融合处理，得到左右视角融合特征图；其中，第一个支路中，所述下采样模块的输入为特征提取模块输出的一对双目图像特征图；第二个支路中，所述下采样模块的输入为经第一支路下采样模块处理后的一对双目图像特征图；第三个支路中，所述下采样模块的输入为经第二支路下采样模块处理后的一对双目图像特征图；三个支路中的下采样模块的缩放因子不同。更加优选地，第一个支路中下采样模块对应的分辨率缩放因子为1，第二个支路中下采样模块对应的分辨率缩放因子为0.5，第三个支路中下采样模块对应的分辨率缩放因子为0.25。
根据上述的双目图像自修复网络模型的训练方法，优选地，所述特征对齐模块由右视角可变形卷积模块和左视角可变形卷积模块组成，右视角可变形卷积模块输出的特征图与左视角可变形卷积模块输出的特征图通过跳连接相连；其中，右视角可变形卷积模块用于捕捉右视角特征图相对于左视角特征图的偏移量，并根据偏移量将右视角特征图进行特征偏移操作，使右视角特征图与左视角特征图对齐；右视角可变形卷积模块的输入是右视角特征图，其输出是进行偏移操作后的右视角特征图；左视角可变形卷积模块用于捕左视角特征图相对于右视角特征图的偏移量，并根据偏移量将左视角特征图进行特征偏移操作，使左视角特征图与右视角特征图对齐；左视角可变形卷积模块的输入是左视角特征图，其输出是进行偏移操作后的左视角特征图；左视角可变形卷积模块和右视角可变形卷积模块均由两个相连的可变形卷积层组成。
根据上述的双目图像自修复网络模型的训练方法，优选地，利用可变形卷积模块捕捉特征图的偏移量时，按式(I)进行卷积操作：
Figure BDA0003337903840000031
其中，Yi(p)是输出特征图的像素值，K为卷积的采样点数量，
Figure BDA0003337903840000032
是卷积的权重参数，
Figure BDA0003337903840000033
是输入特征图在特定点的像素值，p是输出像素点的位置，pk是采样点位置，且pk∈{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}，
Figure BDA0003337903840000034
是偏移量，
Figure BDA0003337903840000035
是输入特征图的像素值。
根据上述的双目图像自修复网络模型的训练方法，优选地，所述早期融合模块包括左视角支路和右视角支路，左视角支路和右视角支路的结构相同，均包含一个空间注意力模块(所述空间注意力模块含有两个卷积层、一个sigmoid激活函数层和一个跳连接机构)；左视角支路用于对输入的一对对齐双目图像特征图中的左视角特征图进行处理，得到左支路特征图并输出；右视角支路用于对输入的一对对齐双目图像特征图中的右视角特征图进行处理，得到右支路特征图并输出；将左支路特征图与右支路特征图沿通道方向进行拼接，拼接后经过一个卷积层进行处理，得到左右视角融合特征图；
其中，左视角支路对左视角特征图进行处理的过程为：将输入的左视角特征图与右视角特征图沿通道方向进行拼接，拼接后经过一个卷积层和一个sigmoid激活函数层进行处理，得到左权重图，将左权重图与输入的右视角特征图进行加权处理，得到第一加权特征图，然后将第一加权特征图与输入的左视角特征图沿通道方向进行拼接，得到左支路特征图；
右视角支路对右视角特征图进行处理的过程为：将输入的右视角特征图与左视角特征图沿通道方向进行拼接，拼接后经过一个卷积层和一个sigmoid激活函数层进行处理，得到右权重图，将右权重图与输入的左视角特征图进行加权处理，得到第二加权特征图，然后将第二加权特征图与输入的右视角特征图沿通道方向进行拼接，得到右支路特征图。
根据上述的双目图像自修复网络模型的训练方法，优选地，将输入多尺度特征聚合模块的三个不同分辨率的左右视角融合特征图中分辨率最小的图像记作第一左右视角融合特征图、分辨率最大的图像记作第三左右视角融合特征图，分辨率处于第一左右视角融合特征图和第三左右视角融合特征图之间的图像记作第二左右视角融合特征图；
所述多尺度特征聚合模块包含三个支路，第一个支路包含一个上采样模块，用于对第一左右视角融合特征图进行上采样处理，使上采样处理后的第一左右视角融合特征图的分辨率与第二左右视角融合特征图相同；
第二个支路包含一个特征融合模块和一个上采样模块，特征融合模块用于将第二左右视角融合特征图与经第一个支路处理后的第一左右视角融合特征图进行特征融合处理，得到第一融合图，上采样模块用于对第一融合图进行上采样处理，使第一融合图的分辨率与第三左右视角融合特征图相同；
第三个支路包含一个特征融合模块，特征融合模块用于将第三左右视角融合特征图与第二支路输出的分辨率与第三左右视角融合特征图相同的第一融合图进行特征融合处理，得到聚合特征图。
根据上述的双目图像自修复网络模型的训练方法，优选地，所述第二个支路中的特征融合模块的结构与第三个支路相同，而且，所述特征融合模块的结构与所述早期融合模块结构相同。
根据上述的双目图像自修复网络模型的训练方法，优选地，所述空间注意力精化模块包括编码器-解码器模块和一个残差模块，所述编码器-解码器模块用于计算聚合特征图像素间的权重，编码器-解码器模块的输入为聚合特征图，编码器-解码器模块的输出为聚合特征图像素间的相对权重图，相对权重图经sigmoid激活函数层处理后与初始输入的聚合特征图进行加权，得到初次精化修复图像，初次精化修复图像经残差模块进行处理后得到最终修复图像并输出。
根据上述的双目图像自修复网络模型的训练方法，优选地，所述编码器-解码器模块由编码器和解码器组成，所述编码器由两组卷积层-平均池化层组成；解码器由两组卷积层-上采样层组成；所述残差模块包括三个卷积层和一个sigmoid激活函数层；残差模块对初次精化修复图像的处理过程为：输入残差模块的初次精化修复图像先通过第一个卷积层进行卷积处理，得到第一卷积特征图；第一卷积特征图经sigmoid激活函数层处理，得到初次精化修复图像像素间的权重图，将权重图与初次精化修复图像进行加权，得到加权特征图；将第一卷积特征图经第二个卷积层进行卷积处理，得到第二卷积特征图，然后将加权特征图与第二卷积特征图进行元素相加后输入第三的卷积层进行卷积处理，得到最终修复图像。
根据上述的双目图像自修复网络模型的训练方法，优选地，步骤S1中所述损坏图像的制作方法为：在图像采集设备获取的原始未损坏图像上添加随机位置和形状的掩膜，得到损坏图像。
根据上述的双目图像自修复网络模型的训练方法，优选地，步骤S2中，采用训练集对预先构建的双目图像自修复网络模型进行训练的具体操作步骤为：
S21：将训练集中的双目图像输入预先构建的双目图像自修复网络模型中进行修复，得到损坏图像的修复图像，将修复图像和原始未损坏图像(即真值)输入损失函数中进行损失计算，得到双目图像自修复网络模型的损失值l(x，y)，所述损失值l(x，y)的计算公式如式II所示；
l(x，y)＝mean{||x-y||1} II
S22：利用反向传播算法调节双目图像自修复网络模型的网络参数，使损失值l(x，y)不再下降，即完成双目图像自修复网络模型的训练，得到训练后的双目图像自修复网络模型。
根据上述的双目图像自修复网络模型的训练方法，优选地，步骤S3中，采用测试集对步骤S2得到的训练后双目图像自修复网络模型进行测试的具体操作为：
S31：将测试集中的双目图像依次输入一个训练后的双目图像自修复网络模型中，得到所有双目图像的修复图像，计算修复图像与原始未损坏图像(即真值)的PSNR，然后求取测试集中所有双目图像的PSNR平均值，得到该双目图像自修复网络模型的PSNR；
S32：按照步骤S31所述的操作求取所有训练后的双目图像自修复网络模型的PSNR，选取PSNR最大的双目图像自修复网络模型作为最优双目图像自修复网络模型。
根据上述的双目图像自修复网络模型的训练方法，优选地，步骤S1中每对双目图像中的左视角图像和右视角图像的重合率大于等于50％。更加优选地，每对双目图像中左视角图像和右视角图像的视平面相同。
根据上述的双目图像自修复网络模型的训练方法，优选地，步骤S1中样本图像集中双目图像均为彩色图像。
本发明第二方面一种双目图像自修复方法，所述方法为将待修复的一对双目图像输入双目图像自修复网络模型，进行修复，得到修复图像；其中，待修复的双目图像包括一个左视角图像和一个右视角图像，左视角图像和右视角图像对应同一个场景，采集时间相同；而且，双目图像中的左视角图像或右视角图像为损坏图像；所述双目图像自修复网络模型为采用上述第一方面所述双目图像自修复网络模型的训练方法训练得到的最优双目图像自修复网络模型。
本发明第三方面提供了一种电子设备，包括存储器和处理器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的双目图像自修复网络模型的训练方法，或者如上述第二方面所述的双目图像自修复方法。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的双目图像自修复网络模型的训练方法，或者上述第二方面所述的双目图像自修复方法。
与现有技术相比，本发明取得的积极有益效果如下：
(1)本发明提供的双目图像自修复网络模型是以采集时间相同且具有一定重合视场的双目图像中的损坏左视角图像和右视角图像作为修复网络的输入，修复网络能捕捉左右图像相似结构的偏移关系并将其进行空间对齐，然后利用多尺度聚合模块实现特征图的再对齐与融合，最终实现损坏图像破损区域的修复。
(2)本发明的多尺度特征对齐模块能有效对左视角特征图和右视角特征图的相似结构特征进行隐式建模，并促使右视角特征图对应特征在空间上发生一定偏移和旋转，实现了右视角特征图向左视角特征图的空间对齐，因此，对于相似结构的修复是极为有益的；而且，由于本发明的多尺度特征对齐及早期融合模块是多尺度结构，能有效捕捉不同尺度大小的物体，实现左右特征图间的良好对齐效果。
(3)本发明的早期融合模块能动态融合对齐后的左视角特征图、右视角特征图，实现对齐结构的特征早聚合，起着提升修复效果的关键作用。
(4)本发明的多尺度特征聚合模块利用空间注意力机制动态地聚合不同尺度的特征图，实现了多路特征的汇聚，保证了修复图像的初步修复效果。
(5)本发明的空间注意力精化模块对输入的聚合特征图像素的局部上下文关系进行隐式建模，得到了像素间的相对权重大小，然后通过聚合特征图与相对权重图的加权，进一步精化了修复图像的细节信息，得到的修复图像清晰、精度高。
(6)本发明构建的双目图像自修复网络模型具有高效、实时、清晰、修复精度高等优点，修复得到的修复图像真实、自然，可以用于机器人设备，能够提高机器人自主修复采集图像的污损区域的能力，保证机器人相机在极端环境下的正常工作，极大地提高了机器人的安全行驶。
附图说明
图1为本发明双目图像自修复网络模型的网络架构示意图；
图2为本发明早期融合模块的架构示意图；
图3为本发明空间注意力精化模块中编码器-解码器模块的架构示意图；
图4为本发明双目图像自修复方法的修复结果图。
具体实施方式
以下通过具体的实施例对本发明作进一步详细说明，但并不限制本发明的范围。
实施例1：
一种双目图像自修复网络模型的训练方法，包括以下步骤：
S1：获取样本图像集，将样本图像集按比例随机划分为训练集和测试集。其中，样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，左视角图像和右视角图像的重合率大于等于50％；一对双目图像中的左视角图像和右视角图像对应同一个场景，采集时间相同；而且，一对双目图像中的左视角图像或右视角图像为损坏图像，每张损坏图像都保留其原始未损坏图像作为该损坏图像的真值。损坏图像的制作方法为：在图像采集设备获取的原始未损坏图像上添加随机位置和形状的掩膜，得到损坏图像。
S2：采用训练集对预先构建的双目图像自修复网络模型进行训练，更新双目图像自修复网络模型，得到训练后的双目图像自修复网络模型。
采用训练集对预先构建的双目图像自修复网络模型进行训练的具体操作步骤为：
S21：将训练集中的双目图像输入预先构建的双目图像自修复网络模型中进行修复，得到损坏图像的修复图像，将修复图像和原始未损坏图像(即真值)输入损失函数中进行损失计算，得到双目图像自修复网络模型的损失值l(x，y)，所述损失值l(x，y)的计算公式如式II所示；
l(x，y)＝mean{||x-y||1} II
S22：利用反向传播算法调节双目图像自修复网络模型的网络参数，使损失值l(x，y)不再下降，即完成双目图像自修复网络模型的训练，得到训练后的双目图像自修复网络模型。
S3：采用测试集对步骤S2得到的训练后双目图像自修复网络模型进行测试，从训练后的双目图像自修复网络模型中选出最优双目图像自修复网络模型。
采用测试集对步骤S2得到的训练后双目图像自修复网络模型进行测试的具体操作为：
S31：将测试集中的双目图像依次输入一个训练后的双目图像自修复网络模型中，得到所有双目图像的修复图像，计算修复图像与原始未损坏图像(即真值)的PSNR，然后求取测试集中所有双目图像的PSNR平均值，得到该双目图像自修复网络模型的PSNR；
S32：按照步骤S31所述的操作求取所有训练后的双目图像自修复网络模型的PSNR，选取PSNR最大的双目图像自修复网络模型作为最优双目图像自修复网络模型。
其中，所述双目图像自修复网络模型(如图1所示)包括特征提取模块、多尺度特征对齐及早期融合模块、多尺度特征聚合模块和空间注意力精化模块。
所述特征提取模块用于对输入的一对双目图像进行特征提取，特征提取模块的输入为一对双目图像，输出为一对双目图像特征图，双目图像特征图包括左视角特征图和右视角特征图。
所述多尺度特征对齐及早期融合模块用于对特征提取模块输出的一对双目图像特征图进行特征对齐及特征融合处理。多尺度特征对齐及早期融合模块的输入为特征提取模块输出的一对双目图像特征图，其输出为三个不同分辨率的左右视角融合特征图。所述多尺度特征对齐及早期融合模块包含三个支路，每个支路的结构相同，每个支路包含一个下采样模块、一个特征对齐模块和一个早期融合模块。所述下采样模块用于对输入的一对双目图像特征图进行下采样处理；所述特征对齐模块用于对经下采样模块处理后的一对双目图像特征图进行特征对齐处理，特征对齐模块的输入为经下采样模块处理后的一对双目图像特征图，特征对齐模块的输出为一对对齐双目图像特征图。所述早期融合模块用于对特征对齐模块的输出的一对对齐双目图像特征图进行融合处理，得到左右视角融合特征图。其中，第一个支路中，所述下采样模块的输入为特征提取模块输出的一对双目图像特征图；第二个支路中，所述下采样模块的输入为经第一支路下采样模块处理后的一对双目图像特征图；第三个支路中，所述下采样模块的输入为经第二支路下采样模块处理后的一对双目图像特征图；三个支路中的下采样模块的缩放因子不同。更加优选地，第一个支路中下采样模块对应的分辨率缩放因子为1，第二个支路中下采样模块对应的分辨率缩放因子为0.5，第三个支路中下采样模块对应的分辨率缩放因子为0.25。
所述特征对齐模块由右视角可变形卷积模块和左视角可变形卷积模块组成，右视角可变形卷积模块输出的特征图与左视角可变形卷积模块输出的特征图通过跳连接相连。其中，右视角可变形卷积模块用于捕捉右视角特征图相对于左视角特征图的偏移量，并根据偏移量将右视角特征图进行特征偏移操作，使右视角特征图与左视角特征图对齐；右视角可变形卷积模块的输入是右视角特征图，其输出是进行偏移操作后的右视角特征图；左视角可变形卷积模块用于捕左视角特征图相对于右视角特征图的偏移量，并根据偏移量将左视角特征图进行特征偏移操作，使左视角特征图与右视角特征图对齐；左视角可变形卷积模块的输入是左视角特征图，其输出是进行偏移操作后的左视角特征图；左视角可变形卷积模块和右视角可变形卷积模块均由两个相连的可变形卷积层组成。利用可变形卷积模块捕捉特征图的偏移量时，按式(I)进行卷积操作：
Figure BDA0003337903840000101
其中，Yi(p)是输出特征图的像素值，K为卷积的采样点数量，
Figure BDA0003337903840000102
是卷积的权重参数，
Figure BDA0003337903840000103
是输入特征图在特定点的像素值，p是输出像素点的位置，pk是采样点位置，且pk∈{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}，
Figure BDA0003337903840000104
是偏移量，
Figure BDA0003337903840000105
是输入特征图的像素值。
所述早期融合模块(如图2所示)包括左视角支路和右视角支路，左视角支路和右视角支路的结构相同，均包含一个空间注意力模块(所述空间注意力模块含有两个卷积层、一个sigmoid激活函数层和一个跳连接机构)。左视角支路用于对输入的一对对齐双目图像特征图中的左视角特征图进行处理，得到左支路特征图并输出；右视角支路用于对输入的一对对齐双目图像特征图中的右视角特征图进行处理，得到右支路特征图并输出；将左支路特征图与右支路特征图沿通道方向进行拼接，拼接后经过一个卷积层进行处理，得到左右视角融合特征图。
其中，左视角支路对左视角特征图进行处理的过程为：将输入的左视角特征图与右视角特征图沿通道方向进行拼接，拼接后经过一个卷积层和一个sigmoid激活函数层进行处理，得到左权重图，将左权重图与输入的右视角特征图进行加权处理，得到第一加权特征图，然后将第一加权特征图与输入的左视角特征图沿通道方向进行拼接，得到左支路特征图。
右视角支路对右视角特征图进行处理的过程为：将输入的右视角特征图与左视角特征图沿通道方向进行拼接，拼接后经过一个卷积层和一个sigmoid激活函数层进行处理，得到右权重图，将右权重图与输入的左视角特征图进行加权处理，得到第二加权特征图，然后将第二加权特征图与输入的右视角特征图沿通道方向进行拼接，得到右支路特征图。
所述多尺度特征聚合模块用于对所述多尺度特征对齐及早期融合模块输出的三个不同分辨率的左右视角融合特征图进行特征聚合处理，得到聚合特征图并输出。将输入多尺度特征聚合模块的三个不同分辨率的左右视角融合特征图中分辨率最小的图像记作第一左右视角融合特征图、分辨率最大的图像记作第三左右视角融合特征图，分辨率处于第一左右视角融合特征图和第三左右视角融合特征图之间的图像记作第二左右视角融合特征图；所述多尺度特征聚合模块包含三个支路，第一个支路包含一个上采样模块，用于对第一左右视角融合特征图进行上采样处理，使上采样处理后的第一左右视角融合特征图的分辨率与第二左右视角融合特征图相同；第二个支路包含一个特征融合模块和一个上采样模块，特征融合模块用于将第二左右视角融合特征图与经第一个支路处理后的第一左右视角融合特征图进行特征融合处理，得到第一融合图，上采样模块用于对第一融合图进行上采样处理，使第一融合图的分辨率与第三左右视角融合特征图相同；第三个支路包含一个特征融合模块，特征融合模块用于将第三左右视角融合特征图与第二支路输出的分辨率与第三左右视角融合特征图相同的第一融合图进行特征融合处理，得到聚合特征图。所述第二个支路中的特征融合模块的结构与第三个支路相同，而且，所述特征融合模块的结构与所述早期融合模块结构相同。
所述空间注意力精化模块用于对多尺度特征聚合模块输出的聚合特征图进行精化处理，得到最终的修复图像并输出。所述空间注意力精化模块包括编码器-解码器模块和一个残差模块，所述编码器-解码器模块(如图3所示)由编码器和解码器组成，所述编码器由两组卷积层-平均池化层组成；解码器由两组卷积层-上采样层组成。所述编码器-解码器模块用于计算聚合特征图像素间的权重，编码器-解码器模块的输入为聚合特征图，编码器-解码器模块的输出为聚合特征图像素间的相对权重图，相对权重图经sigmoid激活函数层处理后与初始输入的聚合特征图进行加权，得到初次精化修复图像，初次精化修复图像经残差模块进行处理后得到最终修复图像并输出。
所述残差模块包括三个卷积层和一个sigmoid激活函数层；残差模块对初次精化修复图像的处理过程为：输入残差模块的初次精化修复图像先通过第一个卷积层进行卷积处理，得到第一卷积特征图；第一卷积特征图经sigmoid激活函数层处理，得到初次精化修复图像像素间的权重图，将权重图与初次精化修复图像进行加权，得到加权特征图；将第一卷积特征图经第二个卷积层进行卷积处理，得到第二卷积特征图，然后将加权特征图与第二卷积特征图进行元素相加后输入第三的卷积层进行卷积处理，得到最终修复图像。
实施例2：
一种双目图像自修复方法，该方法为将待修复的一对双目图像输入双目图像自修复网络模型，进行修复，得到修复图像。
其中，所述双目图像自修复网络模型为采用上述第一方面所述双目图像自修复网络模型的训练方法训练得到的最优双目图像自修复网络模型。
待修复的双目图像包括一个左视角图像和一个右视角图像，左视角图像和右视角图像对应同一个场景，采集时间相同；而且，双目图像中的左视角图像或右视角图像为损坏图像；所述双目图像自修复网络模型为采用上述第一方面所述双目图像自修复网络模型的训练方法训练得到的最优双目图像自修复网络模型。更加优选地，左视角图像和右视角图像的重合率大于等于50％。
实施例3：
一种电子设备，包括存储器和处理器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如上述实施例1所述的双目图像自修复网络模型的训练方法，或者如上述实施例2所述的双目图像自修复方法。
实施例4：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例1所述的双目图像自修复网络模型的训练方法，或者上述实施例2所述的双目图像自修复方法。
采用本发明实施例2所述的双目图像自修复方法，对双目相机采集的同一场景的一对双目图像中的左视角图像(左视角图像为损坏图像)进行修复处理，而且，损坏图像保留其原始未损坏图像作为该损坏图像的真值。其修复结果如图4。
由图4可知，采用本发明双目图像自修复方法修复得到的修复图像和受损图像的原始真值相近，而且修复图像的纹理和语义结构自然、合理，真实地还原了受损左视角图像的破损区域的信息。

Claims (10)

1.一种双目图像自修复网络模型的训练方法，其特征在于，包括以下步骤：
S1：获取样本图像集，所述样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，一对双目图像中的左视角图像和右视角图像对应同一个场景，采集时间相同；而且，一对双目图像中的左视角图像或右视角图像为损坏图像，每张损坏图像都保留其原始未损坏图像作为该损坏图像的真值；将样本图像集按比例随机划分为训练集和测试集；
S2：采用训练集对预先构建的双目图像自修复网络模型进行训练，更新双目图像自修复网络模型，得到训练后的双目图像自修复网络模型；其中，所述双目图像自修复网络模型包括特征提取模块、多尺度特征对齐及早期融合模块、多尺度特征聚合模块和空间注意力精化模块；所述特征提取模块用于对输入的一对双目图像进行特征提取，特征提取模块的输入为一对双目图像，输出为一对双目图像特征图，双目图像特征图包括左视角特征图和右视角特征图；所述多尺度特征对齐及早期融合模块用于对特征提取模块输出的一对双目图像特征图进行特征对齐及特征融合处理，多尺度特征对齐及早期融合模块的输入为特征提取模块输出的一对双目图像特征图，其输出为三个不同分辨率的左右视角融合特征图；所述多尺度特征聚合模块用于对所述多尺度特征对齐及早期融合模块输出的三个不同分辨率的左右视角融合特征图进行特征聚合处理，得到聚合特征图并输出；所述空间注意力精化模块用于对多尺度特征聚合模块输出的聚合特征图进行精化处理，得到最终的修复图像并输出；
S3：采用测试集对步骤S2得到的训练后双目图像自修复网络模型进行测试，从训练后的双目图像自修复网络模型中选出最优双目图像自修复网络模型。
2.根据权利要求1所述的双目图像自修复网络模型的训练方法，其特征在于，所述多尺度特征对齐及早期融合模块包含三个支路，每个支路的结构相同，每个支路包含一个下采样模块、一个特征对齐模块和一个早期融合模块；所述下采样模块用于对输入的一对双目图像特征图进行下采样处理；所述特征对齐模块用于对经下采样模块处理后的一对双目图像特征图进行特征对齐处理，特征对齐模块的输入为经下采样模块处理后的一对双目图像特征图，特征对齐模块的输出为一对对齐双目图像特征图；所述早期融合模块用于对特征对齐模块的输出的一对对齐双目图像特征图进行融合处理，得到左右视角融合特征图；其中，第一个支路中，所述下采样模块的输入为特征提取模块输出的一对双目图像特征图；第二个支路中，所述下采样模块的输入为经第一支路下采样模块处理后的一对双目图像特征图；第三个支路中，所述下采样模块的输入为经第二支路下采样模块处理后的一对双目图像特征图。
3.根据权利要求2所述的双目图像自修复网络模型的训练方法，其特征在于，所述特征对齐模块由右视角可变形卷积模块和左视角可变形卷积模块组成，右视角可变形卷积模块输出的特征图与左视角可变形卷积模块输出的特征图通过跳连接相连；其中，右视角可变形卷积模块用于捕捉右视角特征图相对于左视角特征图的偏移量，并根据偏移量将右视角特征图进行特征偏移操作，使右视角特征图与左视角特征图对齐；右视角可变形卷积模块的输入是右视角特征图，其输出是进行偏移操作后的右视角特征图；左视角可变形卷积模块用于捕左视角特征图相对于右视角特征图的偏移量，并根据偏移量将左视角特征图进行特征偏移操作，使左视角特征图与右视角特征图对齐；左视角可变形卷积模块的输入是左视角特征图，其输出是进行偏移操作后的左视角特征图；左视角可变形卷积模块和右视角可变形卷积模块均由两个相连的可变形卷积层组成。
4.根据权利要求2所述的双目图像自修复网络模型的训练方法，其特征在于，所述早期融合模块包括左视角支路和右视角支路，左视角支路和右视角支路的结构相同，均包含一个空间注意力模块；左视角支路用于对输入的一对对齐双目图像特征图中的左视角特征图进行处理，得到左支路特征图并输出；右视角支路用于对输入的一对对齐双目图像特征图中的右视角特征图进行处理，得到右支路特征图并输出；将左支路特征图与右支路特征图沿通道方向进行拼接，拼接后经过一个卷积层进行处理，得到左右视角融合特征图；
其中，左视角支路对左视角特征图进行处理的过程为：将输入的左视角特征图与右视角特征图沿通道方向进行拼接，拼接后经过一个卷积层和一个sigmoid激活函数层进行处理，得到左权重图，将左权重图与输入的右视角特征图进行加权处理，得到第一加权特征图，然后将第一加权特征图与输入的左视角特征图沿通道方向进行拼接，得到左支路特征图；
右视角支路对右视角特征图进行处理的过程为：将输入的右视角特征图与左视角特征图沿通道方向进行拼接，拼接后经过一个卷积层和一个sigmoid激活函数层进行处理，得到右权重图，将右权重图与输入的左视角特征图进行加权处理，得到第二加权特征图，然后将第二加权特征图与输入的右视角特征图沿通道方向进行拼接，得到右支路特征图。
5.根据权利要求1-4任一所述的双目图像自修复网络模型的训练方法，其特征在于，将输入多尺度特征聚合模块的三个不同分辨率的左右视角融合特征图中分辨率最小的图像记作第一左右视角融合特征图、分辨率最大的图像记作第三左右视角融合特征图，分辨率处于第一左右视角融合特征图和第三左右视角融合特征图之间的图像记作第二左右视角融合特征图；
所述多尺度特征聚合模块包含三个支路，第一个支路包含一个上采样模块，用于对第一左右视角融合特征图进行上采样处理，使上采样处理后的第一左右视角融合特征图的分辨率与第二左右视角融合特征图相同；
第二个支路包含一个特征融合模块和一个上采样模块，特征融合模块用于将第二左右视角融合特征图与经第一个支路处理后的第一左右视角融合特征图进行特征融合处理，得到第一融合图，上采样模块用于对第一融合图进行上采样处理，使第一融合图的分辨率与第三左右视角融合特征图相同；
第三个支路包含一个特征融合模块，特征融合模块用于将第三左右视角融合特征图与第二支路输出的分辨率与第三左右视角融合特征图相同的第一融合图进行特征融合处理，得到聚合特征图。
6.根据权利要求1所述的双目图像自修复网络模型的训练方法，其特征在于，所述空间注意力精化模块包括编码器-解码器模块和一个残差模块，所述编码器-解码器模块用于计算聚合特征图像素间的权重，编码器-解码器模块的输入为聚合特征图，编码器-解码器模块的输出为聚合特征图像素间的相对权重图，相对权重图经sigmoid激活函数层处理后与初始输入的聚合特征图进行加权，得到初次精化修复图像，初次精化修复图像经残差模块进行处理后得到最终修复图像并输出。
7. 根据权利要求6所述的双目图像自修复网络模型的训练方法，其特征在于，所述编码器-解码器模块由编码器和解码器组成，所述编码器由两组卷积层-平均池化层组成；解码器由两组卷积层-上采样层组成；所述残差模块包括三个卷积层和一个sigmoid激活函数层；残差模块对初次精化修复图像的处理过程为：输入残差模块的初次精化修复图像先通过第一个卷积层进行卷积处理，得到第一卷积特征图；第一卷积特征图经sigmoid激活函数层处理，得到初次精化修复图像像素间的权重图，将权重图与初次精化修复图像进行加权，得到加权特征图；将第一卷积特征图经第二个卷积层进行卷积处理，得到第二卷积特征图，然后将加权特征图与第二卷积特征图进行元素相加后输入第三的卷积层进行卷积处理，得到最终修复图像。
8.一种双目图像自修复方法，其特征在于，所述方法为将待修复的一对双目图像输入双目图像自修复网络模型，进行修复，得到修复图像；其中，待修复的双目图像包括一个左视角图像和一个右视角图像，左视角图像和右视角图像对应同
一个场景，采集时间相同；而且，双目图像中的左视角图像或右视角图像为损坏图像；所述双目图像自修复网络模型为采用权利要求1～7任一所述双目图像自修复网络模型的训练方法训练得到的最优双目图像自修复网络模型。
9. 一种电子设备，包括存储器和处理器，其特征在于，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如权利要求 1～7 任一项所述的双目图像自修复网络模型的训练方法，或者如权利要求 8 所述的双目图像自修复方法。
10. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求 1～7 任一项所述的双目图像自修复网络模型的训练方法，或者如权利要求 8 所述的双目图像自修复方法。
CN202111299885.6A 2021-08-30 2021-11-04 一种双目图像自修复网络模型的训练方法 Active CN114022381B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111000726 2021-08-30
CN2021110007261 2021-08-30

Publications (2)

Publication Number Publication Date
CN114022381A true CN114022381A (zh) 2022-02-08
CN114022381B CN114022381B (zh) 2024-08-02

Family

ID=80060690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111299885.6A Active CN114022381B (zh) 2021-08-30 2021-11-04 一种双目图像自修复网络模型的训练方法

Country Status (1)

Country Link
CN (1) CN114022381B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596588A (zh) * 2022-03-11 2022-06-07 中山大学 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061068A1 (en) * 2015-05-06 2018-03-01 Peking University Shenzhen Graduate School Depth/Disparity Map Post-processing Method and Device
CN110189278A (zh) * 2019-06-06 2019-08-30 上海大学 一种基于生成对抗网络的双目场景图像修复方法
AU2020103715A4 (en) * 2020-11-27 2021-02-11 Beijing University Of Posts And Telecommunications Method of monocular depth estimation based on joint self-attention mechanism
CN113160085A (zh) * 2021-04-22 2021-07-23 上海大学 一种基于生成对抗网络的水花遮挡图像数据集采集方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061068A1 (en) * 2015-05-06 2018-03-01 Peking University Shenzhen Graduate School Depth/Disparity Map Post-processing Method and Device
CN110189278A (zh) * 2019-06-06 2019-08-30 上海大学 一种基于生成对抗网络的双目场景图像修复方法
AU2020103715A4 (en) * 2020-11-27 2021-02-11 Beijing University Of Posts And Telecommunications Method of monocular depth estimation based on joint self-attention mechanism
CN113160085A (zh) * 2021-04-22 2021-07-23 上海大学 一种基于生成对抗网络的水花遮挡图像数据集采集方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱新山;钱永军;孙彪;任超;孙亚;姚思如;: "基于深度神经网络的图像修复取证算法", 光学学报, no. 11, 10 November 2018 (2018-11-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596588A (zh) * 2022-03-11 2022-06-07 中山大学 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置
CN114596588B (zh) * 2022-03-11 2024-05-31 中山大学 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置

Also Published As

Publication number Publication date
CN114022381B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
CN110108258B (zh) 一种单目视觉里程计定位方法
CN110189278B (zh) 一种基于生成对抗网络的双目场景图像修复方法
CN111462210B (zh) 一种基于极线约束的单目线特征地图构建方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN113160085B (zh) 一种基于生成对抗网络的水花遮挡图像数据集采集方法
CN110580720A (zh) 一种基于全景图的相机位姿估计方法
CN110517309A (zh) 一种基于卷积神经网络的单目深度信息获取方法
CN109801323A (zh) 具有自我提升能力的金字塔双目深度估计模型
CN114119424B (zh) 一种基于光流法和多视角场景的视频修复方法
CN114119987A (zh) 基于卷积神经网络的特征提取和描述子生成方法及系统
CN117710215B (zh) 一种基于极线分窗口注意力的双目图像超分辨率方法
CN117876397B (zh) 一种基于多视角数据融合的桥梁构件三维点云分割方法
CN112967327A (zh) 基于联合自注意力机制的单目深度方法
CN113538658A (zh) 一种基于深度修复的室内场景三维重构方法及系统
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
CN112270701A (zh) 基于分组距离网络的视差预测方法、系统及存储介质
CN117437120A (zh) 一种端到端的基于深度学习的图像拼接方法
CN114022381A (zh) 一种双目图像自修复网络模型的训练方法
CN113808273B (zh) 一种船行波数值模拟的无序式增量稀疏点云重构方法
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN116503553A (zh) 一种基于双目视觉和扩散模型的三维重建方法及装置
CN116109778A (zh) 基于深度学习的人脸三维重建方法、计算机设备与介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant