CN110189278A - 一种基于生成对抗网络的双目场景图像修复方法 - Google Patents

一种基于生成对抗网络的双目场景图像修复方法 Download PDF

Info

Publication number
CN110189278A
CN110189278A CN201910489503.2A CN201910489503A CN110189278A CN 110189278 A CN110189278 A CN 110189278A CN 201910489503 A CN201910489503 A CN 201910489503A CN 110189278 A CN110189278 A CN 110189278A
Authority
CN
China
Prior art keywords
image
network
damaged
generation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910489503.2A
Other languages
English (en)
Other versions
CN110189278B (zh
Inventor
李恒宇
何金洋
袁泽峰
罗均
谢少荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910489503.2A priority Critical patent/CN110189278B/zh
Publication of CN110189278A publication Critical patent/CN110189278A/zh
Application granted granted Critical
Publication of CN110189278B publication Critical patent/CN110189278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像修复技术领域，具体涉及一种基于生成对抗网络的双目场景图像修复方法。该方法包括以下步骤：（1）采集场景的双目视觉图像，制作训练样本集和测试样本集；（2）构建生成对抗网络模型；（3）采用训练样本集训练生成对抗网络模型进，优化生成对抗网络参数，得到训练后生成对抗网络；（4）采用测试样本集测试所有训练后的生成网络，选择最优生成网络模型；（5）使用最优生成网络模型对受损图像进行实时修复。本发明的图像修复方法以同帧不同视角的相机图像作为先验信息来辅助受损图像修复，引入额外的有效约束，与现有方法的修复效果对比，本方法得到的修复图像更加真实、自然。

Description

一种基于生成对抗网络的双目场景图像修复方法
技术领域
本发明属于图像修复技术领域，具体涉及一种基于生成对抗网络的双目场景图像修复方法。
背景技术
随着机器人系统、自动驾驶的火热发展，双目系统的应用日益广泛，车载的双目相机系统能够更好的获取有效数据图像信息，用于感知车辆各个方向的环境及异常变化，对车辆的控制决策起着至关重要的作用，是自动驾驶能够顺利落地的重要保障。而视觉信息在采集、编码、压缩、传输、解压和解码过程中，信息丢失或信息受到噪声干扰容易造成图像异常。图像修复技术可以利用图像中受损区域周围的结构、纹理等先验信息来复原损坏区域，减少信息的丢失，为机器的感知和决策提供尽可能丰富的信息。
现有的单视角传统图像修复方法，其基于受损其余的纹理结构或基于图像像素的空间分布来修复受损图像，修复结果具有混乱的人工修饰痕迹，即使修复结果使人眼看不出图像受损，其修复的内容跟目标修复图像相比也有较大差异。
发明内容
针对现有技术存在的问题和不足，本发明的目的是提供一种基于生成对抗网络的双目场景图像修复方法。
为实现发明目的，本发明采用的技术方案如下：
一种基于生成对抗网络的双目场景图像修复方法，包括以下步骤：
(1)采集场景的双目视觉图像，根据采集的双目视觉图像制作训练样本集和测试样本集；
采集场景的左视角图像和右视角图像，根据采集的图像制作训练样本集和测试样本集；
(2)构建生成对抗网络模型；
(3)采用训练样本集对步骤(2)构建的生成对抗网络模型进行训练，优化生成对抗网络的参数，得到训练后生成对抗网络；
(4)采用测试样本集对所有训练后生成对抗网络中的生成网络进行测试，评价生成网络的图像修复性能，选择最优生成网络模型；
(5)使用步骤(4)得到的最优生成网络模型对受损图像进行实时修复。
根据上述的方法，优选地，步骤(1)的具体操作为：
(1a)采集原始图像：使用双目相机采集n个场景的双目视觉图像，得到了 n对双目视觉图像，将n对双目视觉图像调整至相同大小，然后按照视角不同进行划分，其中，一对双目视觉图像中的左视角图像放入左视角文件夹，右视角图像放入右视角文件夹，并将左视角文件夹和右视角文件夹中的图像按照采集时间先后顺序依次从1到n进行编号；
(1b)制作损坏图像：从编号1至编号n，每次以50％的概率从左视角文件夹或右视角文件夹中选择对应编号的图像，然后在选中的图像上增加占该图像面积30％及以上的随机纯色图像块，得到损坏图像；每张损坏图像都保留其原始图像作为该损坏图像的标签图像；
(1c)划分训练样本集和测试样本集：将每张损坏图像和与损坏图像编号相同的另一视角图像组成1对样本，共有n对样本，将n对样本按照4:1的比例随机划分为训练样本集和测试样本集。
根据上述的方法，优选地，所述生成对抗网络由生成网络和判别网络构成；生成网络的输入是一对双目视觉图像，一对双目视觉图像中的任意一个视角图像为损坏图像，生成网络的输出是损坏图像的修复图像；所述判别网络的输入是生成网络输出的修复图像或与修复图像对应的损坏图像的标签图像，判别网络的输出是输入的图像为标签图像的概率值p。
根据上述的方法，优选地，所述生成网络包括编码器和解码器；编码器是将输入图像编码为高维抽象特征图，编码器含有七个卷积层，解码器是将经过编码的高维抽象特征图进行解码，解码器含有四个反卷积层；编码过程中，一对双目视觉图像输入生成网络后，左视角图像依次经过三个卷积层进行特征提取，得到左视角图像的特征图，右视角图像依次经过三个卷积层进行特征提取，得到右视角图像的特征图，将左视角图像的特征图和右视角图像的特征图进行拼接，得到左视角图像和右视角图像的融合特征图，融合特征图经一个卷积层进行下采样，得到融合特征图的高维抽象特征图，此时，编码操作结束；解码过程中，经编码器编码的高维抽象特征图依次经过四个反卷积层进行上采样、解码，得到修复图像。
根据上述的方法，优选地，所述判别网络包含五个卷积层(conv层)和一个sigmoid层；修复图像或标签图像输入判别网络后依次经过五个卷积层和一个 sigmoid层后输出概率值p(p大于0.5，表示输入图像是标签图像的可能性比较大，p小于0.5则表示输入图像是生成的修复图像的可能性比较大)。
根据上述的方法，优选地，生成网络和判别网络中图像经过每一个卷积层进行特征提取时，按式(I)输出卷积后的特征图；
其中，w是权重参数值，x指上一层特征图的值，是输出图像上某通道某一点的值，c代表通道索引0～2共3个值，i代表行索引0～255共256个值，j代表列索引0～255共256个值，D代表特征图深度，d为特征图深度索引，F代表卷积核大小，m和n均为F的索引，wb代表偏置参数，最终整合的值得到修复图像。
根据上述的方法，优选地，步骤(3)中，采用训练样本集训练生成对抗网络的具体过程为：
(3a)首先固定生成网络，将训练样本集中的样本图像输入生成网络，得到输入样本图像中损坏图像的修复图像；将修复图像和与修复图像对应的损坏图像的标签图像分别输入判别网络，以交叉熵H(p)作为判别网络损失函数，利用反向传播算法调节判别网络的网络参数θD，使生成对抗网络目标函数V(G,D)最大化，得到优化后判别网络的网络参数θD，进而得到优化后的判别网络D*；
H(P)＝-y ln p+(y-1)ln(1-P) (II)
其中，p为判别网络输出的概率值；y表示标签值，其取值为0或1(修复图像的标签值为0，标签图像的标签值为1)；x表示判别网络输入，G表示生成网络，D表示判别网络，x～Pdata表示x服从数据集分布Pdata，x～PG表示x 服从生成图像数据分布PG，E[·]表示数学期望；
(3b)将步骤(3a)中得到的优化后判别网络D*的网络参数θD代入生成对抗网络目标函数V(G,D)，利用反向传播算法调节生成网络的网络参数θG，使生成对抗网络目标函数V(G,D)最小化，得到优化后判别网络的网络参数θG，进而得到优化后的生成网络G*；其中，
(3c)重复上述步骤(3a)和步骤(3b)，反复交替训练判别网络和生成网络，优化判别网络的网络参数θD和生成网络的网络参数θG，直至判别网络无法判别输入的图像为标签图像或修复图像，则训练停止，得到训练后的生成对抗网络。
根据上述的方法，优选地，所述步骤(4)的具体操作为：
(4a)将测试本集中的样本图像依次输入一个训练后生成对抗网络的生成网络中，得到所有样本图像中损坏图像的修复图像，按照式(VI)计算修复图像和与修复图像对应的标签图像的峰值信噪比PSNR(峰值信噪比PSNR是原图像与被处理图像之间的均方误差相对于信号最大值平方的对数值，其单位为dB；修复图像与真实标签图像的PSNR值越大，则说明修复图像与标签图像越相似)，然后求取测试样本集中所有样本图像的峰值信噪比PSNR平均值，得到该生成网络的峰值信噪比PSNR；
其中，n为每个采样值的比特数，(2n-1)2表示图像颜色的最大数值，MSE 是原图像与修复图像之间均方误差；
(4b)(4b)按照步骤(1)所述的操作求取所有训练后生成对抗网络中生成网络的峰值信噪比PSNR，选取峰值信噪比PSNR最大的生成网络作为最优生成网络模型。
根据上述的方法，优选地，所述步骤(5)的具体操作为：将受损图像和与受损图像相对应的另一视角图像输入到步骤(4)得到的最优生成网络模型中，经最优生成网络模型处理，输出修复完成的图像，即受损图像的修复图像。
与现有技术相比，本发明取得的有益效果为：
(1)本发明的图像修复方法结合双目视觉系统的特点，将同帧不同视角的左视角图像和右视角图像同时输入生成对抗网络，生成网络的编码器能够充分利用双目相机的不同视角信息，将左视角图像与右视角图像进行特征编码融合，生成更加利于修复的高维抽象特征(即2×2×512维特征向量)；高维抽象特征经解码器的上采样解码处理，可直接输出与输入尺寸一致的修复图像；因此，本发明的图像修复方法以同帧不同视角的相机图像作为先验信息来辅助受损图像修复，引入额外的有效约束，与现有方法的修复效果对比，本方法得到的修复图像更加真实、自然。
(2)本发明的图像修复方法实现了端到端的部署，具有高效、实时、清晰、精度高等优点，而且修复成本低，无需额外硬件。
附图说明
图1为本发明基于生成对抗网络的双目场景图像修复方法的流程图。
图2为本发明中生成对抗网络的功能示意图。
图3为本发明生成对抗网络中生成网络的结构示意图。
图4为本发明生成对抗网络中判别网络的结构示意图。
图5为本发明图像修复方法的修复结果。
具体实施方式
以下通过具体的实施例对本发明作进一步详细说明，但并不限制本发明的范围。
实施例1：
一种基于生成对抗网络的双目场景图像修复方法，如图1所示，包括以下步骤：
(1)采集场景的双目视觉图像，根据采集的双目视觉图像制作训练样本集和测试样本集。其具体操作过程如下：
(1a)采集原始图像：使用双目相机采集n个场景(n个场景均不相同，n 为正整数)的双目视觉图像，得到了n对双目视觉图像(一对双目视觉图像包括左视角图像和右视角图像)，将n对双目视觉图像调整至256×256×3大小(即256 个像素宽，256个像素高，每张彩色图3个通道)，然后按照视角不同进行划分，其中，一对双目视觉图像中的左视角图像放入左视角文件夹，右视角图像放入右视角文件夹，并将左视角文件夹和右视角文件夹中的图像按照采集时间先后顺序依次从1到n进行编号。
(1b)制作损坏图像：从编号1至编号n，每次以50％的概率从左视角文件夹或右视角文件夹中选择对应编号的图像，然后在选中的图像上增加占该图像面积30％及以上的随机纯色图像块，得到损坏图像；每张损坏图像都保留其原始图像作为该损坏图像的标签图像，标签图像的数量为n。
(1c)划分训练样本集和测试样本集：将每张损坏图像和与损坏图像编号相同的另一视角图像组成1对样本，共有n对样本，将n对样本按照4:1的比例随机划分为训练样本集和测试样本集。
(2)构建生成对抗网络模型。生成对抗网络由生成网络和判别网络构成(参见图2)；生成网络的输入是一对双目视觉图像，一对双目视觉图像中的任意一个视角图像为损坏图像，生成网络的输出是损坏图像的修复图像；所述判别网络的输入是生成网络输出的修复图像或与修复图像对应的损坏图像的标签图像，判别网络的输出是输入的图像为标签图像的概率值p。
生成网络的网络结构如图3所示，包括编码器和解码器；编码器是将输入图像编码为高维抽象特征图，含有七个卷积层(编码器采用Image-to-Image中的卷积层)，解码器是将经过编码的高维抽象特征图进行解码，解码器含有四个反卷积层；编码过程中，一对双目视觉图像输入生成网络后，左视角图像依次经过编码器中的三个卷积层(conv层)进行特征提取，得到左视角图像的特征图，右视角图像依次经过编码器中另外三个卷积层进行特征提取，得到右视角图像的特征图，将左视角图像的特征图和右视角图像的特征图进行拼接，得到左视角图像和右视角图像的融合特征图，融合特征图经一个卷积层进行下采样，得到融合特征图的高维抽象特征图，此时，编码操作结束；经编码器编码的高维抽象特征图依次经过解码器的四个反卷积层(deconv层)进行上采样、解码，得到修复图像。
判别网络的网络结构如图4所示，包含五个卷积层(conv层)和一个sigmoid 层；修复图像或标签图像输入判别网络后依次经过五个卷积层和一个sigmoid层后输出概率值p(p大于0.5，表示输入图像是标签图像的可能性比较大，p小于0.5则表示输入图像是生成的修复图像的可能性比较大)。
生成网络和判别网络中图像经过每一个卷积层进行特征提取时，按式(I) 输出卷积后的特征图；
其中，w是权重参数值，x指上一层特征图的值，是输出图像上某通道某一点的值，c代表通道索引0～2共3个值，i代表行索引0～255共256个值，j代表列索引0～255共256个值，D代表特征图深度，d为特征图深度索引，F代表卷积核大小，m和n均为F的索引，wb代表偏置参数，最终整合的值得到修复图像。
(3)采用训练样本集对步骤(2)构建的生成对抗网络模型进行训练，优化生成对抗网络的参数，得到训练后生成对抗网络。
其中，采用训练样本集训练生成对抗网络的具体过程为：
(3a)首先固定生成网络，将训练样本集中的样本图像输入生成网络，得到输入样本图像中损坏图像的修复图像；将修复图像和与修复图像对应的损坏图像的标签图像分别输入判别网络，以交叉熵H(p)作为判别网络损失函数，利用反向传播算法调节判别网络的网络参数θD，使生成对抗网络目标函数V(G,D)最大化，得到优化后判别网络的网络参数θD，进而得到优化后的判别网络D*；
H(P)＝-y ln p+(y-1)ln(1-P) (II)
其中，p为判别网络输出的概率值；y表示标签值，其取值为0或1(修复图像的标签值为0，标签图像的标签值为1)；x表示判别网络输入，G表示生成网络，D表示判别网络，x～Pdata表示x服从数据集分布Pdata，x～PG表示x 服从生成图像数据分布PG，E[·]表示数学期望；
(3b)将步骤(3a)中得到的优化后判别网络D*的网络参数θD代入生成对抗网络目标函数V(G,D)，利用反向传播算法调节生成网络的网络参数θG，使生成对抗网络目标函数V(G,D)最小化，得到优化后判别网络的网络参数θG，进而得到优化后的生成网络G*；其中，
(3c)重复上述步骤(3a)和步骤(3b)，反复交替训练判别网络和生成网络，优化判别网络的网络参数θD和生成网络的网络参数θG，直至判别网络无法判别输入的图像为标签图像或修复图像，则训练停止，得到训练后的生成对抗网络。
(4)为了验证本生成网络对图像修复的有效性，采用测试样本集对所有训练后生成对抗网络中的生成网络进行测试，选取峰值信噪比PSNR(峰值信噪比 PSNR是原图像与被处理图像之间的均方误差相对于信号最大值平方的对数值，其单位为dB，修复图像与真实标签图像的PSNR值越大，则说明修复图像与标签图像越相似)作为基准指标评估生成网络的图像修复性能，选择最优生成网络模型。
其具体操作为：
(4a)将测试本集中的样本图像依次输入一个训练后生成对抗网络的生成网络中，得到所有样本图像中损坏图像的修复图像，按照式(VI)计算修复图像和与修复图像对应的标签图像的峰值信噪比PSNR，然后求取测试样本集中所有样本图像的峰值信噪比PSNR平均值，得到该生成网络的峰值信噪比PSNR；
其中，n为每个采样值的比特数，(2n-1)2表示图像颜色的最大数值，MSE 是原图像与修复图像之间均方误差；
(4b)按照步骤(1)所述的操作求取所有训练后的生成网络的峰值信噪比 PSNR，选取峰值信噪比PSNR最大的生成网络作为最优生成网络模型。
(5)使用步骤(4)得到的最优生成网络模型对受损图像进行实时修复。其的具体操作为：将受损图像和与受损图像相对应的一对双目视觉图像中的另一视角图像输入到步骤(4)得到的最优生成网络模型中，经最优生成网络模型处理，输出修复完成的图像，即受损图像的修复图像。
采用本实施例所述的方法对双目相机采集的同一场景的一双目视觉图像中的左视角图像(左视角图像为损坏图像)进行修复处理，同时，将本发明方法的图像修复结果与Context-Encoder方法、Image-to-Image方法的图像修复结果进行对比，其对比结果参见图5。
由图5可知：采用Image-to-Image方法进行图像修复的修复效果明显好于Context-Encoder方法修复效果，这是因为Context-Encoder方法中没有跨层连接，整个图像细节需要重构，而Image-Image方法引入跨层连接和条件判别后，修复效果改善明显。但是，无论采用Context-Encoder方法还是Image-to-Image方法修复得到的修复图像均有明显的人工修饰痕迹，图像看起来很不自然，这是因为这两种修复方法仅靠编码器学会的样本内容和语义加上生成对抗网络学到的样本分布规律来“凌空”生成图像，修复过程中先验信息不足，无法正确的复原图像。本发明结合双目图像特点引入其它视角中的信息来修复受损图像，对图像生成过程增加了更多的辅导和约束，感官上生成更加准确和自然的图像修复结果。

Claims (9)

1.一种基于生成对抗网络的双目场景图像修复方法，其特征在于，包括以下步骤：
(1)采集场景的双目视觉图像，根据采集的双目视觉图像制作训练样本集和测试样本集；
(2)构建生成对抗网络模型；
(3)采用训练样本集对步骤(2)构建的生成对抗网络模型进行训练，优化生成对抗网络的参数，得到训练后生成对抗网络；
(4)采用测试样本集对所有训练后生成对抗网络中的生成网络进行测试，评价生成网络的图像修复性能，选择最优生成网络模型；
(5)使用步骤(4)得到的最优生成网络模型对受损图像进行实时修复。
2.根据权利要求1所述的方法，其特征在于，步骤(1)的具体操作为：
(1a)采集原始图像：使用双目相机采集n个场景的双目视觉图像，得到了n对双目视觉图像，将n对双目视觉图像调整至相同大小，然后按照视角不同进行划分，其中，一对双目视觉图像中的左视角图像放入左视角文件夹，右视角图像放入右视角文件夹，并将左视角文件夹和右视角文件夹中的图像按照采集时间先后顺序依次从1到n进行编号；
(1b)制作损坏图像：从编号1至编号n，每次以50％的概率从左视角文件夹或右视角文件夹中选择对应编号的图像，然后在选中的图像上增加占该图像面积30％及以上的随机纯色图像块，得到损坏图像；每张损坏图像都保留其原始图像作为该损坏图像的标签图像；
(1c)划分训练样本集和测试样本集：将每张损坏图像和与损坏图像编号相同的另一视角图像组成1对样本，共有n对样本，将n对样本按照4:1的比例随机划分为训练样本集和测试样本集。
3.根据权利要求2所述的方法，其特征在于，所述生成对抗网络由生成网络和判别网络构成；生成网络的输入是一对双目视觉图像，一对双目视觉图像中的任意一个视角图像为损坏图像，生成网络的输出是损坏图像的修复图像；所述判别网络的输入是生成网络输出的修复图像或与修复图像对应的损坏图像的标签图像，判别网络的输出是输入的图像为标签图像的概率值p。
4.根据权利要求3所述的方法，其特征在于，所述生成网络包括编码器和解码器；编码器含有七个卷积层，解码器含有四个反卷积层；编码过程中，将一对双目视觉图像输入生成网络，左视角图像依次经过三个卷积层进行特征提取，得到左视角图像的特征图，右视角图像依次经过三个卷积层进行特征提取，得到右视角图像的特征图，将左视角图像的特征图和右视角图像的特征图进行拼接，得到左视角图像和右视角图像的融合特征图，融合后的特征图经过一个卷积层得到高维抽象特征图，编码操作结束；解码过程中，经编码器编码的高维抽象特征图依次经过四个反卷积层进行上采样、解码，得到修复图像。
5.根据权利要求4所述的方法，其特征在于，所述判别网络包含五个卷积层和一个sigmoid层；修复图像或标签图像输入判别网络后依次经过五个卷积层和一个sigmoid层后输出概率值p。
6.根据权利要求5所述的方法，其特征在于，生成网络和判别网络中图像经过每一个卷积层进行特征提取时，按式(I)输出卷积后的特征图；
其中，w是权重参数值，x指上一层特征图的值，是输出图像上某通道某一点的值，c代表通道索引0～2共3个值，i代表行索引0～255共256个值，j代表列索引0～255共256个值，D代表特征图深度，d为特征图深度索引，F代表卷积核大小，m和n均为F的索引，wb代表偏置参数，最终整合的值得到修复图像。
7.根据权利要求5所述的方法，其特征在于，步骤(3)中，采用训练样本集训练生成对抗网络的具体过程为：
(3a)首先固定生成网络，将训练样本集中的样本图像输入生成网络，得到输入样本图像中损坏图像的修复图像；将修复图像和与修复图像对应的损坏图像的标签图像分别输入判别网络，以交叉熵H(p)作为判别网络损失函数，利用反向传播算法调节判别网络的网络参数θD，使生成对抗网络目标函数V(G,D)最大化，得到优化后判别网络的网络参数θD，进而得到优化后的判别网络D*；
H(p)＝-y ln p+(y-1)ln(1-p) (II)
其中，p为判别网络输出的概率值；y表示标签值，其取值为0或1；x表示判别网络输入，G表示生成网络，D表示判别网络，x～Pdata表示x服从数据集分布Pdata，x～PG表示x服从生成图像数据分布PG，E[·]表示数学期望；
(3b)将步骤(3a)中得到的优化后判别网络D*的网络参数θD代入生成对抗网络目标函数V(G,D)，利用反向传播算法调节生成网络的网络参数θG，使生成对抗网络目标函数V(G,D)最小化，得到优化后判别网络的网络参数θG，进而得到优化后的生成网络G*；其中，
(3c)重复上述步骤(3a)和步骤(3b)，反复交替训练判别网络和生成网络，优化判别网络的网络参数θD和生成网络的网络参数θG，直至判别网络无法判别输入的图像为标签图像或修复图像，则训练停止，得到训练后的生成对抗网络。
8.根据权利要求7所述的方法，其特征在于，所述步骤(4)的具体操作为：
(4a)将测试本集中的样本图像依次输入一个训练后生成对抗网络的生成网络中，得到所有样本图像中损坏图像的修复图像，按照式(VI)计算修复图像和与修复图像对应的标签图像的峰值信噪比PSNR，然后求取测试样本集中所有样本图像的峰值信噪比PSNR平均值，得到该生成网络的峰值信噪比PSNR；
其中，n为每个采样值的比特数，(2n-1)2表示图像颜色的最大数值，MSE是原图像与修复图像之间均方误差；
(4b)按照步骤(1)所述的操作求取所有训练后生成对抗网络中生成网络的峰值信噪比PSNR，选取峰值信噪比PSNR最大的生成网络作为最优生成网络模型。
9.根据权利要求8所述的方法，其特征在于，所述步骤(5)的具体操作为：将受损图像和与受损图像相对应的双目视觉图像中的另一视角图像输入到步骤(4)得到的最优生成网络模型中，经最优生成网络模型处理，输出修复完成的图像，即受损图像的修复图像。
CN201910489503.2A 2019-06-06 2019-06-06 一种基于生成对抗网络的双目场景图像修复方法 Active CN110189278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910489503.2A CN110189278B (zh) 2019-06-06 2019-06-06 一种基于生成对抗网络的双目场景图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910489503.2A CN110189278B (zh) 2019-06-06 2019-06-06 一种基于生成对抗网络的双目场景图像修复方法

Publications (2)

Publication Number Publication Date
CN110189278A true CN110189278A (zh) 2019-08-30
CN110189278B CN110189278B (zh) 2020-03-03

Family

ID=67720740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910489503.2A Active CN110189278B (zh) 2019-06-06 2019-06-06 一种基于生成对抗网络的双目场景图像修复方法

Country Status (1)

Country Link
CN (1) CN110189278B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827265A (zh) * 2019-11-07 2020-02-21 南开大学 基于深度学习的图片异常检测方法
CN110853005A (zh) * 2019-11-06 2020-02-28 杭州迪英加科技有限公司 一种免疫组化膜染色切片诊断方法及装置
CN111105432A (zh) * 2019-12-24 2020-05-05 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111275637A (zh) * 2020-01-15 2020-06-12 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN112465718A (zh) * 2020-11-27 2021-03-09 东北大学秦皇岛分校 一种基于生成对抗网络的两阶段图像修复方法
CN112686822A (zh) * 2020-12-30 2021-04-20 成都信息工程大学 一种基于堆叠生成对抗网络的图像补全方法
CN112950481A (zh) * 2021-04-22 2021-06-11 上海大学 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN113449676A (zh) * 2021-07-13 2021-09-28 凌坤(南通)智能科技有限公司 一种基于双路互促进解纠缠学习的行人重识别方法
CN113657453A (zh) * 2021-07-22 2021-11-16 珠海高凌信息科技股份有限公司 基于生成对抗网络和深度学习的有害网站的检测方法
CN114021285A (zh) * 2021-11-17 2022-02-08 上海大学 基于相互局部对抗迁移学习的旋转机械故障诊断方法
CN114782590A (zh) * 2022-03-17 2022-07-22 山东大学 一种多物体内容联合图像生成方法及系统
WO2022156151A1 (zh) * 2021-01-25 2022-07-28 长鑫存储技术有限公司 图像视角转换/故障判断方法、装置、设备及介质
US11956407B2 (en) 2021-01-25 2024-04-09 Changxin Memory Technologies, Inc. Image view angle conversion/fault determination method and device, apparatus and medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780393A (zh) * 2016-12-28 2017-05-31 辽宁师范大学 基于图像集的图像去噪方法
CN106875359A (zh) * 2017-02-16 2017-06-20 阜阳师范学院 一种基于分层引导策略的样本块图像修复方法
CN107507139A (zh) * 2017-07-28 2017-12-22 北京航空航天大学 基于Facet方向导数特征的样例双重稀疏图像修复方法
CN108269245A (zh) * 2018-01-26 2018-07-10 深圳市唯特视科技有限公司 一种基于新型生成对抗网络的眼部图像修复方法
CN109785258A (zh) * 2019-01-10 2019-05-21 华南理工大学 一种基于多判别器生成对抗网络的人脸图像修复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780393A (zh) * 2016-12-28 2017-05-31 辽宁师范大学 基于图像集的图像去噪方法
CN106875359A (zh) * 2017-02-16 2017-06-20 阜阳师范学院 一种基于分层引导策略的样本块图像修复方法
CN107507139A (zh) * 2017-07-28 2017-12-22 北京航空航天大学 基于Facet方向导数特征的样例双重稀疏图像修复方法
CN108269245A (zh) * 2018-01-26 2018-07-10 深圳市唯特视科技有限公司 一种基于新型生成对抗网络的眼部图像修复方法
CN109785258A (zh) * 2019-01-10 2019-05-21 华南理工大学 一种基于多判别器生成对抗网络的人脸图像修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CL′EMENT GODARD ET AL: "Unsupervised Monocular Depth Estimation with Left-Right Consistency", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李雪瑾: "基于生成对抗网络的数字图像修复技术", 《电子测量与仪器学报》 *
王凯: "基于生成对抗网络的图像恢复与SLAM容错研究", 《浙江大学学报(工学版)》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853005A (zh) * 2019-11-06 2020-02-28 杭州迪英加科技有限公司 一种免疫组化膜染色切片诊断方法及装置
CN110827265B (zh) * 2019-11-07 2023-04-07 南开大学 基于深度学习的图片异常检测方法
CN110827265A (zh) * 2019-11-07 2020-02-21 南开大学 基于深度学习的图片异常检测方法
CN111105432A (zh) * 2019-12-24 2020-05-05 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法
CN111105432B (zh) * 2019-12-24 2023-04-07 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111275637A (zh) * 2020-01-15 2020-06-12 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111275637B (zh) * 2020-01-15 2024-01-30 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN112465718A (zh) * 2020-11-27 2021-03-09 东北大学秦皇岛分校 一种基于生成对抗网络的两阶段图像修复方法
CN112686822B (zh) * 2020-12-30 2021-09-07 成都信息工程大学 一种基于堆叠生成对抗网络的图像补全方法
CN112686822A (zh) * 2020-12-30 2021-04-20 成都信息工程大学 一种基于堆叠生成对抗网络的图像补全方法
US11956407B2 (en) 2021-01-25 2024-04-09 Changxin Memory Technologies, Inc. Image view angle conversion/fault determination method and device, apparatus and medium
WO2022156151A1 (zh) * 2021-01-25 2022-07-28 长鑫存储技术有限公司 图像视角转换/故障判断方法、装置、设备及介质
CN112950481B (zh) * 2021-04-22 2022-12-06 上海大学 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN112950481A (zh) * 2021-04-22 2021-06-11 上海大学 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN113449676A (zh) * 2021-07-13 2021-09-28 凌坤(南通)智能科技有限公司 一种基于双路互促进解纠缠学习的行人重识别方法
CN113449676B (zh) * 2021-07-13 2024-05-10 凌坤(南通)智能科技有限公司 一种基于双路互促进解纠缠学习的行人重识别方法
CN113657453A (zh) * 2021-07-22 2021-11-16 珠海高凌信息科技股份有限公司 基于生成对抗网络和深度学习的有害网站的检测方法
CN114021285A (zh) * 2021-11-17 2022-02-08 上海大学 基于相互局部对抗迁移学习的旋转机械故障诊断方法
CN114021285B (zh) * 2021-11-17 2024-04-12 上海大学 基于相互局部对抗迁移学习的旋转机械故障诊断方法
CN114782590A (zh) * 2022-03-17 2022-07-22 山东大学 一种多物体内容联合图像生成方法及系统
CN114782590B (zh) * 2022-03-17 2024-05-10 山东大学 一种多物体内容联合图像生成方法及系统

Also Published As

Publication number Publication date
CN110189278B (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
CN110189278A (zh) 一种基于生成对抗网络的双目场景图像修复方法
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及系统
CN111242238B (zh) 一种rgb-d图像显著性目标获取的方法
CN111931598B (zh) 一种基于人脸识别的课堂智能实时分析方法及系统
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN110458060A (zh) 一种基于对抗学习的车辆图像优化方法及系统
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN101883291A (zh) 感兴趣区域增强的视点绘制方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN109523513A (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN110414674A (zh) 一种基于残差网络及局部细化的单目深度估计方法
CN110766623A (zh) 一种基于深度学习的立体图像修复方法
CN113965659B (zh) 基于网络对网络的训练hevc视频隐写分析方法、系统
CN104574391A (zh) 一种基于自适应特征窗口的立体视觉匹配方法
CN113160085B (zh) 一种基于生成对抗网络的水花遮挡图像数据集采集方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN112184731B (zh) 一种基于对抗性训练的多视图立体深度估计方法
CN105488792A (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN105069794A (zh) 一种基于双目竞争的全盲立体图像质量评价方法
CN116137043A (zh) 一种基于卷积和Transformer的红外图像彩色化方法
CN116109510A (zh) 一种基于结构和纹理对偶生成的人脸图像修复方法
CN108648186B (zh) 基于初级视觉感知机制的无参考立体图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant