CN112561782B - 一种提高海上场景仿真图片真实度的方法 - Google Patents

一种提高海上场景仿真图片真实度的方法 Download PDF

Info

Publication number
CN112561782B
CN112561782B CN202011484532.9A CN202011484532A CN112561782B CN 112561782 B CN112561782 B CN 112561782B CN 202011484532 A CN202011484532 A CN 202011484532A CN 112561782 B CN112561782 B CN 112561782B
Authority
CN
China
Prior art keywords
picture
simulation
image
sea
train
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011484532.9A
Other languages
English (en)
Other versions
CN112561782A (zh
Inventor
苏丽
崔浩浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202011484532.9A priority Critical patent/CN112561782B/zh
Publication of CN112561782A publication Critical patent/CN112561782A/zh
Application granted granted Critical
Publication of CN112561782B publication Critical patent/CN112561782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种提高海上场景仿真图片真实度的方法，本发明将仿真图的前景背景分割，分别采用传统的方法与深度学习方法CycleGAN两种算法进行风格迁移，实现了由仿真图到真实海上照片的转换。其中背景采用泊松融合加色彩转换的方法，将真实的海面照片作为子图，仿真图作为母图泊松融合后，再经过Reinhard色彩迁移，得到逼真的背景，前景采用CycleGAN算法，并对生成器的每一层卷积均点乘其掩码来提取前景部分，并在最后一层与输入层进行拼接，来保留原图的背景信息，从而生成完整的拥有真实风格的海面图片。本发明利用仿真软件构建海上场景，得到仿真图片后转为真实图片的风格，用于神经网络训练，解决样本稀缺的问题。

Description

一种提高海上场景仿真图片真实度的方法
技术领域
本发明涉及一种提高海上场景仿真图片真实度的方法，涉及样本风格迁移、深度学习和神经网络领域。
背景技术
随着图像仿真技术的逐渐成熟，利用计算机对一些目标场景进行仿真变得越来越容易，且仿真效果也越来越真实，通过一些常见的仿真软件，如：3Dmax、Unity、UE4、Blender等即可很容易地获得各种场景的仿真图片。而在深度学习任务中，一些特殊场景下的样本往往不容易获取，如在进行海上目标的识别等任务时，通过物联网能够得到的照片数量有限且各种拍摄角度样本数量不均衡，通过真实拍摄构建数据集又会花费较大的人力物力，因此，一些研究者尝试将仿真图作为深度学习的样本用于神经网络的训练中，通过该方法可以轻松得到大量所需的难以获得的稀缺样本，且样本的各种信息在仿真软件中皆有显示，可以很容易且更加准确的进行标注。目前用仿真图片进行训练主要有两种方式：(1)直接用仿真图片进行训练，然后用迁移学习迁移到真实图上。(2)利用图像翻译算法将仿真图转为真实图的风格后进行训练。目前第一种迁移学习的方法比较常见，技术比较成熟。但是该方法并不能完全消除不同样本域之间的差异，所以一些研究者试图利用一些算法来将仿真图转化为更加逼真地图像，从而消除两个样本域之间的差异，直接使用转换后的图像来进行神经网络的训练。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种提高海上场景仿真图片真实度的方法，可以利用仿真软件构建海上场景，得到仿真图片后转为真实图片的风格，从而用于神经网络的训练，解决样本稀缺的问题。
为解决上述技术问题，本发明的一种提高海上场景仿真图片真实度的方法，包括以下步骤：
步骤1：准备数据集，具体为：
准备三个数据集，包括：(1)海上场景仿真图片数据集Train_CG及其标签，要求标签将图片分割为天空，海面，前景目标三部分；(2)真实海面场景照片数据集Train_real及其标签，要求标签将照片分为前景、背景两部分；(3)没有目标的海面照片数据集Train_sea；
步骤2：从Train_sea中随机选取一张样本图片，利用区域增长算法对其进行分割；
步骤3：根据Train_CG的语义标签与Train_sea的分割结果对其进行海天线检测，具体为：从Train_CG与Train_sea中各随机选出一张图片，并对两者分割图中海面部分与天空部分的接触点进行多次采样，得到一组采样点样本，并去除其中的噪声点，之后将样本坐标送入一维线性分类器中进行训练，得到拟合的直线，该直线即检测得到的海天线；
步骤4：根据检测得到的海天线将挑选的两张图片进行对齐，具体为：
首先根据两张图片中检测得到的海天线的斜率，将Train_sea中挑选的海面图片进行相应的旋转，使其斜率保持一致，之后将两张图片的海天线位置对齐，并调整海面图片的大小，将超出仿真图的部分裁剪掉，得到两张海天线位于同一位置，且大小相同的仿真图CG与海面照片Sea；
步骤5：将步骤4得到的仿真图CG与海面照片Sea进行背景部分泊松融合，具体为：
根据仿真图的标签图片，得到仿真图的掩码图，其前景部分为0，背景部分为255，将仿真图CG作为母图，海面照片作为子图，仿真图的掩码图作为掩码，进行泊松融合，得到具有真实海面纹理的仿真图片；
步骤6：将步骤5得到的结果图片经过Reinhard色彩迁移算法改变其色彩风格，具体为：
将步骤5中的结果图与海面照片Sea分别转换为Lab颜色通道，分别计算三个通道的均值与方差，将源图像中每个通道均进行以下所示公式计算，并将计算结果重新转为RGB颜色空间即可得到色彩转换后的图片：
Figure BDA0002838638380000021
其中，p为源图像，m1为源图像的均值，m2为目标图像的均值，d1为源图像的方差，d2为目标图像的方差；
步骤7：循环步骤2-6，将仿真图片数据集Train_CG中所有的图片背景均进行泊松融合与色彩迁移，得到新的数据集Train_cg；
步骤8：将数据集Train_cg与Train_real分别经过深度学习算法CycleGAN进行训练，进行前景部分的风格迁移，具体为：
CycleGAN共具有两个生成器GAB、GBA和两个判别器DA、DB四个网络，每次循环分为前向过程与反向过程。前向过程对GAB与DA进行训练，反向过程对GBA与DB进行训练。其中前向过程可以分为判别器训练与生成器训练两个阶段，在判别器训练阶段，固定生成器GAB参数，从数据集Train_cg中提取图片a，并由其标签得到掩码图，其中前景部分置为1，背景部分置为0，通过点乘其掩码图，提取出前景，将背景部分置黑，将点乘结果送入生成器GAB中，生成假的真实照片风格的图片fake_b，把fake_b与Train_real中取出的照片b分别送入判别器DB中对判别器进行训练，输入为fake_b时判别器输出与0计算交叉熵，输入为b时判别器输出与1计算交叉熵，将两个交叉熵结果相加，得到判别器损失指导判别器DB的训练；在生成器训练阶段，固定判别器DB的参数，将fake_b送入DB中进行判别，并将判别结果点乘图片a的掩码后与1计算交叉熵损失，得到LGAN(GAB，DB，A，B)，将fake_b与a分别点乘提取出两者的背景，计算L1损失||GAB(a)b-ab||1，将fake_b经过生成器GBA得到rec_a，并对rec_a的前景与a的前景求L1损失||GBA(GAB(a)f)-af||1，将a进过生成器GBA后得到idt_b与a求L1损失||GBA(a)-a||1，对以上四个损失添加权重后作为GAB的损失，反向过程训练方式与正向过程相同，两个生成器采用联合训练，利用总的损失函数共同指导两个生成器的训练，正反过程总损失函数具体为：
L(GAB，GBA，DA，DB)＝LGAN(GAB，DB，A，B)+LGAN(GBA，DA，B，A)+αLcyc(GAB，GBA)+
βLidt(GAB，GBA)+γLback(GAB，GBA，A，B)
其中：
LGAN(GAB，DB，A，B)＝E[log DB(bf)]+E[log(1-DB(GAB(a)f))]
LGAN(GBA，DA，B，A)＝E[log DA(af)]+E[log(1-DA(GBA(b)f))]
Lcyc(GAB，GBA)＝E[||GBA(GAB(a)f)-af||1]+E[||GAB(GBA(b)f)-bf||1]
Lidt(GAB，GBA，A，B)＝E[||GBA(a)-a||1]+E[||GAB(b)-b||1]
Lback(GAB，GBA，A，B)＝E[||GAB(a)b-ab||1]+E[||GBA(b)b-bb||1]
A表示仿真图片数据集，B表示真实照片数据集；a表示仿真图片数据集中的图片，b表示真实图片数据集中的图片；GAB为由仿真图生成真实照片风格图片的生成器，GBA为其反向过程由真实照片生成仿真图片风格的生成器，DA为判别是否为真实图的判别器，DB为判别是否为仿真图的判别器；下角标为f表示与掩码点乘提取出前景，下角标为b表示与(1-掩码图)点乘提取出背景；E代表期望，α取值500，β取值250，γ取值1；
步骤9：将数据集Train_CG和Train_real分别送入语义分割网络deeplab v3+中进行训练，保存训练后的参数；
步骤10：将语义分割结果代替标签，使用任意的仿真图经过步骤2-6，之后经过CycleGAN中训练好的生成器GAB来得到真实风格的图片。
本发明的有益效果：
在深度学习技术中，样本集往往占据着相当重要的地位，能够直接影响到最终网络训练的好坏，但是在许多情况下我们往往很难得到理想的样本集，样本数量的稀缺会对网络的训练造成很大的影响。本发明提供了一种提高海上场景仿真图片真实度的方法，通过该方法可以利用仿真软件构建海上场景，得到仿真图片后转为真实图片的风格，从而用于神经网络的训练，解决样本稀缺的问题。本发明将仿真图的前景背景分割，分别采用传统的方法与深度学习方法CycleGAN两种算法进行风格迁移，实现了由仿真图到真实海上照片的转换。其中背景采用泊松融合加色彩转换的方法，将真实的海面照片作为子图，仿真图作为母图泊松融合后，再经过Reinhard色彩迁移，得到逼真的背景，前景采用CycleGAN算法，并对生成器的每一层卷积均点乘其掩码来提取前景部分，并在最后一层与输入层进行拼接，来保留原图的背景信息，从而生成完整的拥有真实风格的海面图片。
附图说明
图1(a)是部分海面背景数据集；
图1(b)部分仿真图片数据集及其标签；
图1(c)部分真实海面照片及其标签；
图2(a)是CycleGAN生成器训练过程示意图(正向过程)；
图2(b)是CycleGAN生成器训练过程示意图(反向过程)；
图3为训练前景用生成器结构示意图；
图4是原仿真图与生成图对比示意图。
具体实施方式
下面结合附图对本发明具体实施方式做进一步说明。
在深度学习任务中，样本数据往往占据着重要的地位，然而一些特殊场景下的样本往往不容易获取，如在进行海上目标的识别等任务时，通过物联网能够得到的照片数量有限且各种拍摄角度样本数量不均衡，通过真实拍摄构建数据集又会花费较大的人力物力，因此，一些研究者尝试将仿真图作为深度学习的样本用于神经网络的训练中，通过该方法可以轻松得到大量所需的难以获得的稀缺样本，且样本的各种信息在仿真软件中皆有显示，可以很容易且更加准确的进行标注。然而仿真图片与真实图片两个域之间往往存在较大的差别，导致仿真图无法直接代替真实图用于神经网络的训练中。本发明提供一种提高海上场景仿真图片真实度的方法，从而能够直接代替真实照片用于神经网络的训练，解决样本数量稀少的问题。
本发明步骤：
1、准备如附图1(a)至图1(c)中仿真图片数据集Train_CG及其标签，真实海上场景照片数据集Train_real及其标签，没有目标的海面场景数据集Train_sea。
步骤2、随机选取一张Train_sea数据集照片进行区域增长分割，并根据分割结果，对海面天空分割部分进行采样，将采样点坐标送入一维线性分类器中进行拟合，得到海天线。
步骤3、随机选取Train_CG中一张图片，进行步骤2中操作，得到其海天线。
步骤4、根据Train_CG与Train_sea的海天线，将两者进行对齐，保留两幅图相交部分。
步骤5、根据Train_CG的标签得到其掩码，前景置为0，背景置为255，并将步骤4中对齐后的仿真图作为母图，海面图作为子图，进行泊松融合。
步骤6、将步骤5中泊松融合的结果和海面图片转为Lab颜色空间，分别计算两者三个通道的均值与方差。并带入以下公式中计算，得到色彩转换后的仿真图。
Figure BDA0002838638380000051
其中，p为源图像，m1为源图像的均值，m2为目标图像的均值，d1为源图像的方差，d2为目标图像的方差。
步骤7、循环步骤2-6，直至数据集Train_CG中所有图片均完成泊松融合与色彩转换。
步骤8、将转换完成的仿真图构建新的数据集，与真实海上场景照片数据集一同放入CycleGAN(循环生成对抗网络)算法中进行前景风格的转换。
其中CycleGAN算法为一种基于深度学习的非成对图像翻译算法，将两个不同风格的数据集图片同时送入网络中进行训练即可实现从一种风格向另一种风格的转换。其本质是两个镜像对称的GAN(生成对抗网络)，构成了一个环形网络，具有两个生成器GAB、GBA和两个判别器DA、DB，本发明中，生成器结构如附图3所示，采用残差网络，并对每层卷积层的输入均点乘其对应大小的掩码，即仅对前景部分进行生成，在最后一层卷积层前将网络的输入与特征图进行拼接，从而保留背景部分的信息，使得网络能够输出完整的迁移后的图片。一个完整的CycleGAN可以拆分为两个相同的单向网络，互为反向过程。
对于由仿真图生成真实图风格的单向过程可以分为判别器训练与生成器训练两个阶段，在判别器训练阶段，固定生成器GAB参数，从数据集Train_cg中提取图片a，并由其标签得到其掩码图，其中前景部分置为1，背景部分置为0，通过点乘其掩码图，提取出前景，将背景部分置黑，将点乘结果送入生成器GAB中，生成假的真实照片风格的图片fake_b，把fake_b与Train_real中取出的照片b分别送入判别器DB中对判别器进行训练，输入为fake_b时判别器输出与0计算交叉熵，输入为b时判别器输出与1计算交叉熵，将两个交叉熵结果相加，得到判别器损失，来指导判别器DB的训练；生成器训练过程如附图2(a)和图2(b)所示，固定判别器DB的参数，将fake_b送入DB中进行判别，并将判别结果点乘图片a的掩码后与1计算交叉熵损失，得到LGAN(GAB，DB，A，B)，将fake_b与a分别点乘(1-a的掩码图)提取出两者的背景，计算L1损失||GAB(a)b-ab||1，将fake_b经过生成器GBA得到rec_a，并对rec_a的前景与a的前景求L1损失||GBA(GAB(a)f)-af||1，将a进过生成器GBA后得到idt_b与a求L1损失||GBA(a)-a||1，对以上四个损失添加合适的权重后作为GAB的损失。反向过程与其类似。两个生成器采用联合训练，正反过程总损失函数如下，利用总的损失函数共同指导两个生成器的训练。
L(GAB，GBA，DA，DB)＝LGAN(GAB，DB，A，B)+LGAN(GBA，DA，B，A)+αLcyc(GAB，GBA)+βLidt(GAB，GBA)+γLback(GAB，GBA，A，B)
其中：
LGAN(GAB，DB，A，B)＝E[log DB(bf)]+E[log(1-DB(GAB(a)f))]
LGAN(GBA，DA，B，A)＝E[log DA(af)]+E[log(1-DA(GBA(b)f))]
Lcyc(GAB，GBA)＝E[||GBA(GAB(a)f)-af||1]+E[||GAB(GBA(b)f)-bf||1]
Lidt(GAB，GBA，A，B)＝E[||GBA(a)-a||1]+E[||GAB(b)-b||1]
Lback(GAB，GBA，A，B)＝E[||GAB(a)b-ab||1]+E[||GBA(b)b-bb||1]
A表示仿真图片数据集，B表示真实照片数据集；a表示仿真图片数据集中的图片，b表示真实图片数据集中的图片；GAB为由仿真图生成真实照片风格图片的生成器，GBA为其反向过程由真实照片生成仿真图片风格的生成器，DA为判别是否为真实图的判别器，DB为判别是否为仿真图的判别器；下角标为f表示与掩码点乘提取出前景，下角标为b表示与(1-掩码图)点乘提取出背景；E代表期望。α取值500，β取值250，γ取值1。
步骤9、将数据集Train_CG和Train_real分别送入语义分割网络DeepLab v3+中进行训练，保存训练后的参数。
步骤10、完成以上步骤之后就可以将语义分割结果代替标签，使用任意的仿真图经过步骤2-6，之后经过CycleGAN中训练好的生成器GAB来得到真实风格的图片，实现批量的快速转换，转换结果如附图4所示。
实施例：
1、准备数据集
本方法一共需要准备三个数据集，(1)海上场景仿真图片数据集Train_CG及其标签，要求标签将图片分割为天空，海面，前景目标三部分。(2)准备真实海面场景照片数据集Train_real及其标签，要求标签将照片分为前景背景两部分。(3)没有目标的海面照片数据集Train_sea。
2、从Train_sea中随机选取一张样本图片，利用区域增长算法对其进行分割。
3、根据Train_CG的语义标签与Train_sea的分割结果对其进行海天线检测。
从Train_CG与Train_sea中各随机选出一张图片，并对两者分割图中海面部分与天空部分的接触点进行多次采样，得到一组采样点样本，并去除其中的噪声点，之后将样本坐标送入一维线性分类器中进行训练，得到其拟合的直线，该直线即检测得到的海天线。
4、根据检测得到的海天线将挑选的两张图片进行对齐。
首先根据两张图片中检测得到的海天线的斜率，将Train_sea中挑选的海面图片进行相应的旋转，使其斜率保持一致，之后将两张图片的海天线位置对齐，并调整海面图片的大小，将超出仿真图的部分裁剪掉。得到两张海天线位于同一位置，且大小相同的仿真图CG与海面照片Sea。
5、将步骤4得到的仿真图CG与海面照片Sea进行背景部分泊松融合。
根据仿真图的标签图片，得到仿真图的掩码图，其前景部分为0，背景部分为255。将仿真图CG作为母图，海面照片作为子图，仿真图的掩码图作为掩码，进行泊松融合，即可得到具有真实海面纹理的仿真图片。
6、将步骤5得到的结果图片经过Reinhard色彩迁移算法改变其色彩风格。
将步骤5中的结果图与海面照片Sea分别转换为Lab颜色通道。分别计算三个通道的均值与方差，将源图像中每个通道均进行以下所示公式计算，并将计算结果重新转为RGB颜色空间即可得到色彩转换后的图片。
Figure BDA0002838638380000071
其中，p为源图像，m1为源图像的均值，m2为目标图像的均值，d1为源图像的方差，d2为目标图像的方差。
7、循环步骤2-6，将仿真图片数据集Train_CG中所有的图片背景均进行泊松融合与色彩迁移，得到新的数据集Train_cg。
8、将数据集Train_cg与Train_real的前景分别经过CycleGAN算法，进行前景部分的风格迁移。
其中CycleGAN算法为一种基于深度学习的非成对图像翻译算法，将两个不同风格的数据集图片同时送入网络中进行训练即可实现从一种风格向另一种风格的转换。其本质是两个镜像对称的GAN(生成对抗网络)，构成了一个环形网络，具有两个生成器GAB、GBA和两个判别器DA、DB，本发明中，生成器结构如附图3所示，采用残差网络，并对每层卷积层的输入均点乘其对应大小的掩码，即仅对前景部分进行生成，在最后一层卷积层前将网络的输入与特征图进行拼接，从而保留背景部分的信息，使得网络能够输出完整的迁移后的图片。一个完整的CycleGAN可以拆分为两个相同的单向网络，互为反向过程。
对于由仿真图生成真实图风格的单向过程可以分为判别器训练与生成器训练两个阶段，在判别器训练阶段，固定生成器GAB参数，从数据集Train_cg中提取图片a，并由其标签得到其掩码图，其中前景部分置为1，背景部分置为0，通过点乘其掩码图，提取出前景，将背景部分置黑，将点乘结果送入生成器GAB中，生成假的真实照片风格的图片fake_b，把fake_b与Train_real中取出的照片b分别送入判别器DB中对判别器进行训练，输入为fake_b时判别器输出与0计算交叉熵，输入为b时判别器输出与1计算交叉熵，将两个交叉熵结果相加，得到判别器损失，来指导判别器DB的训练；生成器训练过程如附图2(a)和图2(b)所示，固定判别器DB的参数，将fake_b送入DB中进行判别，并将判别结果点乘图片a的掩码后与1计算交叉熵损失，得到LGAN(GAB，DB，A，B)，将fake_b与a分别点乘(1-a的掩码图)提取出两者的背景，计算L1损失||GAB(a)b-ab||1，将fake_b经过生成器GBA得到rec_a，并对rec_a的前景与a的前景求L1损失||GBA(GAB(a)f)-af||1，将a进过生成器GBA后得到idt_b与a求L1损失||GBA(a)-a||1，对以上四个损失添加合适的权重后作为GAB的损失。反向过程与其类似。两个生成器采用联合训练，正反过程总损失函数如下，利用总的损失函数共同指导两个生成器的训练。
L(GAB，GBA，DA，DB)＝LGAN(GAB，DB，A，B)+LGAN(GBA，DA，B，A)+αLcyc(GAB，GBA)+βLidt(GAB，GBA)+γLback(GAB，GBA，A，B)
其中：
LGAN(GAB，DB，A，B)＝E[log DB(bf)]+E[log(1-DB(GAB(a)f))]
LGAN(GBA，DA，B，A)＝E[log DA(af)]+E[log(1-DA(GBA(b)f))]
Lcyc(GAB，GBA)＝E[||GBA(GAB(a)f)-af||1]+E[||GAB(GBA(b)f)-bf||1]
Lidt(GAB，GBA，A，B)＝E[||GBA(a)-a||1]+E[||GAB(b)-b||1]
Lback(GAB，GBA，A，B)＝E[||GAB(a)b-ab||1]+E[||GBA(b)b-bb||1]
A表示仿真图片数据集，B表示真实照片数据集；a表示仿真图片数据集中的图片，b表示真实图片数据集中的图片；GAB为由仿真图生成真实照片风格图片的生成器，GBA为其反向过程由真实照片生成仿真图片风格的生成器，DA为判别是否为真实图的判别器，DB为判别是否为仿真图的判别器；下角标为f表示与掩码点乘提取出前景，下角标为b表示与(1-掩码图)点乘提取出背景；E代表期望。α取值500，β取值250，γ取值1。
9、将数据集Train_CG和Train_real分别送入语义分割网络deeplab v3+中进行训练，保存训练后的参数。
10、完成以上步骤之后就可以将语义分割结果代替标签，使用任意的仿真图经过步骤2-6，之后经过CycleGAN中训练好的生成器GAB来得到真实风格的图片，实现批量的快速转换。

Claims (1)

1.一种提高海上场景仿真图片真实度的方法，其特征在于，包括以下步骤：
步骤1：准备数据集，具体为：
准备三个数据集，包括：(1)海上场景仿真图片数据集Train_CG及其标签，要求标签将图片分割为天空，海面，前景目标三部分；(2)真实海面场景照片数据集Train_real及其标签，要求标签将照片分为前景、背景两部分；(3)没有目标的海面照片数据集Train_sea；
步骤2：从Train_sea中随机选取一张样本图片，利用区域增长算法对其进行分割；
步骤3：根据Train_CG的语义标签与Train_sea的分割结果对其进行海天线检测，具体为：从Train_CG与Train_sea中各随机选出一张图片，并对两者分割图中海面部分与天空部分的接触点进行多次采样，得到一组采样点样本，并去除其中的噪声点，之后将样本坐标送入一维线性分类器中进行训练，得到拟合的直线，该直线即检测得到的海天线；
步骤4：根据检测得到的海天线将挑选的两张图片进行对齐，具体为：
首先根据两张图片中检测得到的海天线的斜率，将Train_sea中挑选的海面图片进行相应的旋转，使其斜率保持一致，之后将两张图片的海天线位置对齐，并调整海面图片的大小，将超出仿真图的部分裁剪掉，得到两张海天线位于同一位置，且大小相同的仿真图CG与海面照片Sea；
步骤5：将步骤4得到的仿真图CG与海面照片Sea进行背景部分泊松融合，具体为：
根据仿真图的标签图片，得到仿真图的掩码图，其前景部分为0，背景部分为255，将仿真图CG作为母图，海面照片作为子图，仿真图的掩码图作为掩码，进行泊松融合，得到具有真实海面纹理的仿真图片；
步骤6：将步骤5得到的结果图片经过Reinhard色彩迁移算法改变其色彩风格，具体为：
将步骤5中的结果图与海面照片Sea分别转换为Lab颜色通道，分别计算三个通道的均值与方差，将源图像中每个通道均进行以下所示公式计算，并将计算结果重新转为RGB颜色空间即可得到色彩转换后的图片：
Figure FDA0003876727740000011
其中，p为源图像，m1为源图像的均值，m2为目标图像的均值，d1为源图像的方差，d2为目标图像的方差；
步骤7：循环步骤2-6，将仿真图片数据集Train_CG中所有的图片背景均进行泊松融合与色彩迁移，得到新的数据集Train_cg；
步骤8：将数据集Train_cg与Train_real分别经过深度学习算法CycleGAN进行训练，进行前景部分的风格迁移，具体为：
CycleGAN共具有两个生成器GAB、GBA和两个判别器DA、DB四个网络，每次循环分为前向过程与反向过程，前向过程对GAB与DA进行训练，反向过程对GBA与DB进行训练，其中前向过程可以分为判别器训练与生成器训练两个阶段，在判别器训练阶段，固定生成器GAB参数，从数据集Train_cg中提取图片a，并由其标签得到掩码图，其中前景部分置为1，背景部分置为0，通过点乘其掩码图，提取出前景，将背景部分置黑，将点乘结果送入生成器GAB中，生成假的真实照片风格的图片fake_b，把fake_b与Train_real中取出的照片b分别送入判别器DB中对判别器进行训练，输入为fake_b时判别器输出与0计算交叉熵，输入为b时判别器输出与1计算交叉熵，将两个交叉熵结果相加，得到判别器损失指导判别器DB的训练；在生成器训练阶段，固定判别器DB的参数，将fake_b送入DB中进行判别，并将判别结果点乘图片a的掩码后与1计算交叉熵损失，得到LGAN(GAB，DB，A，B)，将fake_b与a分别点乘提取出两者的背景，计算L1损失||GAB(a)b-ab||1，将fake_b经过生成器GBA得到rec_a，并对rec_a的前景与a的前景求L1损失||GBA(GAB(a)f)-af||1，将a进过生成器GBA后得到idt_b与a求L1损失||GBA(a)-a||1，对以上四个损失添加权重后作为GAB的损失，反向过程训练方式与正向过程相同，两个生成器采用联合训练，利用总的损失函数共同指导两个生成器的训练，正反过程总损失函数具体为：
L(GAB，GBA，DA，DB)＝LGAN(GAB，DB，A，B)+LGAN(GBA，DA，B，A)+αLcyc(GAB，GBA)+βLidt(GAB，GBA)+γLback(GAB，GBA，A，B)
其中：
LGAN(GAB，DB，A，B)＝E[logDB(bf)]+E[log(1-DB(GAB(a)f))]
LGAN(GBA，DA，B，A)＝E[logDA(af)]+E[log(1-DA(GBA(b)f))]
Lcyc(GAB，GBA)＝E[||GBA(GAB(a)f)-af||1]+E[||GAB(GBA(b)f)-bf||1]
Lidt(GAB，GBA，A，B)＝E[||GBA(a)-a||1]+E[||GAB(b)-b||1]
Lback(GAB，GBA，A，B)＝E[||GAB(a)b-ab||1]+E[||GBA(b)b-bb||1]
A表示仿真图片数据集，B表示真实照片数据集；a表示仿真图片数据集中的图片，b表示真实图片数据集中的图片；GAB为由仿真图生成真实照片风格图片的生成器，GBA为其反向过程由真实照片生成仿真图片风格的生成器，DA为判别是否为真实图的判别器，DB为判别是否为仿真图的判别器；下角标为f表示与掩码点乘提取出前景，下角标为b表示与掩码点乘提取出背景；E代表期望，α取值500，β取值250，γ取值1；
步骤9：将数据集Train_CG和Train_real分别送入语义分割网络deeplab v3+中进行训练，保存训练后的参数；
步骤10：将语义分割结果代替标签，使用任意的仿真图经过步骤2-6，之后经过CycleGAN中训练好的生成器GAB来得到真实风格的图片。
CN202011484532.9A 2020-12-15 2020-12-15 一种提高海上场景仿真图片真实度的方法 Active CN112561782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011484532.9A CN112561782B (zh) 2020-12-15 2020-12-15 一种提高海上场景仿真图片真实度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011484532.9A CN112561782B (zh) 2020-12-15 2020-12-15 一种提高海上场景仿真图片真实度的方法

Publications (2)

Publication Number Publication Date
CN112561782A CN112561782A (zh) 2021-03-26
CN112561782B true CN112561782B (zh) 2023-01-03

Family

ID=75064850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011484532.9A Active CN112561782B (zh) 2020-12-15 2020-12-15 一种提高海上场景仿真图片真实度的方法

Country Status (1)

Country Link
CN (1) CN112561782B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870371B (zh) * 2021-12-03 2022-02-15 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质
CN114385883B (zh) * 2021-12-07 2024-03-15 西北大学 一种在风格转换中近似模拟皴法的轮廓增强方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679694A (zh) * 2013-05-29 2014-03-26 哈尔滨工程大学 一种基于全景视觉的舰船小目标检测方法
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN108765278A (zh) * 2018-06-05 2018-11-06 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN111027433A (zh) * 2019-12-02 2020-04-17 哈尔滨工程大学 一种基于卷积神经网络的多重风格人脸特征点检测方法
CN111145116A (zh) * 2019-12-23 2020-05-12 哈尔滨工程大学 一种基于生成对抗网络的海面雨天图像样本增广方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN111415316A (zh) * 2020-03-18 2020-07-14 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成算法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
CN110211192B (zh) * 2019-05-13 2022-09-16 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
WO2020246996A1 (en) * 2019-06-06 2020-12-10 Elekta, Inc. Sct image generation using cyclegan with deformable layers

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679694A (zh) * 2013-05-29 2014-03-26 哈尔滨工程大学 一种基于全景视觉的舰船小目标检测方法
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN108765278A (zh) * 2018-06-05 2018-11-06 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
CN111027433A (zh) * 2019-12-02 2020-04-17 哈尔滨工程大学 一种基于卷积神经网络的多重风格人脸特征点检测方法
CN111145116A (zh) * 2019-12-23 2020-05-12 哈尔滨工程大学 一种基于生成对抗网络的海面雨天图像样本增广方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN111415316A (zh) * 2020-03-18 2020-07-14 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
全景海域图像中的圆形海天线提取;苏丽;《光学学报》;20160727;189-196 *
基于全景海天线提取的海面小目标检测;苏丽 等;《第三十三届中国控制会议论文集（C卷）》;20140728;1384-1388 *
基于残差生成对抗网络的人脸图像复原;李泽文等;《计算机科学》;20200615;全文 *
手写体版面分析和多风格古籍背景融合;田瑶琳等;《计算机辅助设计与图形学学报》;20200711(第07期);全文 *

Also Published As

Publication number Publication date
CN112561782A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
Rudnev et al. Nerf for outdoor scene relighting
Yeh et al. Semantic image inpainting with deep generative models
CN109544442B (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
Tang et al. Lgm: Large multi-view gaussian model for high-resolution 3d content creation
CN115601549B (zh) 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN108986132B (zh) 一种使用全卷积神经网络生成证件照Trimap图的方法
CN111739077A (zh) 基于深度神经网络单目水下图像深度估计和颜色矫正方法
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
CN112561782B (zh) 一种提高海上场景仿真图片真实度的方法
CN107993238A (zh) 一种基于注意力模型的头肩部分图像分割方法及装置
CN111951368B (zh) 一种点云、体素和多视图融合的深度学习方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111583201B (zh) 一种用于构建超分辨率病理显微镜的迁移学习方法
CN103413331B (zh) 一种支持编辑传播的高分辨率视频图像内容稀疏表达方法
CN112906675B (zh) 一种固定场景中的无监督人体关键点检测方法及系统
CN113052759B (zh) 基于mask和自动编码器的场景复杂文本图像编辑方法
CN117094895B (zh) 图像全景拼接方法及其系统
He Application of local color simulation method of landscape painting based on deep learning generative adversarial networks
US20220217321A1 (en) Method of training a neural network configured for converting 2d images into 3d models
CN113065407B (zh) 基于注意力机制和生成对抗网络的财务票据印章擦除方法
Zhang et al. Novel approaches to enhance coral reefs monitoring with underwater image segmentation
CN113436094A (zh) 一种基于多视角注意力机制的灰度图像自动上色方法
CN113538214A (zh) 一种妆容迁移的控制方法、系统和存储介质
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN111582067B (zh) 人脸表情识别方法、系统、存储介质、计算机程序、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant