CN114462486A - 图像处理模型的训练方法、图像处理方法及相关装置 - Google Patents

图像处理模型的训练方法、图像处理方法及相关装置 Download PDF

Info

Publication number
CN114462486A
CN114462486A CN202111622695.3A CN202111622695A CN114462486A CN 114462486 A CN114462486 A CN 114462486A CN 202111622695 A CN202111622695 A CN 202111622695A CN 114462486 A CN114462486 A CN 114462486A
Authority
CN
China
Prior art keywords
image
domain image
generator
source domain
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111622695.3A
Other languages
English (en)
Inventor
韩利丽
陈波扬
朱磊光
毛佳丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111622695.3A priority Critical patent/CN114462486A/zh
Publication of CN114462486A publication Critical patent/CN114462486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理模型的训练方法、图像处理方法及相关装置，图像处理模型包括生成对抗模块，该方法包括：获得源域图像和目标域图像；其中，源域图像由虚拟数据组成，目标域图像由现实数据组成；生成对抗模块包括源域图像对应的第一生成器和目标域图像对应的第二生成器；将源域图像输入第一生成器，获得源域图像对应的第一中间图像；将第一中间图像输入第二生成器，获得源域图像对应的重构源域图像，并确定重构源域图像相对源域图像的第一重构损失；基于第一重构损失对第一生成器和第二生成器中的参数进行调整，获得训练后的生成对抗模块。上述方案，能够提高生成对抗模块将虚拟数据转换成趋近于现实数据的精度。

Description

图像处理模型的训练方法、图像处理方法及相关装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理模型的训练方法、图像处理方法及相关装置。
背景技术
随着人工智能的不断发展，图像处理模型在图像处理上得到了进一步应用，通过图像处理模型能够对图像进行语义分割，从而将图像中的每一个像素关联到一个类别的标签上，从而快速确定图像上目标的类别，但是，在一些获取现实数据较为困难的领域，对图像处理模型进行训练缺乏数据支持，虚拟数据的获取途径相对便捷能够获取到足够的数据，但是，虚拟数据转换成趋近于现实数据时通常不够精确，进而影响对图像处理模型的训练效果。有鉴于此，如何提高生成对抗模块将虚拟数据转换成趋近于现实数据的精度成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种图像处理模型的训练方法、图像处理方法及相关装置，能够提高生成对抗模块将虚拟数据转换成趋近于现实数据的精度。
为解决上述技术问题，本申请第一方面提供一种图像处理模型的训练方法，其中，所述图像处理模型包括生成对抗模块，所述方法包括：获得源域图像和目标域图像；其中，所述源域图像由虚拟数据组成，所述目标域图像由现实数据组成；所述生成对抗模块包括所述源域图像对应的第一生成器和所述目标域图像对应的第二生成器；将所述源域图像输入所述第一生成器，获得所述源域图像对应的第一中间图像；将所述第一中间图像输入所述第二生成器，获得所述源域图像对应的重构源域图像，并确定所述重构源域图像相对所述源域图像的第一重构损失；基于所述第一重构损失对所述第一生成器和所述第二生成器中的参数进行调整，获得训练后的所述生成对抗模块。
为解决上述技术问题，本申请第二方面提供一种图像处理模型的训练方法，其中，所述图像处理模型包括语义分割模块，所述方法包括：获得源域图像和目标域图像；其中，所述源域图像由虚拟数据组成，所述目标域图像由现实数据组成；将所述源域图像转换成第一图像，将所述目标域图像转换成第二图像；其中，所述第一图像的纹理与所述目标域图像一致且所述第一图像的特征与所述源域图像一致，所述第二图像的纹理与所述源域图像一致且所述第二图像的特征与所述目标域图像一致；利用所述第一图像和所述第二图像对所述语义分割模块进行训练，获得训练后的所述语义分割模块。
为解决上述技术问题，本申请第三方面提供一种图像处理方法，包括：获得待处理图像数据；将所述待处理图像数据输入图像处理模型，获得所述待处理图像对应的语义分割结果；其中，所述图像处理模型基于上述第二方面所述的方法获得。
为解决上述技术问题，本申请第四方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面或上述第二方面或上述第三方面所述的方法。
为解决上述技术问题，本申请第五方面提供一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面或上述第二方面或上述第三方面的方法。
上述方案，获得由虚拟数据组成的源域图像和由现实数据组成的目标域图像，图像处理模型中的生成对抗模块包括源域图像对应的第一生成器和目标域图像对应的第二生成器，利用第一生成器将源域图像转换成第一中间图像，以使第一中间图像向趋近于目标域图像进行转换，将第一中间图像输入第二生成器，以使第一中间图像向趋近于源域图像进行转换，从而生成重构源域图像，确定重构源域图像相对源域图像的第一重构损失，基于第一重构损失对第一生成器和第二生成器中的参数进行调整，其中，第一生成器和第二生成器为完全相反的转换方向，两者之间相互作用并进行调整，从而提高生成对抗模块将虚拟数据转换成趋近于现实数据的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请图像处理模型的训练方法一实施方式的流程示意图；
图2是本申请图像处理模型的训练方法一实施方式的拓扑示意图；
图3是本申请图像处理模型的训练方法另一实施方式的流程示意图；
图4是本申请图像处理模型的训练方法又一实施方式的流程示意图；
图5是本申请生成对抗模块训练时对应的一实施方式的拓扑示意图；
图6是本申请生成对抗模块训练时对应的另一实施方式的拓扑示意图；
图7是本申请图像处理模型的训练方法又一实施方式的流程示意图；
图8是本申请图像处理模型的训练方法又一实施方式的流程示意图；
图9是本申请图像处理方法一实施方式的流程示意图；
图10是本申请电子设备一实施方式的结构示意图；
图11是本申请计算机存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像处理模型的训练方法一实施方式的流程示意图，图像处理模型包括生成对抗模块，该方法包括：
S101：获得源域图像和目标域图像，其中，源域图像由虚拟数据组成，目标域图像由现实数据组成，生成对抗模块包括源域图像对应的第一生成器和目标域图像对应的第二生成器。
具体地，对图像处理模型进行训练时存在一些获取现实数据较为困难的领域，例如遥感、自动驾驶、医疗诊断等领域中，遥感图像通常分辨率较低用于图像处理模型训练时训练效果不佳，自动驾驶技术由于不成熟只能由人为代替自动驾驶车辆采集图像，导致图像采集效率低且难以全面覆盖不同路况，医疗诊断领域由于私密性和采集的随机性同样难以获得较为优质的现实数据，由于种种客观因素，在诸多领域难以获得用于对图像处理模型进行训练的训练集。
进一步地，将由虚拟数据组成的数据集作为源域图像，用于作为训练图像处理模型的主要数据来源，将由现实数据组成的数据集作为目标域图像，用于为源域图像提供转换的依据，其中，由于源域图像的数量远超目标域图像且源域图像和目标域图像存在观感上的差异，因此，初始阶段时两域图像之间数据分布不匹配且存在域偏移。
在一应用方式中，采集少量的现实数据组成目标域图像，利用合成数据集获取大量的虚拟数据组成源域图像。其中，一组目标域图像和源域图像属于同一领域，上述领域包括但不限于遥感、自动驾驶和医疗诊断。
S102：将源域图像输入第一生成器，获得源域图像对应的第一中间图像。
具体地，将源域图像输入至第一生成器获得第一中间图像，其中，第一生成器是将源域图像向目标域图像进行转换的，因此期望得到的第一中间图像为纹理与目标域图像接近且特征仍保持源域图像的特征，使经过第一生成器处理的图像能够在图像的风格上与目标域图像趋近，从而能够获取大量的能够用于对图像处理模型进行深度训练的数据，提高模型的训练效果。
S103：将第一中间图像输入第二生成器，获得源域图像对应的重构源域图像，并确定重构源域图像相对源域图像的第一重构损失。
具体地，将第一中间图像输入第二生成器，其中，第二生成器是将目标域图像向源域图像进行转换的，因此期望得到的第二中间图像为纹理与源域图像接近。
进一步地，第二生成器是将目标域图像向源域图像进行转换的，因此，第一中间图像输入至第二生成器时，是对第一中间图像进行逆变，从而获得重构源域图像，对比源域图像和重构源域图像，从而获得第一重构损失。
在一应用场景中，请参阅图2，图2是本申请图像处理模型的训练方法一实施方式的拓扑示意图，将由虚拟数据生成的源域图像输入第一生成器，以使第一生成器将虚拟数据转换成第一中间图像，以使第一中间图像的纹理趋近于目标域图像，也就是将虚拟数据的纹理转换为趋近于现实数据的纹理，为测试第一生成器的转换效果，将第一中间图像输入第二生成器，以使第二生成器将第一中间图像作为类似目标域图像的数据进行转换，从而生成重构源域图像，对比源域图像和重构源域图像在纹理和特征上的相似度，确定重构源域图像相对源域图像的损失。其中，第一生成器和第二生成器为完全相反的转换方向，两者之间相互作用并进行调整，从而提高生成对抗模块将虚拟数据转换成趋近于现实数据的精度。
S104：基于第一重构损失对第一生成器和第二生成器中的参数进行调整，获得训练后的生成对抗模块。
具体地，基于第一重构损失对第一生成器和第二生成器中的参数进行调整，当满足第一重构损失对应的收敛条件后，固定第一生成器和第二生成器中的参数，获得训练后的生成对抗模块。
在一应用方式中，第一重构损失对应有重构损失阈值，当对第一生成器和第二生成器的调整次数满足次数阈值，且第一重构损失小于重构损失阈值时，确定第一生成器和第二生成器中的参数，获得训练后的生成对抗模块，以使源域图像经过生成对抗模块后，将源域图像转换为纹理上趋近于目标域图像且仍保留着源域图像的特征的图像数据，从而能够获得大量能够用于训练的图像数据。
上述方案，获得由虚拟数据组成的源域图像和由现实数据组成的目标域图像，图像处理模型中的生成对抗模块包括源域图像对应的第一生成器和目标域图像对应的第二生成器，利用第一生成器将源域图像转换成第一中间图像，以使第一中间图像向趋近于目标域图像进行转换，将第一中间图像输入第二生成器，以使第一中间图像向趋近于源域图像进行转换，从而生成重构源域图像，确定重构源域图像相对源域图像的第一重构损失，基于第一重构损失对第一生成器和第二生成器中的参数进行调整，其中，第一生成器和第二生成器为完全相反的转换方向，两者之间相互作用并进行调整，从而提高生成对抗模块将虚拟数据转换成趋近于现实数据的精度。
请参阅图3，图3是本申请图像处理模型的训练方法另一实施方式的流程示意图，图像处理模型包括生成对抗模块和语义分割模块，生成对抗模块包括源域图像对应的第一生成器和目标域图像对应的第二生成器，以及源域图像对应的第一鉴别器，该方法包括：
S301：获得源域图像和目标域图像，其中，源域图像由虚拟数据组成，目标域图像由现实数据组成。
具体地，获得由虚拟数据组成的源域图像，以及由现实数据组成的目标域图像，其中，源域图像组成源域图像集，目标域图像组成目标域图像集，源域图像集中图像的数量远超目标域图像集中图像的数量，源域图像可以从虚拟或合成数据集中获取。
进一步地，对源域图像和目标域图像进行预处理，预处理包括但不限于对图像进行旋转、剪切和缩放，以获得更新后的源域图像和目标域图像，从而统一源域图像和目标域图像的尺寸，便于对图像数据进行管理和对比。
在一应用方式中，基于服务器性能和网络输入要求对源域图像和目标域图像进行预处理，当服务器性能低于阈值时，对源域图像和目标域图像进行缩放处理，以统一源域图像和目标域图像的尺寸。
在一应用场景中，当图像处理模型应用于自动驾驶领域时，源域图像从GTA5中获取，目标域图像由摄像装置采集后获取，对源域图像和目标域图像进行缩放以统一源域图像和目标域图像的尺寸。
S302：将源域图像输入第一生成器，获得源域图像对应的第一中间图像。
具体地，将源域图像输入至第一生成器获得第一中间图像，其中，第一生成器是将源域图像向目标域图像进行转换的，因此期望得到的第一中间图像上仍然是源域图像的特征而纹理趋近于目标域图像，也就是画面仍为源域图像的画面而图像风格趋近于目标域图像，从而实现虚拟数据向现实数据的风格迁移，使经过第一生成器处理的图像能够在图像的风格上与目标域图像趋近。
S303：将第一中间图像输入第一鉴别器，获得第一中间图像相对目标域图像的第一生成对抗损失。
具体地，期望得到的第一中间图像为纹理与目标域图像接近，从而第一鉴别器无法判断第一中间图像为虚拟数据，并且同时期望第一中间图像的特征仍保持与源域图像一致，因此将第一中间图像输入至第一鉴别器，以使第一鉴别器对第一中间图像和目标域图像的纹理进行对比，获得第一生成对抗损失，并且，基于第一生成对抗损失可以对第一生成器和第一鉴别器进行调整。
S304：将第一中间图像输入第二生成器，获得源域图像对应的重构源域图像，并确定重构源域图像相对源域图像的第一重构损失。
具体地，将第一中间图像输入第二生成器，获得重构源域图像，其中，第二生成器是将目标域图像向源域图像进行转换的，因此，第一中间图像输入至第二生成器时，是对第一中间图像进行逆变，从而获得重构源域图像，对比源域图像和重构源域图像的相似度，从而获得第一重构损失，并且，基于第一重构对抗损失可以对第一生成器和第一生成器进行调整。
S305：基于第一生成对抗损失对第一生成器和第一鉴别器中的参数进行调整，基于第一重构损失对第一生成器和第二生成器中的参数进行调整，获得训练后的生成对抗模块。
具体地，第一生成对抗损失由第一生成器和第一鉴别器之间产生，基于第一生成对抗损失对第一生成器和第一鉴别器中的参数进行调整，第一重构损失由第一生成器和第二生成器之间产生，基于第一重构损失对第一生成器和第二生成器中的参数进行调整。
进一步地，当第一生成对抗损失和第一重构损失满足收敛条件，获得训练后的生成对抗模块，以使训练后的生成对抗模块通过第一生成器将源域图像转换为风格上与目标域图像一致的图像数据，并且第一鉴别器难以区分源于虚拟数据和源于现实数据的图像数据，从而丰富训练用的数据源。
需要说明的是，当第二生成器经过调整优化后，将目标域图像输入训练后的生成对抗模块中，第二生成器是将目标域图像向源域图像进行转换的，因此，当目标域图像输入训练后的生成对抗模块时，能够获得由目标域图像转换成的风格上与源域图像一致的图像数据。
S306：将源域图像输入训练后的生成对抗模块获得第一图像，以及将目标域图像输入训练后的生成对抗模块获得第二图像。
具体地，第一图像的纹理与目标域图像一致且第一图像的特征与源域图像一致，第二图像的纹理与源域图像一致且第二图像的特征与目标域图像一致。其中，纹理反映图像的风格，特征反映图像的内容，也就是说，将源域图像输入训练后的生成对抗模块，获得风格上和目标域图像保持一致、内容上和源域图像保持一致的第一图像，将目标域图像输入训练后的生成对抗模块，获得风格上和源域图像保持一致、内容上和目标域图像保持一致的第二图像。
进一步地，第一图像的本质内容上还是源域图像但风格类似目标域图像，为类目标域的源域图像，第二图像的本质内容上还是目标域图像但风格类似源域图像，为类源域的目标域图像，从而两域图像之间的数据分布能够更加均匀且从数据层面减少了域偏移。
S307：利用第一图像和第二图像对语义分割模块进行训练，获得训练后的语义分割模块，确定训练后的图像处理模型。
具体地，第一图像基于源域图像获得，由于源域图像的数量较多因此能够获得充足的训练数据，利用第一图像对语义分割模块进行训练，从而获得初步训练后的语义分割模块，利用第二图像对初步训练后的语义分割模块进行微调，从而进一步优化语义分割模块获得训练后的语义分割模块。
在本实施例中，获得由虚拟数据组成的源域图像和由现实数据组成的目标域图像，利用源域图像和目标域图像对生成对抗模块进行训练，以使训练后的生成对抗模块能够将源域图像转换为纹理与目标域图像一致且特征与源域图像一致的第一图像，从而通过将源域图像转换为第一图像，扩充纹理与目标域图像接近的数据，弥补目标域图像不足的问题，从数据层面减少域偏移，以及将目标域图像转换为纹理与源域图像一致且特征与目标域图像一致的第二图像，利用第一图像和第二图像作为混合训练集对语义分割模块进行训练，从而提高语义分割模块对图像进行语义分割时的语义分割精度。
请参阅图4，图4是本申请图像处理模型的训练方法又一实施方式的流程示意图，图像处理模型包括生成对抗模块和语义分割模块，生成对抗模块包括源域图像对应的第一生成器和目标域图像对应的第二生成器，生成对抗模块还包括源域图像对应的第一鉴别器和目标域图像对应的第二鉴别器，该方法包括：
S401：获得源域图像和目标域图像，其中，源域图像由虚拟数据组成，目标域图像由现实数据组成。
具体地，获得由虚拟数据组成的源域图像，以及由现实数据组成的目标域图像，其中，源域图像组成源域图像集，目标域图像组成目标域图像集，源域图像集中图像的数量远超目标域图像集中图像的数量，源域图像可以从虚拟或合成数据集中获取。
S402：将源域图像输入第一生成器，获得源域图像对应的第一中间图像。
具体地，将源域图像输入至第一生成器获得第一中间图像，其中，第一生成器是将源域图像向目标域图像进行转换的，因此期望得到的第一中间图像上仍然是源域图像的特征而纹理趋近于目标域图像。
S403：将第一中间图像输入第二生成器，获得源域图像对应的重构源域图像，并确定重构源域图像相对源域图像的第一重构损失。
具体地，将第一中间图像输入第二生成器，获得重构源域图像，其中，第二生成器是将目标域图像向源域图像进行转换的，因此，第一中间图像输入至第二生成器时，是对第一中间图像进行逆变，从而获得重构源域图像，对比源域图像和重构源域图像的相似度，从而获得第一重构损失。
在一应用场景中，请参阅图5，图5是本申请生成对抗模块训练时对应的一实施方式的拓扑示意图，将第一中间图像输入第二生成器获得重构源域图像，基于源域图像和重构源域图像的相似度，确定第一重构损失。
S404：将目标域图像输入第二生成器，获得目标域图像对应的第二中间图像。
具体地，将目标域图像输入至第二生成器获得第二中间图像，其中，第二生成器是将目标域图像向源域图像进行转换的，因此期望得到的第二中间图像上仍然是目标域图像的特征而纹理趋近于源域图像。
S405：将第二中间图像输入第一生成器，获得目标域图像对应的重构目标域图像，并确定重构目标域图像相对目标域图像的第二重构损失。
具体地，将第二中间图像输入第一生成器，获得重构目标域图像，其中，第一生成器是将源域图像向目标域图像进行转换的，因此，第二中间图像输入至第一生成器时，是对第二中间图像进行逆变，从而获得重构目标域图像，对比目标域图像和重构目标域图像的相似度，从而获得第二重构损失。
在一应用场景中，请参阅图6，图6是本申请生成对抗模块训练时对应的另一实施方式的拓扑示意图，将第二中间图像输入第一生成器获得重构目标域图像，基于目标域图像和重构目标域图像的相似度，确定第二重构损失。
S406：将第一中间图像输入第一鉴别器，获得第一中间图像相对目标域图像的第一生成对抗损失，将第二中间图像输入第二鉴别器，获得第二中间图像相对源域图像的第二生成对抗损失。
具体地，将源域图像输入至第一生成器获得第一中间图像，其中，第一生成器是将源域图像向目标域图像进行转换的，因此期望得到的第一中间图像为纹理与目标域图像接近，从而第一鉴别器无法判断第一中间图像为虚拟数据，并且同时期望第一中间图像的特征仍保持与源域图像一致，因此将第一中间图像输入至第一鉴别器，以使第一鉴别器对第一中间图像和目标域图像的纹理进行对比，获得第一生成对抗损失。
进一步地，将目标域图像输入至第二生成器获得第二中间图像，其中，第二生成器是将目标域图像向源域图像进行转换的，因此期望得到的第二中间图像为纹理与源域图像接近，从而第二鉴别器无法判断第二中间图像为现实数据，并且同时期望第二中间图像的特征仍保持与目标域图像一致，因此将第二中间图像输入至第二鉴别器，以使第二鉴别器对第二中间图像和源域图像的纹理进行对比，获得第二生成对抗损失。
S407：基于第一生成对抗损失、第一重构损失、第二生成对抗损失和第二重构损失，对第一生成器、第二生成器、第一鉴别器和第二鉴别器中的参数进行调整，获得训练后的生成对抗模块。
具体地，第一重构损失和第二重构损失体现了第一生成器和第二生成器两域之间进行图像转换时对特征保留的完整度和精度，第一生成对抗损失体现了第一生成器将源域图像的纹理转换至目标域图像的纹理时的精度，第二生成对抗损失体现了第二生成器将目标域图像的纹理转换至源域图像的纹理时的精度，通过第一生成对抗损失、第一重构损失、第二生成对抗损失和第二重构损失，确定生成对抗模块对应的更加精确的总损失，从而根据总损失对生成对抗模块的参数进行调整，在满足第一收敛条件后，获得训练后的生成对抗模块。
在一应用方式中，基于第一生成对抗损失、第一重构损失、第二生成对抗损失和第二重构损失，对第一生成器、第二生成器、第一鉴别器和第二鉴别器中的参数进行调整，获得训练后的生成对抗模块的步骤，包括：基于第一生成对抗损失、第一重构损失、第二生成对抗损失和第二重构损失，确定生成对抗模块对应的总损失；基于总损失对第一生成器、第二生成器、第一鉴别器和第二鉴别器中的参数进行调整；响应于满足第一收敛条件，获得训练后的生成对抗模块。
具体地，将源域图像输入生成对抗模块以及目标域图像输入生成对抗模块，分别获得源域图像对应的第一生成对抗损失和第一重构损失，以及目标域图像对应的第二生成对抗损失和第二重构损失，进而基于两个数据源分别确定的损失来确定生成对抗模型的总损失，提高总损失的精度，基于总损失对第一生成器、第二生成器、第一鉴别器和第二鉴别器中的参数进行调整，直至满足生成对抗模块对应的第一收敛条件，从而将第一生成器、第二生成器、第一鉴别器和第二鉴别器中的参数固定，获得训练后的生成对抗模块。
在一具体应用场景中，基于第一生成对抗损失、第一重构损失、第二生成对抗损失和第二重构损失，确定生成对抗模块对应的总损失的步骤，包括：对第一生成对抗损失和第二生成对抗损失进行加权求和，并与第一重构损失和第二重构损失相加，从而确定生成对抗模块对应的总损失。上述过程利用公式表示如下：
Figure BDA0003438691240000121
Figure BDA0003438691240000122
其中，L(G,D,R)表示生成对抗模块对应的总损失，L(G,D)表示总的生成对抗损失，
Figure BDA0003438691240000123
表示第一生成对抗损失，
Figure BDA0003438691240000124
表示第二生成对抗损失，LR表示总的重构损失，λ和μ分别为源域图像生成对抗损失系数和目标域图像生成对抗系数，λ和μ相加为1。
进一步地，第一生成对抗损失和第二生成对抗损失通过最大化鉴别器损失和最小化生成器损失获得，以使优化后的第一生成器生成的第一中间图像能够使第一鉴别器难以通过纹理与目标域图像进行区分，并且优化后的第二生成器生成的第二中间图像能够使第二鉴别器难以通过纹理与源域图像进行区分，从而减少两域数据集之间的域偏移，使两域数据集之间的数据分布更均衡。
S408：将源域图像输入训练后的生成对抗模块获得第一图像，以及将目标域图像输入训练后的生成对抗模块获得第二图像。
具体地，第一图像的纹理与目标域图像一致且第一图像的特征与源域图像一致，第二图像的纹理与源域图像一致且第二图像的特征与目标域图像一致。其中，纹理反映图像的风格，特征反映图像的内容，也就是说，将源域图像输入训练后的生成对抗模块，获得风格上和目标域图像保持一致、内容上和源域图像保持一致的第一图像，将目标域图像输入训练后的生成对抗模块，获得风格上和源域图像保持一致、内容上和目标域图像保持一致的第二图像。
进一步地，第一图像的本质内容上还是源域图像但风格类似目标域图像，为类目标域的源域图像，第二图像的本质内容上还是目标域图像但风格类似源域图像，为类源域的目标域图像，从而两域图像之间的数据分布能够更加均匀且从数据层面减少了域偏移。
S409：利用第一图像和第二图像对语义分割模块进行训练，获得训练后的语义分割模块，确定训练后的图像处理模型。
在一应用方式中，在第一图像中设置不同类别的目标各自对应的真实标签，其中，第一图像对应的真实标签与源域图像中的真实标签相匹配，在第二图像中设置不同类别的目标各自对应的真实标签，其中，第二图像对应的真实标签与目标域图像中的真实标签相匹配，将第一图像组组成的训练集输入语义分割模块，以使语义分割模块在输入的图像上识别目标，并将同一类别的目标对应的像素设置为同一颜色，从而比较语义分割模块输出的图像与输入的第一图像的差异，基于差异对语义分割模块的参数进行调整，当满足收敛条件后获得初步训练后的语义分割模块。进而，将第二图像输入初步训练后的语义分割模块，以利用少量的第二图像对初步训练后的语义分割模块进行微调，从而基于两种类型的训练数据对语义分割模块进行训练，提高训练后的语义分割模块进行语义分割的语义分割精度。
在本实施例中，获得由虚拟数据组成的源域图像和由现实数据组成的目标域图像，将源域图像输入生成对抗模块以及目标域图像输入生成对抗模块，分别获得源域图像对应的第一生成对抗损失和第一重构损失，以及目标域图像对应的第二生成对抗损失和第二重构损失，进而基于两个数据源分别确定的损失来确定生成对抗模型的总损失，提高总损失的精度，基于总损失对生成对抗模块中的参数进行调整，以使训练后的生成对抗模块能够将源域图像转换为纹理与目标域图像一致且特征与源域图像一致的第一图像，从而通过将源域图像转换为第一图像，扩充纹理与目标域图像接近的数据，弥补目标域图像不足的问题，从数据层面减少域偏移，以及将目标域图像转换为纹理与源域图像一致且特征与目标域图像一致的第二图像，利用第一图像和第二图像作为混合训练集对语义分割模块进行训练，从而提高语义分割模块对图像进行语义分割时的语义分割精度。
请参阅图7，图7是本申请图像处理模型的训练方法又一实施方式的流程示意图，图像处理模型包括语义分割模块，该方法包括：
S701：获得源域图像和目标域图像，其中，源域图像由虚拟数据组成，目标域图像由现实数据组成。
具体地，对图像处理模型进行训练时存在一些获取现实数据较为困难的领域，例如遥感、自动驾驶、医疗诊断等领域中，遥感图像通常分辨率较低用于图像处理模型训练时训练效果不佳，自动驾驶技术由于不成熟只能由人为代替自动驾驶车辆采集图像，导致图像采集效率低且难以全面覆盖不同路况，医疗诊断领域由于私密性和采集的随机性同样难以获得较为优质的现实数据，由于种种客观因素，在诸多领域难以获得用于对图像处理模型进行训练的训练集。
进一步地，将由虚拟数据组成的数据集作为源域图像，用于作为训练图像处理模型的主要数据来源。其中，由于源域图像的数量远超目标域图像且源域图像和目标域图像存在观感上的差异，因此，初始阶段时两域图像之间数据分布不匹配且存在域偏移。
S702：将源域图像转换成第一图像，将目标域图像转换成第二图像，其中，第一图像的纹理与目标域图像一致且第一图像的特征与源域图像一致，第二图像的纹理与源域图像一致且第二图像的特征与目标域图像一致。
具体地，将源域图像转换为纹理与目标域图像一致且特征与源域图像一致的第一图像，将目标域图像转换为纹理与源域图像一致且特征与目标域图像一致的第二图像。
进一步地，第一图像的本质内容上还是源域图像但风格类似目标域图像，为类目标域的源域图像，第二图像的本质内容上还是目标域图像但风格类似源域图像，为类源域的目标域图像，从而两域图像之间的数据分布能够更加均匀且从数据层面减少了域偏移，并且对于无法获取足够现实数据的领域，则可以利用第一图像对语义分割模型进行训练。
S703：利用第一图像和第二图像对语义分割模块进行训练，获得训练后的语义分割模块。
具体地，第一图像基于源域图像获得，由于源域图像的数量较多因此能够获得充足的训练数据，利用第一图像对语义分割模块进行训练，从而获得初步训练后的语义分割模块，利用第二图像对初步训练后的语义分割模块进行微调，从而进一步优化语义分割模块获得训练后的语义分割模块。其中，第一图像和第二图像标注有真实标签。
在一应用方式中，首先利用大量的第一图像对语义分割模块进行训练，将第一图像输入语义分割模块，获得第一标签预测图像，利用交叉熵损失作为第一标签预测图像上的预测标签相对第一图像的真实标签的损失，基于损失对语义分割模块进行调整，进而利用少量的第二模型对调整后的语义分割模块进行优化，将第二图像输入调整后的语义分割模块，获得第二标签预测图像，利用交叉熵损失作为第二标签预测图像上的预测标签相对第二图像的真实标签的损失，基于损失对语义分割模块进行调整，从而获得对两域图像进行语义分割都更加精确的语义分割模块。
在一应用场景中，语义分割模块中利用大卷积核替代已有的小卷积核，从而扩大语义分割模块的分割范围并提高分割精度。
上述方案，获得由虚拟数据组成的源域图像和由现实数据组成的目标域图像，将源域图像转换为第一图像将目标域图像转换为第二图像，其中，第一图像的纹理与目标域图像一致且第一图像的特征与源域图像一致，第二图像的纹理与源域图像一致且第二图像的特征与目标域图像一致，以使虚拟数据和现实数据之间能够在风格上互相转换，减少域偏移，利用第一图像对语义分割模块进行训练，从而获得初步训练后的语义分割模块，利用第二图像对初步训练后的语义分割模块进行微调，从而获得对两域图像进行语义分割都更加精确的语义分割模块。
请参阅图8，图8是本申请图像处理模型的训练方法又一实施方式的流程示意图，图像处理模型包括生成对抗模块和语义分割模块，生成对抗模块包括源域图像对应的第一生成器和第一鉴别器，以及目标域图像对应的第二生成器和第二鉴别器，该方法包括：
S801：获得源域图像和目标域图像，其中，源域图像由虚拟数据组成，目标域图像由现实数据组成。
具体地，获得由虚拟数据组成的源域图像，以及由现实数据组成的目标域图像，其中，源域图像组成源域图像集，目标域图像组成目标域图像集，源域图像集中图像的数量远超目标域图像集中图像的数量，源域图像可以从虚拟或合成数据集中获取。
进一步地，对源域图像和目标域图像进行预处理，预处理包括但不限于对图像进行旋转、剪切和缩放，以获得更新后的源域图像和目标域图像，从而统一源域图像和目标域图像的尺寸，便于对图像数据进行管理和对比。
在一应用方式中，基于服务器性能和网络输入要求对源域图像和目标域图像进行预处理，当服务器性能低于阈值时，对源域图像和目标域图像进行缩放处理，以统一源域图像和目标域图像的尺寸。
在一应用场景中，当图像处理模型应用于自动驾驶领域时，源域图像从GTA5中获取，目标域图像由摄像装置采集后获取，对源域图像和目标域图像进行缩放以统一源域图像和目标域图像的尺寸。
S802：提取源域图像和目标域图像的共同类别，统一源域图像和目标域图像中共同类别对应的标签，其中，共同类别为源域图像和目标域图像中共同包含的目标的种类。
具体地，获取源域图像和目标域图像中的共同类别，为源域图像和目标域图像中的共同类型设置相同的标签，从而使源域图像和目标域图像的标签统一，以便于后续对语义分割模块进行训练时，以统一的标签作为参照，提高语义分割模块训练时的精度，其中，当应用于自动驾驶领域时，目标的种类包括但不限于行人、车辆、道路、树木、建筑和天空，在其他领域也可自定义设置目标的种类。
S803：利用源域图像和目标域图像对生成对抗模块进行训练，获得训练后的生成对抗模块。
具体地，源域图像对应有第一生成器和第一鉴别器，目标域图像对应有第二生成器和第二鉴别器，将源域图像输入第一生成器并经过第一鉴别器获取第一生成对抗损失，将目标域图像输入第二生成器并经过第二鉴别器获取第二生成对抗损失，根据第一生成对抗损失和第二生成对抗损失对第一生成器、第一鉴别器、第二生成器和第二鉴别器的参数进行调整，经过重复训练后直至满足收敛条件获得训练后的生成对抗模块。
在一应用方式中，生成对抗模块包括源域图像对应的第一生成器和第一鉴别器，以及目标域图像对应的第二生成器和第二鉴别器；利用源域图像和目标域图像对生成对抗模块进行训练，获得训练后的生成对抗模块的步骤，包括：利用源域图像和目标域图像对第一生成器、第一鉴别器、第二生成器和第二鉴别器进行训练，获得训练后的生成对抗模块。
具体地，生成对抗模块由两组生成器和鉴别器组成，其中源域图像对应有第一生成器和第一鉴别器，目标域图像对应有第二生成器和第二鉴别器，利用源域图像对第一生成器和第一鉴别器进行训练，利用目标域图像对第二生成器和第二鉴别器进行训练，从而提高每组生成器和鉴别器对图像处理和鉴别的能力，从而确定生成对抗模块的参数。
在一应用场景中，将源域图像输入第一生成器，获得源域图像对应的第一中间图像；以及将目标域图像输入第二生成器，获得目标域图像对应的第二中间图像；将第一中间图像输入第一鉴别器，获得第一中间图像相对目标域图像的第一生成对抗损失，将第一中间图像输入第二生成器获得重构源域图像，并确定重构源域图像相对源域图像的第一重构损失；以及，将第二中间图像输入第二鉴别器，获得第二中间图像相对源域图像的第二生成对抗损失，将第二中间图像输入第一生成器获得重构目标域图像，并确定重构目标域图像相对目标域图像的第二重构损失；基于第一生成对抗损失、第一重构损失、第二生成对抗损失和第二重构损失，对第一生成器、第二生成器、第一鉴别器和第二鉴别器中的参数进行调整，获得训练后的生成对抗模块。
具体地，将源域图像输入至第一生成器获得第一中间图像，其中，第一生成器是将源域图像向目标域图像进行转换的，因此期望得到的第一中间图像为纹理与目标域图像接近，从而第一鉴别器无法判断第一中间图像为虚拟数据，并且同时期望第一中间图像的特征仍保持与源域图像一致，因此将第一中间图像输入至第一鉴别器，以使第一鉴别器对第一中间图像和目标域图像的纹理进行对比，获得第一生成对抗损失，将第一中间图像输入第二生成器，获得重构源域图像，其中，第二生成器是将目标域图像向源域图像进行转换的，因此，第一中间图像输入至第二生成器时，是对第一中间图像进行逆变，从而获得重构源域图像，对比源域图像和重构源域图像的相似度，从而获得第一重构损失。
进一步地，将目标域图像输入至第二生成器获得第二中间图像，其中，第二生成器是将目标域图像向源域图像进行转换的，因此期望得到的第二中间图像为纹理与源域图像接近，从而第二鉴别器无法判断第二中间图像为现实数据，并且同时期望第二中间图像的特征仍保持与目标域图像一致，因此将第二中间图像输入至第二鉴别器，以使第二鉴别器对第二中间图像和源域图像的纹理进行对比，获得第二生成对抗损失，将第二中间图像输入第一生成器，获得重构目标域图像，其中，第一生成器是将源域图像向目标域图像进行转换的，因此，第二中间图像输入至第一生成器时，是对第二中间图像进行逆变，从而获得重构目标域图像，对比目标域图像和重构目标域图像的相似度，从而获得第二重构损失。
其中，第一重构损失和第二重构损失体现了第一生成器和第二生成器两域之间进行图像转换时对特征保留的完整度和精度，第一生成对抗损失体现了第一生成器将源域图像的纹理转换至目标域图像的纹理时的精度，第二生成对抗损失体现了第二生成器将目标域图像的纹理转换至源域图像的纹理时的精度，通过第一生成对抗损失、第一重构损失、第二生成对抗损失和第二重构损失，确定生成对抗模块对应的更加精确的总损失，从而根据总损失对生成对抗模块的参数进行调整，在满足第一收敛条件后，获得训练后的生成对抗模块。
在一具体应用场景中，基于第一生成对抗损失、第一重构损失、第二生成对抗损失和第二重构损失，确定生成对抗模块对应的总损失的步骤，包括：对第一生成对抗损失和第二生成对抗损失进行加权求和，并与第一重构损失和第二重构损失相加，从而确定生成对抗模块对应的总损失。其中，上述过程可参见上述实施例中的公式(1)和公式(2)，在此不再赘述。
进一步地，第一生成对抗损失和第二生成对抗损失通过最大化鉴别器损失和最小化生成器损失获得，以使优化后的第一生成器生成的第一中间图像能够使第一鉴别器难以通过纹理与目标域图像进行区分，并且优化后的第二生成器生成的第二中间图像能够使第二鉴别器难以通过纹理与源域图像进行区分，从而减少两域数据集之间的域偏移，使两域数据集之间的数据分布更均衡。
S804：将源域图像输入训练后的生成对抗模块获得第一图像，以及将目标域图像输入训练后的生成对抗模块获得第二图像。
具体地，第一图像的纹理与目标域图像一致且第一图像的特征与源域图像一致，第二图像的纹理与源域图像一致且第二图像的特征与目标域图像一致。其中，纹理反映图像的风格，特征反映图像的内容，也就是说，将源域图像输入训练后的生成对抗模块，获得风格上和目标域图像保持一致、内容上和源域图像保持一致的第一图像，将目标域图像输入训练后的生成对抗模块，获得风格上和源域图像保持一致、内容上和目标域图像保持一致的第二图像。
进一步地，第一图像的本质内容上还是源域图像但风格类似目标域图像，为类目标域的源域图像，第二图像的本质内容上还是目标域图像但风格类似源域图像，为类源域的目标域图像，从而两域图像之间的数据分布能够更加均匀且从数据层面减少了域偏移。
S805：基于源域图像中共同类别对应的标签，确定第一图像的真实标签，基于目标域图像中共同类别对应的标签，确定第二图像的真实标签。
具体地，在第一图像中基于源域图像中共同类别对应的标签确定第一图像的真实标签，在第二图像中基于目标域图像中共同类别对应的标签确定第二图像的真实标签，也就是在第一图像和第二图像上分别对每种类别的目标分别设置与目标的类别对应的标签。
S806：将第一图像和第二图像分别输入语义分割模块，获得输出图像，并基于输出图像上的预测标签与对应的真实标签之间的损失，对语义分割模块中的参数进行调整。
具体地，将第一图像和第二图像分别输入语义分割模块，从而获得输出图像，获取输出图像上的预测标签与输入的第一图像或第二图像上对应的真实标签之间的损失，从而基于该损失对语义分割模块中的参数进行调整。
进一步，通过将语义分割模块和生成对抗模块分别单独训练，在完成生成对抗模块的训练后，利用生成对抗模块生成的第一图像和第二图像作为混合训练集对语义分割模块进行训练，从而提高语义分割模块在图像上对像素进行分类的精度，使语义分割模块能够判断出目标的类别给出目标对应的准确标签，将同一类别的目标对应的像素设置为同一颜色。
在一应用方式中，将第一图像输入语义分割模块，获得第一标签预测图像；基于第一标签预测图像上的预测标签相对第一图像的真实标签的损失，对语义分割模块中的参数进行调整；将第二图像输入调整后的语义分割模块，获得第二标签预测图像；基于第二标签预测图像上的预测标签相对第二图像的真实标签的损失，对语义分割模块中的参数进行调整。
具体地，首先利用大量的第一图像对语义分割模块进行训练，将第一图像输入语义分割模块，获得第一标签预测图像，利用交叉熵损失作为第一标签预测图像上的预测标签相对第一图像的真实标签的损失，基于损失对语义分割模块进行调整，进而利用少量的第二模型对调整后的语义分割模块进行优化，将第二图像输入调整后的语义分割模块，获得第二标签预测图像，利用交叉熵损失作为第二标签预测图像上的预测标签相对第二图像的真实标签的损失，基于损失对语义分割模块进行调整，从而获得对两域图像进行语义分割都更加精确的语义分割模块。
在一应用场景中，语义分割模块中利用大卷积核替代已有的小卷积核，从而扩大语义分割模块的分割范围并提高分割精度。
S807：响应于满足第二收敛条件，获得训练后的语义分割模块。
具体地，当满足预设的第二收敛条件，获得训练后的语义分割模块。
在一应用方式中，将第一图像和第二图像分别输入语义分割模块对语义分割模块进行训练，当第一图像和第二图像依次输入语义分割模块后作为一次循环，对语义分割模块在多次循环中迭代更新直至语义分割模块的语义分割精度满足收敛条件得到训练后的语义分割模块。
在本实施例中，将源域图像输入第一生成器藉由第一鉴别器获得第一生成对抗损失，将目标域图像输入第二生成器藉由第二鉴别器获得第二生成对抗损失，同时获取源域图像和目标域图像重构后的第一重构损失和第二重构损失，从而得到生成对抗模块对应的总损失，完成生成对抗模块的训练后，将源域图像和目标域图像分别输入训练后的生成对抗模块，获得第一图像和第二图像，再利用第一图像和第二图像分别对语义分割模块进行训练，提高语义分割模块进行语义分割的语义分割精度。
请参阅图9，图9是本申请图像处理方法一实施方式的流程示意图，该方法包括：
S901：获得待处理图像数据。
具体地，获取包括待处理目标的待处理图像数据。其中，待处理目标的类别包括在上述实施例中的源域图像和目标域图像的共同类别之中。
S902：将待处理图像数据输入语义分割模块，获得待处理图像对应的语义分割结果。
具体地，语义分割模块基于上述任一实施例中所述的方法获得。训练后的语义分割模块能够对由虚拟数据组成的图像数据或者由现实数据组成的图像数据进行语义分割，且获得较为精确的语义分割结果。
请参阅图10，图10是本申请电子设备一实施方式的结构示意图，该电子设备100包括相互耦接的存储器1001和处理器1002，其中，存储器1001存储有程序数据(图未示)，处理器1002调用程序数据以实现上述任一实施例中的图像处理模型的训练方法或图像处理方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
请参阅图11，图11是本申请计算机存储介质一实施方式的结构示意图，该计算机存储介质110存储有程序数据1100，该程序数据1100被处理器执行时实现上述任一实施例中的图像处理模型的训练方法或图像处理方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种图像处理模型的训练方法，其特征在于，所述图像处理模型包括生成对抗模块，所述方法包括：
获得源域图像和目标域图像；其中，所述源域图像由虚拟数据组成，所述目标域图像由现实数据组成；所述生成对抗模块包括所述源域图像对应的第一生成器和所述目标域图像对应的第二生成器；
将所述源域图像输入所述第一生成器，获得所述源域图像对应的第一中间图像；
将所述第一中间图像输入所述第二生成器，获得所述源域图像对应的重构源域图像，并确定所述重构源域图像相对所述源域图像的第一重构损失；
基于所述第一重构损失对所述第一生成器和所述第二生成器中的参数进行调整，获得训练后的所述生成对抗模块。
2.根据权利要求1所述的图像处理模型的训练方法，其特征在于，所述生成对抗模块还包括所述源域图像对应的第一鉴别器；
所述将所述源域图像输入所述第一生成器，获得所述源域图像对应的第一中间图像的步骤之后，还包括：
将所述第一中间图像输入所述第一鉴别器，获得所述第一中间图像相对所述目标域图像的第一生成对抗损失；
所述基于所述第一重构损失对所述第一生成器和所述第二生成器中的参数进行调整，获得训练后的所述生成对抗模块的步骤，包括：
基于所述第一生成对抗损失对所述第一生成器和所述第一鉴别器中的参数进行调整，基于所述第一重构损失对所述第一生成器和所述第二生成器中的参数进行调整，获得训练后的所述生成对抗模块。
3.根据权利要求1所述的图像处理模型的训练方法，其特征在于，所述生成对抗模块还包括所述源域图像对应的第一鉴别器和所述目标域图像对应的第二鉴别器；
所述将所述第一中间图像输入所述第二生成器，获得所述源域图像对应的重构源域图像，并确定所述重构源域图像相对所述源域图像的第一重构损失的步骤之后，还包括：
将所述目标域图像输入所述第二生成器，获得所述目标域图像对应的第二中间图像；
将所述第二中间图像输入所述第一生成器，获得所述目标域图像对应的重构目标域图像，并确定所述重构目标域图像相对所述目标域图像的第二重构损失；
将所述第一中间图像输入所述第一鉴别器，获得所述第一中间图像相对所述目标域图像的第一生成对抗损失，将所述第二中间图像输入所述第二鉴别器，获得所述第二中间图像相对所述源域图像的第二生成对抗损失；
所述基于所述第一重构损失对所述第一生成器和所述第二生成器中的参数进行调整，获得训练后的所述生成对抗模块的步骤，包括：
基于所述第一生成对抗损失、所述第一重构损失、所述第二生成对抗损失和所述第二重构损失，对所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器中的参数进行调整，获得训练后的所述生成对抗模块。
4.根据权利要求3所述的图像处理模型的训练方法，其特征在于，所述基于所述第一生成对抗损失、所述第一重构损失、所述第二生成对抗损失和所述第二重构损失，对所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器中的参数进行调整，获得训练后的所述生成对抗模块的步骤，包括：
基于所述第一生成对抗损失、所述第一重构损失、所述第二生成对抗损失和所述第二重构损失，确定所述生成对抗模块对应的总损失；
基于所述总损失对所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器中的参数进行调整；
响应于满足第一收敛条件，获得训练后的所述生成对抗模块。
5.根据权利要求4所述的图像处理模型的训练方法，其特征在于，所述基于所述第一生成对抗损失、所述第一重构损失、所述第二生成对抗损失和所述第二重构损失，确定所述生成对抗模块对应的总损失的步骤，包括：
对所述第一生成对抗损失和所述第二生成对抗损失进行加权求和，并与所述第一重构损失和所述第二重构损失相加，从而确定所述生成对抗模块对应的总损失。
6.根据权利要求1-5中任一项所述的图像处理模型的训练方法，其特征在于，所述图像处理模型还包括语义分割模块；
所述获得训练后的所述生成对抗模块的步骤之后，还包括：
将所述源域图像输入训练后的所述生成对抗模块获得第一图像，以及将所述目标域图像输入训练后的所述生成对抗模块获得第二图像；其中，所述第一图像的纹理与所述目标域图像一致且所述第一图像的特征与所述源域图像一致，所述第二图像的纹理与所述源域图像一致且所述第二图像的特征与所述目标域图像一致；
利用所述第一图像和所述第二图像对所述语义分割模块进行训练，获得训练后的所述语义分割模块，确定训练后的所述图像处理模型。
7.一种图像处理模型的训练方法，其特征在于，所述图像处理模型包括语义分割模块，所述方法包括：
获得源域图像和目标域图像；其中，所述源域图像由虚拟数据组成，所述目标域图像由现实数据组成；
将所述源域图像转换成第一图像，将所述目标域图像转换成第二图像；其中，所述第一图像的纹理与所述目标域图像一致且所述第一图像的特征与所述源域图像一致，所述第二图像的纹理与所述源域图像一致且所述第二图像的特征与所述目标域图像一致；
利用所述第一图像和所述第二图像对所述语义分割模块进行训练，获得训练后的所述语义分割模块。
8.根据权利要求7所述的图像处理模型的训练方法，其特征在于，所述获得源域图像和目标域图像的步骤之后，还包括：
提取所述源域图像和所述目标域图像的共同类别，统一所述源域图像和所述目标域图像中所述共同类别对应的标签；其中，所述共同类别为所述源域图像和所述目标域图像中共同包含的目标的种类。
9.根据权利要求8所述的图像处理模型的训练方法，其特征在于，所述利用所述第一图像和所述第二图像对所述语义分割模块进行训练，获得训练后的所述语义分割模块的步骤，包括：
基于源域图像中所述共同类别对应的标签，确定所述第一图像的真实标签，基于所述目标域图像中所述共同类别对应的标签，确定所述第二图像的真实标签；
将所述第一图像和所述第二图像分别输入所述语义分割模块，获得输出图像，并基于输出图像上的预测标签与对应的真实标签之间的损失，对所述语义分割模块中的参数进行调整；
响应于满足第二收敛条件，获得训练后的所述语义分割模块。
10.根据权利要求9所述的图像处理模型的训练方法，其特征在于，所述将所述第一图像和所述第二图像分别输入所述语义分割模块，获得输出图像，并基于输出图像上的预测标签与对应的真实标签之间的损失，对所述语义分割模块中的参数进行调整的步骤，包括：
将所述第一图像输入所述语义分割模块，获得第一标签预测图像；
基于所述第一标签预测图像上的预测标签相对所述第一图像的真实标签的损失，对所述语义分割模块中的参数进行调整；
将所述第二图像输入调整后的所述语义分割模块，获得第二标签预测图像；
基于所述第二标签预测图像上的预测标签相对所述第二图像的真实标签的损失，对所述语义分割模块中的参数进行调整。
11.根据权利要求7所述的图像处理模型的训练方法，其特征在于，所述图像处理模型还包括生成对抗模块；
所述利用所述第一图像和所述第二图像对所述语义分割模块进行训练，获得训练后的所述语义分割模块的步骤之前，还包括：
利用所述源域图像和所述目标域图像对所述生成对抗模块进行训练，获得训练后的所述生成对抗模块；
所述将所述源域图像转换成第一图像，将所述目标域图像转换成第二图像的步骤，包括：
将所述源域图像输入训练后的所述生成对抗模块获得所述第一图像，以及将所述目标域图像输入训练后的所述生成对抗模块获得所述第二图像。
12.根据权利要求11所述的图像处理模型的训练方法，其特征在于，
所述生成对抗模块包括所述源域图像对应的第一生成器和第一鉴别器，以及所述目标域图像对应的第二生成器和第二鉴别器；
所述利用所述源域图像和所述目标域图像对所述生成对抗模块进行训练，获得训练后的所述生成对抗模块的步骤，包括：
利用所述源域图像和所述目标域图像对所述第一生成器、所述第一鉴别器、所述第二生成器和所述第二鉴别器进行训练，获得训练后的所述生成对抗模块。
13.根据权利要求12所述的图像处理模型的训练方法，其特征在于，所述利用所述源域图像和所述目标域图像对所述第一生成器、所述第一鉴别器、所述第二生成器和所述第二鉴别器进行训练，获得训练后的所述生成对抗模块的步骤，包括：
将所述源域图像输入所述第一生成器，获得所述源域图像对应的第一中间图像；以及将所述目标域图像输入所述第二生成器，获得所述目标域图像对应的第二中间图像；
将所述第一中间图像输入所述第一鉴别器，获得所述第一中间图像相对所述目标域图像的第一生成对抗损失，将所述第一中间图像输入所述第二生成器获得重构源域图像，并确定所述重构源域图像相对所述源域图像的第一重构损失；以及，
将所述第二中间图像输入所述第二鉴别器，获得所述第二中间图像相对所述源域图像的第二生成对抗损失，将所述第二中间图像输入所述第一生成器获得重构目标域图像，并确定所述重构目标域图像相对所述目标域图像的第二重构损失；
基于所述第一生成对抗损失、所述第一重构损失、所述第二生成对抗损失和所述第二重构损失，对所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器中的参数进行调整，获得训练后的所述生成对抗模块。
14.一种图像处理方法，其特征在于，所述方法包括：
获得待处理图像数据；
将所述待处理图像数据输入语义分割模块，获得所述待处理图像对应的语义分割结果；其中，所述语义分割模块基于权利要求7-13中任一项所述的方法获得。
15.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-6或7-13或14中任一项所述的方法。
16.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-6或7-13或14中任一项所述的方法。
CN202111622695.3A 2021-12-28 2021-12-28 图像处理模型的训练方法、图像处理方法及相关装置 Pending CN114462486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111622695.3A CN114462486A (zh) 2021-12-28 2021-12-28 图像处理模型的训练方法、图像处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111622695.3A CN114462486A (zh) 2021-12-28 2021-12-28 图像处理模型的训练方法、图像处理方法及相关装置

Publications (1)

Publication Number Publication Date
CN114462486A true CN114462486A (zh) 2022-05-10

Family

ID=81407329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111622695.3A Pending CN114462486A (zh) 2021-12-28 2021-12-28 图像处理模型的训练方法、图像处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN114462486A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743074A (zh) * 2022-06-13 2022-07-12 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN116127854A (zh) * 2023-03-15 2023-05-16 上海计算机软件技术开发中心 一种自动驾驶虚拟测试场景生成方法、系统及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743074A (zh) * 2022-06-13 2022-07-12 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN114743074B (zh) * 2022-06-13 2022-09-09 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN116127854A (zh) * 2023-03-15 2023-05-16 上海计算机软件技术开发中心 一种自动驾驶虚拟测试场景生成方法、系统及设备
CN116127854B (zh) * 2023-03-15 2024-01-09 上海计算机软件技术开发中心 一种自动驾驶虚拟测试场景生成方法、系统及设备

Similar Documents

Publication Publication Date Title
US10019652B2 (en) Generating a virtual world to assess real-world video analysis performance
Marcu et al. SafeUAV: Learning to estimate depth and safe landing areas for UAVs from synthetic data
CN110766038B (zh) 无监督式的地貌分类模型训练和地貌图构建方法
CN111079685A (zh) 一种3d目标检测方法
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN114462486A (zh) 图像处理模型的训练方法、图像处理方法及相关装置
CN103049340A (zh) 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
Shi et al. Improving 3d-aware image synthesis with a geometry-aware discriminator
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
Li et al. Self-supervised coarse-to-fine monocular depth estimation using a lightweight attention module
Cui et al. Remote sensing image recognition based on dual-channel deep learning network
Zhang et al. DSC-MVSNet: attention aware cost volume regularization based on depthwise separable convolution for multi-view stereo
Jiang et al. Pixel-wise content attention learning for single-image deraining of autonomous vehicles
CN117593702A (zh) 远程监控方法、装置、设备及存储介质
Polasek et al. Vision UFormer: Long-range monocular absolute depth estimation
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
Henderson et al. Unsupervised video prediction from a single frame by estimating 3d dynamic scene structure
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
Lee et al. SAM-net: LiDAR depth inpainting for 3D static map generation
Zhang et al. Pose-free neural radiance fields via implicit pose regularization
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
Shen et al. Graph-Represented Distribution Similarity Index for Full-Reference Image Quality Assessment
Tran et al. Encoder–decoder network with guided transmission map: Robustness and applicability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination