CN115082299B - 非严格对齐的小样本不同源图像转换方法、系统及设备 - Google Patents

非严格对齐的小样本不同源图像转换方法、系统及设备 Download PDF

Info

Publication number
CN115082299B
CN115082299B CN202210857769.XA CN202210857769A CN115082299B CN 115082299 B CN115082299 B CN 115082299B CN 202210857769 A CN202210857769 A CN 202210857769A CN 115082299 B CN115082299 B CN 115082299B
Authority
CN
China
Prior art keywords
image
type
class
images
image conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210857769.XA
Other languages
English (en)
Other versions
CN115082299A (zh
Inventor
杨明浩
张晓凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210857769.XA priority Critical patent/CN115082299B/zh
Publication of CN115082299A publication Critical patent/CN115082299A/zh
Application granted granted Critical
Publication of CN115082299B publication Critical patent/CN115082299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像转换技术领域，具体涉及了一种非严格对齐的小样本不同源图像转换方法、系统及设备，旨在解决现有深度学习的模型训练样本图像少、获取困难，导致训练好的模型性能较低的问题。本发明包括：构建图像转换模型，其生成器基于编码器、转换器和解码器构建，判别器基于卷积神经网络和激活函数构建；获取X类别和Y类别图像对，并进行图像增强；通过增强后的图像对进行图像转换模型的训练；通过训练好的图像转换模型，将获取的一个或少量X类别图像转换为Y类别图像。本发明通过非严格对齐方法构建容易获得的图像类别向不容易获得的图像的转换，有效提升不容易获得的图像的目标特征学习效果。

Description

非严格对齐的小样本不同源图像转换方法、系统及设备
技术领域
本发明属于图像转换技术领域，具体涉及了一种非严格对齐的小样本不同源图像转换方法、系统及设备。
背景技术
近年来，大数据为驱动的深度学习技术在图像转换应用上得到快速发展，然而大多数情况下，基于深度学习的不同源图像转换方法要求大量的标注图像，同时这些标注图像需要严格对齐。在实际场景中，良好对齐的标注图像数据往往难以大量获取，如热感红外图像相对于光学图像在观测目标上具有不受天气和云层影响的优势，同时，在成像上，相对于光学图像，热感红外图像能更好表现具有金属外壳的目标，也更加有利于此类目标的检测。然而，在实际应用中，热感红外图像相对于光学图像采集费用昂贵，这类热感红外图像通常属于小样本数据。
如果将一种类别区域的光学图像，通过非严格对齐的方法转换为热感红外图像，则有利于获得相似的大量的热感红外图像，可用于训练出更好的热感红外图像目标检测模型。
因此，针对该应用背景，本领域还急需一种非严格对齐的小样本不同源图像转换方法，通过小样本的图像转换训练，将大量的容易获得的图像转换为另一种不容易获得的图像数据，以满足模型训练的需求。
发明内容
为了解决现有技术中的上述问题，即在一些应用中，难以大量获取某区域的精准对齐的不同类别图像，导致采用传统深度学习方法的训练样本图像少、获取困难，训练好的模型性能较低的问题，本发明提供了一种非严格对齐的小样本不同源图像转换方法，所述图像转换方法包括：
步骤S10，获取一个或少量X类别图像；
步骤S20，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；
其中，所述图像转换模型基于CycleGAN网络构建，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，在所述转换器的ResNe Block模块中添加空间注意力机制，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建。
在转换模块方面，对原来CycleGAN网络结构中转换器部分的ResNe Block模块添加空间注意力机制，在判别阶段，将原CycleGAN判别阶段的循环一致损失函数的L1范式替换为区域直方图余弦度量，该方法能够实现非对齐的不同源图像的转换，同时保留更多图像自身的结构特征。
在一些优选的实施例中，所述图像转换模型，其训练方法为：
步骤B10，获取不同场景目标的X类别和Y类别图像对序列；
步骤B20，进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，获得第一X类别和Y类别图像对序列；
步骤B30，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列；
步骤B40，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列；
步骤B50，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型。
在一些优选的实施例中，步骤B20中进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，其方法为：
以各图像对中的目标为基准，将所述X类别和Y类别图像对序列中各图像对的成像范围的偏差调整至设定阈值范围内，完成图像的非严格对齐。
在一些优选的实施例中，所述总优化损失函数，其表示为：
Figure 150685DEST_PATH_IMAGE001
其中，
Figure 125594DEST_PATH_IMAGE002
为总优化损失函数，
Figure 935287DEST_PATH_IMAGE003
和
Figure 552213DEST_PATH_IMAGE004
分别为呈现对偶关系的生成器
Figure 373539DEST_PATH_IMAGE005
和
Figure 896180DEST_PATH_IMAGE006
的 损失函数，
Figure 68536DEST_PATH_IMAGE007
和
Figure 348207DEST_PATH_IMAGE008
分别为判别器
Figure 24039DEST_PATH_IMAGE009
和
Figure 871909DEST_PATH_IMAGE010
的损失函数，生成器
Figure 406927DEST_PATH_IMAGE005
用于将
Figure 100077DEST_PATH_IMAGE011
类别图像转换为
Figure 161574DEST_PATH_IMAGE012
类别图像，生成器
Figure 39400DEST_PATH_IMAGE006
用于将
Figure 920768DEST_PATH_IMAGE012
类别图像转换为
Figure 791510DEST_PATH_IMAGE011
类别图像，判别器
Figure 707513DEST_PATH_IMAGE009
用于判别生成器
Figure 631607DEST_PATH_IMAGE005
基于
Figure 390484DEST_PATH_IMAGE011
类别图像转换的
Figure 425436DEST_PATH_IMAGE012
类别图像属于
Figure 195946DEST_PATH_IMAGE012
类别的概率，判别器
Figure 166308DEST_PATH_IMAGE010
用于判别生成器
Figure 22268DEST_PATH_IMAGE006
基于
Figure 126490DEST_PATH_IMAGE012
类别图像转换的
Figure 876141DEST_PATH_IMAGE011
类别图像属于
Figure 407616DEST_PATH_IMAGE011
类别的概率，
Figure 856265DEST_PATH_IMAGE013
分别为总优化损失函数中损失函数
Figure 498599DEST_PATH_IMAGE014
的重要性权重参数。
在一些优选的实施例中，所述生成器
Figure 978122DEST_PATH_IMAGE005
，其损失函数
Figure 805133DEST_PATH_IMAGE003
表示为：
Figure 370106DEST_PATH_IMAGE015
其中，
Figure 816131DEST_PATH_IMAGE016
代表当前给定样本，
Figure 291106DEST_PATH_IMAGE017
代表转换的目标样本集，
Figure 164384DEST_PATH_IMAGE018
代表当前给定样本
Figure 75708DEST_PATH_IMAGE016
被判定为
Figure 325424DEST_PATH_IMAGE012
类图像的概率，
Figure 779539DEST_PATH_IMAGE019
代表生成器
Figure 197620DEST_PATH_IMAGE006
将当前给定样本
Figure 737185DEST_PATH_IMAGE016
由
Figure 259434DEST_PATH_IMAGE012
类图像转换为
Figure 958268DEST_PATH_IMAGE011
类 图像，
Figure 907770DEST_PATH_IMAGE020
代表生成器
Figure 200211DEST_PATH_IMAGE005
将生成器
Figure 135937DEST_PATH_IMAGE006
转换的图像
Figure 830223DEST_PATH_IMAGE019
转换为
Figure 75260DEST_PATH_IMAGE012
类图像，
Figure 589418DEST_PATH_IMAGE021
代表 预设的权重参数，
Figure 719048DEST_PATH_IMAGE022
代表图余弦度量函数，
Figure 379093DEST_PATH_IMAGE023
(.)为区域直方图分布函数，
Figure 935976DEST_PATH_IMAGE024
代表选定 区域的像素集合。
在一些优选的实施例中，所述生成器
Figure 671851DEST_PATH_IMAGE006
，其损失函数
Figure 729805DEST_PATH_IMAGE004
表示为：
Figure 867526DEST_PATH_IMAGE025
其中，
Figure 595310DEST_PATH_IMAGE026
代表转换后还原的样本集，
Figure 693847DEST_PATH_IMAGE027
代表当前给定样本
Figure 430859DEST_PATH_IMAGE016
被判定为
Figure 547720DEST_PATH_IMAGE011
类图像 的概率，
Figure 446406DEST_PATH_IMAGE028
代表生成器
Figure 156873DEST_PATH_IMAGE005
将当前给定样本
Figure 805898DEST_PATH_IMAGE016
由
Figure 918210DEST_PATH_IMAGE011
类图像转换为
Figure 987797DEST_PATH_IMAGE012
类图像，
Figure 310194DEST_PATH_IMAGE029
代表生成器
Figure 123430DEST_PATH_IMAGE006
将生成器
Figure 90249DEST_PATH_IMAGE005
转换的图像
Figure 206103DEST_PATH_IMAGE028
转换为
Figure 891162DEST_PATH_IMAGE011
类图像，
Figure 367143DEST_PATH_IMAGE030
代表预设的权重参。
在一些优选的实施例中，所述判别器
Figure 454048DEST_PATH_IMAGE009
和
Figure 131017DEST_PATH_IMAGE010
，其损失函数
Figure 408765DEST_PATH_IMAGE007
和
Figure 563802DEST_PATH_IMAGE008
分别表示为：
Figure 505214DEST_PATH_IMAGE031
Figure 212139DEST_PATH_IMAGE032
本发明的另一方面，提出了一种非严格对齐的小样本不同源图像转换系统，所述图像转换系统包括图像获取模块、图像转换模块、模型构建模块、图像对齐模块、图像尺寸调整模块、图像增强模块和模型训练模块；
所述图像获取模块，用于获取待转换的一个或少量X类别图像；还用于获取模型训练的不同场景目标的X类别和Y类别图像对序列；
所述图像转换模块，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；
所述模型构建模块，基于CycleGAN网络构建图像转换模型，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，并在所述CycleGAN网络判别器对应的转换器的ResNe Block模块中添加空间注意力机制，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建；
所述图像对齐模块，进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，获得第一X类别和Y类别图像对序列；
所述图像尺寸调整模块，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列；
所述图像增强模块，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列；
所述模型训练模块，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的非严格对齐的小样本不同源图像转换方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的非严格对齐的小样本不同源图像转换方法。
本发明的有益效果：
（1）本发明非严格对齐的小样本不同源图像转换方法，针对Y类别图像样本数量稀缺导致样本特征少的问题，将容易获取的X类别图像样本转换为难以获取的Y类别的小样本图像，能够有效增加Y类别图像的数量，从而提升模型训练后的性能。
（2）本发明非严格对齐的小样本不同源图像转换方法，通过改进的CycleGAN图像转换神经网络模型（即图像转换模型）进行X类别图像到Y类别图像的转换，并针对模型的两个改进的生成器的对偶关系定义损失函数，结合两个改进的判别器的损失函数，进行模型训练，其中改进的CycleGAN图像在转换模块方面，在原来CycleGAN网络结构中转换器部分的ResNe Block模块添加空间注意力机制，并将循环一致损失函数的L1范式替换为区域直方图余弦度量，该方法能够实现非对齐的不同源图像的转换，同时保留更多图像自身的结构特征。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明非严格对齐的小样本不同源图像转换方法的流程示意图；
图2是用于实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种非严格对齐的小样本不同源图像转换方法，为了解决上述类似空间热感红外图像样本少等问题，提出一种面向不同源的小样本非严格对齐的图像转换增强方法，首先准备不同场景目标的图像序列，记容易获得的图像为X，不容易获取的图像类别图像为Y（小样本图像），针对上述图像对进行增广处理构建训练样本集，采用改进的CycleGAN训练网络模型实现从X到Y的转换。
本发明的一种非严格对齐的小样本不同源图像转换方法，所述图像转换方法包括：
步骤S10，获取一个或少量X类别图像；
步骤S20，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；
其中，所述图像转换模型基于CycleGAN网络构建，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，在所述转换器的ResNe Block模块中添加空间注意力机制，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建。
为了更清晰地对本发明非严格对齐的小样本不同源图像转换方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的非严格对齐的小样本不同源图像转换方法，各步骤详细描述如下：
步骤S10，获取一个或少量X类别图像。
步骤S20，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同。
也就是说，本发明通过训练好的图像转换模型将容易获取大量样本的图像转换为不容易获取大量样本的图像，使得对应的小样本领域的模型在训练的时候不收样本数量少的限制，可以获得性能更优的模型，从而提升后续模型处理的准确性和精度。
训练好的图像转换模型包括两个呈现对偶关系的生成器和两个判别器，生成器基于编码器、转换器和解码器构建，判别器基于卷积神经网络和激活函数构建，在转换模块方面，对原来CycleGAN网络结构中转换器部分的ResNe Block模块添加空间注意力机制，并将循环一致损失函数的L1范式替换为区域直方图余弦度量，该方法能够实现非对齐的不同源图像的转换，同时保留更多图像自身的结构特征。
图像转换模型，其训练方法为：
步骤B10，获取不同场景目标的X类别和Y类别图像对序列。
图像序列准备：首先准备不同类别内小样本目标的图像序列，给定原始X类别包含 目标的图像序列，即图像
Figure 871790DEST_PATH_IMAGE033
,
Figure 830519DEST_PATH_IMAGE034
,…,
Figure 501803DEST_PATH_IMAGE035
以及原始Y类别包含目标的图像序列，即图像
Figure 254995DEST_PATH_IMAGE036
,
Figure 260997DEST_PATH_IMAGE037
,…,
Figure 23417DEST_PATH_IMAGE038
。
步骤B20，进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，获得第一X类别和Y类别图像对序列。
进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，其方法为：
以各图像对中的目标为基准，将所述X类别和Y类别图像对序列中各图像对的成像范围的偏差调整至设定阈值范围内，完成图像的非严格对齐。
本过程的对齐仅仅只需要使X和Y图像成像范围大致相同即可，与传统的图像转换方法中的像素级对齐完全不同，因此将本过程称为非严格对齐。
X类别和Y类别的小样本图像对齐处理：针对上述图像序列，在不同的类别内以目 标特征为基准在其附近区类别分别将X类别中的图像和Y类别中的图像进行对齐，得到X类 别图像序列
Figure 673841DEST_PATH_IMAGE039
,
Figure 237415DEST_PATH_IMAGE040
,…,
Figure 606080DEST_PATH_IMAGE041
和Y类别图像序列
Figure 641032DEST_PATH_IMAGE042
,
Figure 801755DEST_PATH_IMAGE043
,…,
Figure 896750DEST_PATH_IMAGE044
。这个过程的目的是建立目标特征 的映射关系，即
Figure 362497DEST_PATH_IMAGE045
,
Figure 466719DEST_PATH_IMAGE046
,…,
Figure 357315DEST_PATH_IMAGE047
。
步骤B30，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列。
对目标特征映射后的图像进行Resize处理获取同一尺寸大小的图像序列。
步骤B40，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列。
采用数据增强的方法包括图像旋转、平移、缩放、裁剪、加高斯噪声等处理方法。
f(x, y)表示输入图像，g(x , y)表示输出图像，T表示对f(x, y)进行处理的操作符。
本发明一个实施例中，T操作包括：
旋转：对X类别和Y类别的图像分别进行30°、60°、90°旋转得到三种不同角度的样本。
平移：对任一个旋转后的样本，进行不同设定距离的平移操作，得到不同设定距离平移后的样本。
缩放：对任一个平移后的样本，进行不同设定倍数的缩放操作，得到不同设定倍数缩放后的样本。
裁剪：对任一个缩放后的样本，进行不同设定大小的裁剪操作，得到不同设定大小的裁剪后的样本。
通过亮度变化和添加高斯噪声以增加图像多样性，用I(x, y)表示图像亮度，则亮 度变化可以表示为I(x,y) =
Figure 747845DEST_PATH_IMAGE048
，当gamma值越大，处理后图像的像素亮度值就越 低，改变不同的gamma值获取不同亮度的图像。
通过上述不同的处理方式增加样本的数量，将数据增强后的增强X类别和Y类别图 像对序列分别记为
Figure 91102DEST_PATH_IMAGE039
,
Figure 467856DEST_PATH_IMAGE040
,…,
Figure 589790DEST_PATH_IMAGE049
及
Figure 26587DEST_PATH_IMAGE042
,
Figure 857140DEST_PATH_IMAGE043
,…,
Figure 162219DEST_PATH_IMAGE050
。
数据增强使得图像对序列中的图像数量显著增加，因此，
Figure 761828DEST_PATH_IMAGE051
。
上述图像序列增强方式大大增加了原数据中样本的数量，从而增加了CycleGAN图像转换神经网络训练所需的样本。
步骤B50，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型。
采用了生成器和判别器的图像转换模型用于X类别图像序列向Y类别图像序列进行图像映射。
通过编码器、转换器和解码器构建生成器的网络结构，改进的CycleGAN网络（即图像转换模型）在转换模块方面，对原来CycleGAN网络结构中转换器部分的ResNe Block模块添加空间注意力机制，更好地促进源类别到目标类别的非对齐目标特征的推理。
将原网络的循环一致损失函数的L1范式替换为区域直方图余弦度量，通过卷积神经网络和激活函数构建循环一致损失函数判别器的网络结构。
训练集样本数量设置：将图像对数据增强后的样本随机抽取一定比例（60%-80%）作为训练集，其余作为测试集，通过图像转换网络不断迭代调整权重参数得到图像转换的网络模型，即获得训练好的CycleGAN图像转换神经网络。
图像转换模型的总优化损失函数如式（1）所示：
Figure 244893DEST_PATH_IMAGE052
其中，
Figure 562742DEST_PATH_IMAGE002
为总优化损失函数，
Figure 546878DEST_PATH_IMAGE003
和
Figure 125627DEST_PATH_IMAGE004
分别为呈现对偶关系的生成器
Figure 904227DEST_PATH_IMAGE005
和
Figure 709372DEST_PATH_IMAGE006
的 损失函数，
Figure 605522DEST_PATH_IMAGE007
和
Figure 179723DEST_PATH_IMAGE008
分别为判别器
Figure 253858DEST_PATH_IMAGE009
和
Figure 280720DEST_PATH_IMAGE010
的损失函数，生成器
Figure 606659DEST_PATH_IMAGE005
用于将
Figure 910732DEST_PATH_IMAGE011
类别图像转换为
Figure 296714DEST_PATH_IMAGE012
类别图像，生成器
Figure 810872DEST_PATH_IMAGE006
用于将
Figure 799557DEST_PATH_IMAGE012
类别图像转换为
Figure 348350DEST_PATH_IMAGE011
类别图像，判别器
Figure 905233DEST_PATH_IMAGE009
用于判别生成器
Figure 35517DEST_PATH_IMAGE005
基于
Figure 703259DEST_PATH_IMAGE011
类别图像转换的
Figure 231192DEST_PATH_IMAGE012
类别图像属于
Figure 958977DEST_PATH_IMAGE012
类别的概率，判别器
Figure 182148DEST_PATH_IMAGE010
用于判别生成器
Figure 528947DEST_PATH_IMAGE006
基于
Figure 521173DEST_PATH_IMAGE012
类别图像转换的
Figure 544493DEST_PATH_IMAGE011
类别图像属于
Figure 520539DEST_PATH_IMAGE011
类别的概率，
Figure 530084DEST_PATH_IMAGE013
分别为总优化损失函数中损失函数
Figure 16298DEST_PATH_IMAGE014
的重要性权重参数。
生成器
Figure 85885DEST_PATH_IMAGE005
，其损失函数
Figure 283648DEST_PATH_IMAGE003
如式（2）所示：
Figure 221517DEST_PATH_IMAGE053
其中，
Figure 188336DEST_PATH_IMAGE016
代表当前给定样本，
Figure 694404DEST_PATH_IMAGE017
代表转换的目标样本集，
Figure 989250DEST_PATH_IMAGE018
代表当前给定样本
Figure 606176DEST_PATH_IMAGE016
被判定为
Figure 552135DEST_PATH_IMAGE012
类图像的概率，
Figure 229104DEST_PATH_IMAGE019
代表生成器
Figure 401460DEST_PATH_IMAGE006
将当前给定样本
Figure 667749DEST_PATH_IMAGE016
由
Figure 609160DEST_PATH_IMAGE012
类图像转换为
Figure 457031DEST_PATH_IMAGE011
类 图像，
Figure 241316DEST_PATH_IMAGE020
代表生成器
Figure 934465DEST_PATH_IMAGE005
将生成器
Figure 730383DEST_PATH_IMAGE006
转换的图像
Figure 358942DEST_PATH_IMAGE019
转换为
Figure 505889DEST_PATH_IMAGE012
类图像，
Figure 127363DEST_PATH_IMAGE021
代表 预设的权重参数，
Figure 43367DEST_PATH_IMAGE022
代表图余弦度量函数，
Figure 701881DEST_PATH_IMAGE023
(.)表示区域直方图分布函数，
Figure 710026DEST_PATH_IMAGE024
代表选 定区域的像素集合。
生成器
Figure 744978DEST_PATH_IMAGE006
，其损失函数
Figure 781068DEST_PATH_IMAGE004
如式（3）所示：
Figure 696DEST_PATH_IMAGE054
其中，
Figure 856657DEST_PATH_IMAGE026
代表转换后还原的样本集，
Figure 960879DEST_PATH_IMAGE027
代表当前给定样本
Figure 195682DEST_PATH_IMAGE016
被判定为
Figure 727158DEST_PATH_IMAGE011
类图像 的概率，
Figure 929469DEST_PATH_IMAGE028
代表生成器
Figure 571803DEST_PATH_IMAGE005
将当前给定样本
Figure 316905DEST_PATH_IMAGE016
由
Figure 124674DEST_PATH_IMAGE011
类图像转换为
Figure 689648DEST_PATH_IMAGE012
类图像，
Figure 994727DEST_PATH_IMAGE029
代表生成器
Figure 328757DEST_PATH_IMAGE006
将生成器
Figure 77401DEST_PATH_IMAGE005
转换的图像
Figure 129671DEST_PATH_IMAGE028
转换为
Figure 972862DEST_PATH_IMAGE011
类图像，
Figure 692556DEST_PATH_IMAGE030
代表预设的权重参。
判别器
Figure 471156DEST_PATH_IMAGE009
，其损失函数
Figure 384623DEST_PATH_IMAGE007
如式（4）所示：
Figure 906872DEST_PATH_IMAGE055
判别器
Figure 605706DEST_PATH_IMAGE010
，其损失函数
Figure 289628DEST_PATH_IMAGE008
如式（5）所示：
Figure 191856DEST_PATH_IMAGE056
测试集上测试网络模型：在测试集上进行测试，经过上述步骤获取最后的训练模型，在测试集上X类别图像作为输入进行前向推导，可以获取经过转换网络模型后的Y类别图像。根据网络模型生成出来的假的Y类别图像和真实的Y类别图像对比以验证训练模型的好坏，最后经过上述步骤最终获取X类别图像映射后的Y类别图像。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的非严格对齐的小样本不同源图像转换系统，所述图像转换系统包括图像获取模块、图像转换模块、模型构建模块、图像对齐模块、图像尺寸调整模块、图像增强模块和模型训练模块；
所述图像获取模块，用于获取待转换的一个或少量X类别图像；还用于获取模型训练的不同场景目标的X类别和Y类别图像对序列；
所述图像转换模块，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；
所述模型构建模块，基于CycleGAN网络构建图像转换模型，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，并在所述CycleGAN网络判别器对应的转换器的ResNe Block模块中添加空间注意力机制，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建；
所述图像对齐模块，进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，获得第一X类别和Y类别图像对序列；
所述图像尺寸调整模块，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列；
所述图像增强模块，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列；
所述模型训练模块，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的非严格对齐的小样本不同源图像转换系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的非严格对齐的小样本不同源图像转换方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的非严格对齐的小样本不同源图像转换方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
下面参考图2，其示出了用于实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。图2示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)201，其可以根据存储在只读存储器(ROM，Read Only Memory)202中的程序或者从存储部分208加载到随机访问存储器(RAM，Random Access Memory)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O，Input/Output)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (5)

1.一种非严格对齐的小样本不同源图像转换方法，其特征在于，所述图像转换方法包括：
步骤S10，获取一个或少量X类别图像；
步骤S20，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；
其中，所述图像转换模型基于CycleGAN网络构建，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建，在所述转换器的ResNe Block模块中添加空间注意力机制；
所述图像转换模型，其训练方法为：
步骤B10，获取不同场景目标的X类别和Y类别图像对序列；
步骤B20，以各图像对中的目标为基准，将所述X类别和Y类别图像对序列中各图像对的成像范围的偏差调整至设定阈值范围内，完成图像的非严格对齐，获得第一X类别和Y类别图像对序列；
步骤B30，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列；
步骤B40，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列；
步骤B50，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型；
所述总优化损失函数，其表示为：
Figure 839948DEST_PATH_IMAGE001
其中，
Figure 886402DEST_PATH_IMAGE002
为总优化损失函数，
Figure 747041DEST_PATH_IMAGE003
和
Figure 587958DEST_PATH_IMAGE004
分别为呈现对偶关系的生成器
Figure 924262DEST_PATH_IMAGE005
和
Figure 882728DEST_PATH_IMAGE006
的损失函数，
Figure 988088DEST_PATH_IMAGE007
和
Figure 875272DEST_PATH_IMAGE008
分别为判别器
Figure 964451DEST_PATH_IMAGE009
和
Figure 821548DEST_PATH_IMAGE010
的损失函数，生成器
Figure 922360DEST_PATH_IMAGE005
用于将
Figure 105079DEST_PATH_IMAGE011
类别图像转换为
Figure 291341DEST_PATH_IMAGE012
类别图像，生成器
Figure 952130DEST_PATH_IMAGE006
用于将
Figure 297660DEST_PATH_IMAGE012
类别图像转换为
Figure 25183DEST_PATH_IMAGE011
类别图像，
Figure 823374DEST_PATH_IMAGE009
用于判别生成器
Figure 163220DEST_PATH_IMAGE005
基于
Figure 363257DEST_PATH_IMAGE011
类别图像转换的
Figure 622200DEST_PATH_IMAGE012
类别图像属于
Figure 517475DEST_PATH_IMAGE012
类别的概率，判别器
Figure 785645DEST_PATH_IMAGE010
用于判别生成器
Figure 574610DEST_PATH_IMAGE006
基于
Figure 410979DEST_PATH_IMAGE012
类别图像转换的
Figure 918183DEST_PATH_IMAGE011
类别图像属于
Figure 458886DEST_PATH_IMAGE011
类别的概率，
Figure 7417DEST_PATH_IMAGE013
分别为总优化损失函数中损失函数
Figure 608163DEST_PATH_IMAGE014
的重要性权重参数；
所述生成器
Figure 602663DEST_PATH_IMAGE005
和所述生成器
Figure 88002DEST_PATH_IMAGE006
，其损失函数
Figure 851559DEST_PATH_IMAGE015
和损失函数
Figure 29731DEST_PATH_IMAGE016
分别表示为：
Figure 245948DEST_PATH_IMAGE017
Figure 394033DEST_PATH_IMAGE018
其中，
Figure 153042DEST_PATH_IMAGE019
代表当前给定样本，
Figure 361169DEST_PATH_IMAGE020
代表转换的目标样本集，
Figure 64683DEST_PATH_IMAGE021
代表当前给定样本
Figure 396219DEST_PATH_IMAGE019
被判定为
Figure 134368DEST_PATH_IMAGE012
类图像的概率，
Figure 513397DEST_PATH_IMAGE022
代表生成器
Figure 845152DEST_PATH_IMAGE006
将当前给定样本
Figure 335039DEST_PATH_IMAGE019
由
Figure 662115DEST_PATH_IMAGE012
类图像转换为
Figure 352991DEST_PATH_IMAGE011
类图像，
Figure 31097DEST_PATH_IMAGE023
代表生成器
Figure 590254DEST_PATH_IMAGE005
将生成器
Figure 912782DEST_PATH_IMAGE006
转换的图像
Figure 368034DEST_PATH_IMAGE022
转换为
Figure 799016DEST_PATH_IMAGE012
类图像，
Figure 4607DEST_PATH_IMAGE024
代表预设的权重参数，
Figure 571854DEST_PATH_IMAGE025
代表图余弦度量函数，
Figure 463587DEST_PATH_IMAGE026
表示区域直方图分布函数，
Figure 991651DEST_PATH_IMAGE027
代表选定区域的像素集合，
Figure 892611DEST_PATH_IMAGE028
代表转换后还原的样本集，
Figure 48786DEST_PATH_IMAGE029
代表当前给定样本
Figure 252365DEST_PATH_IMAGE019
被判定为
Figure 126781DEST_PATH_IMAGE011
类图像的概率，
Figure 565852DEST_PATH_IMAGE030
代表生成器
Figure 983058DEST_PATH_IMAGE005
将当前给定样本
Figure 216593DEST_PATH_IMAGE019
由
Figure 217785DEST_PATH_IMAGE011
类图像转换为
Figure 194968DEST_PATH_IMAGE012
类图像，
Figure 325736DEST_PATH_IMAGE031
代表生成器
Figure 871117DEST_PATH_IMAGE006
将生成器
Figure 720125DEST_PATH_IMAGE005
转换的图像
Figure 235420DEST_PATH_IMAGE032
转换为
Figure 627218DEST_PATH_IMAGE011
类图像，
Figure 202556DEST_PATH_IMAGE033
代表预设的权重参数。
2.根据权利要求1所述的非严格对齐的小样本不同源图像转换方法，其特征在于，所述判别器
Figure 964451DEST_PATH_IMAGE009
和
Figure 821548DEST_PATH_IMAGE010
，其损失函数
Figure 988088DEST_PATH_IMAGE007
和
Figure 875272DEST_PATH_IMAGE008
分别表示为：
Figure 538859DEST_PATH_IMAGE034
Figure 857845DEST_PATH_IMAGE035
3.一种非严格对齐的小样本不同源图像转换系统，其特征在于，所述图像转换系统包括图像获取模块、图像转换模块、模型构建模块、图像对齐模块、图像尺寸调整模块、图像增强模块和模型训练模块；
所述图像获取模块，用于获取待转换的一个或少量X类别图像；还用于获取模型训练的不同场景目标的X类别和Y类别图像对序列；
所述图像转换模块，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；
所述模型构建模块，基于CycleGAN网络构建图像转换模型，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，并在所述CycleGAN网络判别器对应的转换器的ResNe Block模块中添加空间注意力机制，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建；
所述图像对齐模块，进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，获得第一X类别和Y类别图像对序列；
所述图像尺寸调整模块，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列；
所述图像增强模块，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列；
所述模型训练模块，获取不同场景目标的X类别和Y类别图像对序列，以各图像对中的目标为基准，将所述X类别和Y类别图像对序列中各图像对的成像范围的偏差调整至设定阈值范围内，完成图像的非严格对齐，获得第一X类别和Y类别图像对序列，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型；
所述总优化损失函数，其表示为：
Figure 104150DEST_PATH_IMAGE001
其中，
Figure 850389DEST_PATH_IMAGE002
为总优化损失函数，
Figure 408409DEST_PATH_IMAGE036
和
Figure 170567DEST_PATH_IMAGE037
分别为呈现对偶关系的生成器
Figure 130432DEST_PATH_IMAGE005
和
Figure 47573DEST_PATH_IMAGE006
的损失函数，
Figure 233835DEST_PATH_IMAGE038
和
Figure 160202DEST_PATH_IMAGE039
分别为判别器
Figure 974575DEST_PATH_IMAGE009
和
Figure 203562DEST_PATH_IMAGE010
的损失函数，生成器
Figure 1753DEST_PATH_IMAGE005
用于将
Figure 466233DEST_PATH_IMAGE011
类别图像转换为
Figure 10478DEST_PATH_IMAGE012
类别图像，生成器
Figure 800579DEST_PATH_IMAGE006
用于将
Figure 820488DEST_PATH_IMAGE012
类别图像转换为
Figure 214558DEST_PATH_IMAGE011
类别图像，
Figure 269102DEST_PATH_IMAGE009
用于判别生成器
Figure 964526DEST_PATH_IMAGE005
基于
Figure 81517DEST_PATH_IMAGE011
类别图像转换的
Figure 153378DEST_PATH_IMAGE012
类别图像属于
Figure 62429DEST_PATH_IMAGE012
类别的概率，判别器
Figure 538540DEST_PATH_IMAGE010
用于判别生成器
Figure 533041DEST_PATH_IMAGE006
基于
Figure 143014DEST_PATH_IMAGE012
类别图像转换的
Figure 578675DEST_PATH_IMAGE011
类别图像属于
Figure 724223DEST_PATH_IMAGE011
类别的概率，
Figure 206020DEST_PATH_IMAGE013
分别为总优化损失函数中损失函数
Figure 619684DEST_PATH_IMAGE014
的重要性权重参数；
所述生成器
Figure 113113DEST_PATH_IMAGE005
和所述生成器
Figure 586820DEST_PATH_IMAGE006
，其损失函数
Figure 290334DEST_PATH_IMAGE015
和损失函数
Figure 851896DEST_PATH_IMAGE016
分别表示为：
Figure 855624DEST_PATH_IMAGE017
Figure 969074DEST_PATH_IMAGE018
其中，
Figure 35250DEST_PATH_IMAGE019
代表当前给定样本，
Figure 790716DEST_PATH_IMAGE020
代表转换的目标样本集，
Figure 383372DEST_PATH_IMAGE021
代表当前给定样本
Figure 572782DEST_PATH_IMAGE019
被判定为
Figure 250888DEST_PATH_IMAGE012
类图像的概率，
Figure 278887DEST_PATH_IMAGE022
代表生成器
Figure 866994DEST_PATH_IMAGE006
将当前给定样本
Figure 853405DEST_PATH_IMAGE019
由
Figure 894173DEST_PATH_IMAGE012
类图像转换为
Figure 725863DEST_PATH_IMAGE011
类图像，
Figure 27531DEST_PATH_IMAGE023
代表生成器
Figure 60209DEST_PATH_IMAGE005
将生成器
Figure 712908DEST_PATH_IMAGE006
转换的图像
Figure 82709DEST_PATH_IMAGE022
转换为
Figure 143944DEST_PATH_IMAGE012
类图像，
Figure 206578DEST_PATH_IMAGE024
代表预设的权重参数，
Figure 80993DEST_PATH_IMAGE025
代表图余弦度量函数，
Figure 520064DEST_PATH_IMAGE026
表示区域直方图分布函数，
Figure 937270DEST_PATH_IMAGE027
代表选定区域的像素集合，
Figure 170806DEST_PATH_IMAGE028
代表转换后还原的样本集，
Figure 532517DEST_PATH_IMAGE029
代表当前给定样本
Figure 385066DEST_PATH_IMAGE019
被判定为
Figure 781413DEST_PATH_IMAGE011
类图像的概率，
Figure 326795DEST_PATH_IMAGE030
代表生成器
Figure 175802DEST_PATH_IMAGE005
将当前给定样本
Figure 956676DEST_PATH_IMAGE019
由
Figure 587290DEST_PATH_IMAGE011
类图像转换为
Figure 428207DEST_PATH_IMAGE012
类图像，
Figure 764510DEST_PATH_IMAGE031
代表生成器
Figure 958862DEST_PATH_IMAGE006
将生成器
Figure 329801DEST_PATH_IMAGE005
转换的图像
Figure 76040DEST_PATH_IMAGE032
转换为
Figure 509426DEST_PATH_IMAGE011
类图像，
Figure 897682DEST_PATH_IMAGE033
代表预设的权重参数。
4.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-2任一项所述的非严格对齐的小样本不同源图像转换方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-2任一项所述的非严格对齐的小样本不同源图像转换方法。
CN202210857769.XA 2022-07-21 2022-07-21 非严格对齐的小样本不同源图像转换方法、系统及设备 Active CN115082299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210857769.XA CN115082299B (zh) 2022-07-21 2022-07-21 非严格对齐的小样本不同源图像转换方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210857769.XA CN115082299B (zh) 2022-07-21 2022-07-21 非严格对齐的小样本不同源图像转换方法、系统及设备

Publications (2)

Publication Number Publication Date
CN115082299A CN115082299A (zh) 2022-09-20
CN115082299B true CN115082299B (zh) 2022-11-25

Family

ID=83260063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210857769.XA Active CN115082299B (zh) 2022-07-21 2022-07-21 非严格对齐的小样本不同源图像转换方法、系统及设备

Country Status (1)

Country Link
CN (1) CN115082299B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116484905B (zh) * 2023-06-20 2023-08-29 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001427A (zh) * 2020-08-04 2020-11-27 中国科学院信息工程研究所 一种基于类比学习的图像转化方法和装置
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN113723535A (zh) * 2021-09-02 2021-11-30 北京大学 基于CycleGAN深度学习的细胞微核组学图像处理方法及存储介质
CN114119351A (zh) * 2021-11-08 2022-03-01 清华大学 图像处理方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3572822B1 (en) * 2018-05-23 2022-03-09 RaySearch Laboratories AB Medical image conversion
EP3834141A4 (en) * 2018-08-10 2022-04-20 Visa International Service Association PROCEDURE FOR MATCHING DIFFERENT INPUT DATA
CN109919251B (zh) * 2019-03-21 2024-08-09 腾讯科技（深圳）有限公司 一种基于图像的目标检测方法、模型训练的方法及装置
CN113966522A (zh) * 2019-11-25 2022-01-21 Essenlix 公司 基于成像的测定的有效训练和准确度改进
CN111881884B (zh) * 2020-08-11 2021-05-28 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
CN112258381B (zh) * 2020-09-29 2024-02-09 北京达佳互联信息技术有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN112347850B (zh) * 2020-09-30 2024-04-23 新大陆数字技术股份有限公司 红外图像转换方法、活体检测方法、装置、可读存储介质
CN112967178B (zh) * 2021-03-08 2023-04-07 烟台艾睿光电科技有限公司 一种图像转换方法、装置、设备及存储介质
CN113076927B (zh) * 2021-04-25 2023-02-14 华南理工大学 基于多源域迁移的指静脉识别方法及系统
CN113936138A (zh) * 2021-09-15 2022-01-14 中国航天科工集团第二研究院 基于多源图像融合的目标检测方法、系统、设备、介质
CN113763288A (zh) * 2021-09-28 2021-12-07 宁波慈溪生物医学工程研究所 一种医学图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001427A (zh) * 2020-08-04 2020-11-27 中国科学院信息工程研究所 一种基于类比学习的图像转化方法和装置
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN113723535A (zh) * 2021-09-02 2021-11-30 北京大学 基于CycleGAN深度学习的细胞微核组学图像处理方法及存储介质
CN114119351A (zh) * 2021-11-08 2022-03-01 清华大学 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于CycleGAN的图像风格迁移;马赫等;《电脑知识与技术》;20200925(第27期);第18-20页 *
基于改进的CycleGAN模型非配对的图像到图像转换;何剑华等;《玉林师范学院学报》;20180401(第02期);第122-126页 *

Also Published As

Publication number Publication date
CN115082299A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN112560876B (zh) 解耦度量的单阶段小样本目标检测方法
CN108732550B (zh) 用于预测雷达回波的方法和装置
JP7449869B2 (ja) 高度な機械学習手法を用いた記述岩石薄片の画像の自動分析
CN111602138B (zh) 基于人工神经网络的物体检测的系统及方法
CN110335330B (zh) 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备
CN115546630A (zh) 基于遥感影像特征目标检测的工地提取方法和系统
CN111385640B (zh) 视频封面的确定方法、装置、设备及存储介质
CN112364843A (zh) 插拔式航拍图像目标定位检测方法、系统、设备
KR20200018411A (ko) 전극편의 버를 검출하기 위한 방법 및 장치
CN115019187B (zh) 针对sar图像船舶目标的检测方法、装置、设备及介质
CN115082299B (zh) 非严格对齐的小样本不同源图像转换方法、系统及设备
US20230401691A1 (en) Image defect detection method, electronic device and readable storage medium
CN113781478B (zh) 油罐图像检测方法、装置、电子设备和计算机可读介质
CN115861255A (zh) 用于图像处理的模型训练方法、装置、设备、介质及产品
CN113469167B (zh) 仪表读数识别方法、装置、设备及存储介质
CN116930192B (zh) 一种高精度铜管缺陷检测方法及系统
US20210374480A1 (en) Arithmetic device, arithmetic method, program, and discrimination system
CN116524070A (zh) 一种基于文本的场景图片编辑方法及系统
CN114782822A (zh) 电力设备的状态检测方法、装置、电子设备及存储介质
CN108447107B (zh) 用于生成视频的方法和装置
CN112750124A (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN111612770A (zh) 基于主动筛选的半监督病灶检测网络的病灶检测系统
CN116721143B (zh) 3d医学图像的深度信息处理装置及方法
CN114723746B (zh) 基于知识蒸馏的病灶区域深度组学特征提取方法及装置
CN109559343B (zh) 用于容器的图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant