CN117094882B - 一种无损数字刺绣图像风格迁移方法、系统、设备及介质 - Google Patents

一种无损数字刺绣图像风格迁移方法、系统、设备及介质 Download PDF

Info

Publication number
CN117094882B
CN117094882B CN202311345903.9A CN202311345903A CN117094882B CN 117094882 B CN117094882 B CN 117094882B CN 202311345903 A CN202311345903 A CN 202311345903A CN 117094882 B CN117094882 B CN 117094882B
Authority
CN
China
Prior art keywords
image
style
embroidery
representing
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311345903.9A
Other languages
English (en)
Other versions
CN117094882A (zh
Inventor
刘熙尧
杨思宇
欧阳平波
张昊
张健
方辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202311345903.9A priority Critical patent/CN117094882B/zh
Publication of CN117094882A publication Critical patent/CN117094882A/zh
Application granted granted Critical
Publication of CN117094882B publication Critical patent/CN117094882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Sewing Machines And Sewing (AREA)

Abstract

本发明公开了一种无损数字刺绣图像风格迁移方法、系统、设备及介质，本方法获取内容图像和刺绣图像；构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；将内容图像和刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过可逆残差模块进行前向映射，得到内容图像的第一特征图和刺绣图像的第二特征图；采用基于注意力机制的风格转换模块将第一特征图和第二特征图进行风格迁移，得到风格化的特征图；对风格化的特征图采用可逆残差模块进行回归，得到风格迁移后的刺绣风格图像。本发明能够在解决内容泄露问题和风格异常问题的同时将刺绣图像的风格进行良好的保持。

Description

一种无损数字刺绣图像风格迁移方法、系统、设备及介质
技术领域
本发明涉及图像风格迁移技术领域，尤其是涉及一种无损数字刺绣图像风格迁移方法、系统、设备及介质。
背景技术
现有的艺术风格迁移方法，大多使用基于预训练好的VGG编码器来提取内容图像和风格图像的高阶特征，并设计各种转换模块来将风格图像的风格特征和内容图像的内容特征进行融合，后将融合生成的特征图经过设计好的与编码器成对的解码器后得到风格化的图像。这种基于预训练的编码器来提取特征进行风格融合的方法，虽然相比于以前的方法，显示出了令人印象深刻的风格化效果，但是一方面由于预训练的VGG网络的本来目标是提取对象级的信息以用于目标识别和分类作用，所以无法对内容和风格信息进行精准的提取和解耦，另一方面有偏的风格转换模块（例如SANet方法，它将注意力机制的输出直接加到内容特征图上，这是一个不可逆的过程）以及解码器不可避免的重建损失，使得现有的基于预训练模型的艺术风格迁移方法存在以下几个方面的问题：
内容泄露问题：使用一张内容图像和风格图像通过风格化网络生成风格化图像后，将风格化图像作为内容图像，风格图像继续作为风格图像进行多次风格化操作，会发现经过几次迭代后风格化结果中原内容图像的内容出现泄漏。风格异常问题：这个问题对于艺术风格迁移，尤其是绣品风格迁移极为不利。风格异常问题即当把风格化的图像（即拥有刺绣风格的自然图像）作为风格图，任意自然图像进行内容图再进行风格迁移过程后，生成的图像的风格会出现不符合预期的结果。
目前暂时没有针对数字刺绣这类绣品风格图像进行专门的风格化设计的方法，也就是说，用现有的艺术风格迁移的方法对具有刺绣风格的图像进行风格迁移后生成的刺绣风格化图像不包含一些刺绣所特有的风格特色和纹理细节，这是最主要的一个问题。现有的方法中存在一些方法采用流模型的思想来解决基于VGG提取特征的模型存在的内容泄露等问题，但基于流的模型由于对于特征提取可逆的要求，耦合模块的表征能力较弱，且由于使用的风格转换模块（AdaIN或WCT）自身的缺陷，风格化的效果不尽如人意，也很难对数字刺绣图像的风格进行良好的保持。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种无损数字刺绣图像风格迁移方法、系统、设备及介质，能够在解决内容泄露问题和风格异常问题的同时将刺绣图像的风格进行良好的保持。
第一方面，本发明实施例提供了一种无损数字刺绣图像风格迁移方法，所述无损数字刺绣图像风格迁移方法包括：
获取内容图像和刺绣图像；
构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；
将所述内容图像和所述刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过所述可逆残差模块进行前向映射，得到所述内容图像的第一特征图和所述刺绣图像的第二特征图；
采用所述基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，得到风格化的特征图；
对所述风格化的特征图采用所述可逆残差模块进行回归，得到风格迁移后的刺绣风格图像。
与现有技术相比，本发明第一方面具有以下有益效果：
本方法采用了可逆残差模块对内容图像和刺绣图像进行处理，可逆残差模块消除了基于预训练模型的方法中解码器的重建误差，完全可逆的设计使得整个风格迁移过程不存在内容和风格泄露问题，从而实现无损的风格迁移；采用基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，能过保证不存在内容泄露问题的同时将不同语义区域的风格转换到内容图像中对应语义区域，采用损失函数训练好的风格迁移网络模型，得到风格迁移后的刺绣风格图像，能够在解决内容泄露问题和风格异常问题的同时将刺绣图像的风格进行良好的保持。
根据本发明的一些实施例，所述可逆残差模块通过如下方式进行前向映射：
其中，表示把输入/>沿通道维度均分成两份，一份为/>，另一份为/>，表示所述可逆残差模块进行前向映射的输出，/>表示三个带有Relu激活层的卷积操作。
根据本发明的一些实施例，所述基于注意力机制的风格转换模块通过如下方式将所述第一特征图和所述第二特征图进行风格迁移：
其中，表示注意力机制，/>表示利用注意力模块预测出的调制参数，/>表示归一化后的第一特征图，/>表示归一化后的第二特征图，/>表示求均值操作，/>表示逐元素点乘，/>和/>表示权重参数，/>表示风格化的特征图。
根据本发明的一些实施例，所述可逆残差模块通过如下方式进行回归：
其中，表示把输入/>沿通道维度均分成两份，一份为/>，另一份为/>，表示所述可逆残差模块进行回归的输出，/>表示三个带有Relu激活层的卷积操作。
根据本发明的一些实施例，通过如下方式构建所述损失函数：
采用风格判别损失函数作为第一损失函数；
引入对比学习，构建对比损失函数；
引入GAN判别器，构建第二损失函数和第三损失函数；
基于所述第一损失函数、所述对比损失函数、所述第二损失函数和所述第三损失函数，构建所述损失函数。
根据本发明的一些实施例，通过如下方式构建对比损失函数：
其中，，/>表示风格投影网络，/>表示从刺绣图像中提取风格嵌入，/>表示用预训练的VGG网络提取的第/>层特征，/>表示对比学习中使用的一个温度超参数，/>表示由刺绣图像/>和内容图像/>生成的风格迁移后的刺绣风格图像，/>表示除了/>以外的所有组合，/>表示除了/>以外的所有组合。
根据本发明的一些实施例，通过如下方式构建所述第二损失函数和所述第三损失函数：
通过如下方式构建所述第二损失函数：
通过如下方式构建所述第三损失函数：
其中，表示采用的GAN判别器，/>表示刺绣图像数据集里的刺绣图像，/>表示一般艺术图像数据集的图像，/>表示风格迁移网络模型生成的风格迁移后的刺绣风格图像，表示纹理提取器提取纹理。
第二方面，本发明实施例还提供了一种无损数字刺绣图像风格迁移系统，所述无损数字刺绣图像风格迁移系统包括：
数据获取单元，用于获取内容图像和刺绣图像；
模型构建单元，用于构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；
特征获得单元，用于将所述内容图像和所述刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过所述可逆残差模块进行前向映射，得到所述内容图像的第一特征图和所述刺绣图像的第二特征图；
风格迁移单元，用于采用所述基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，得到风格化的特征图；
图像回归单元，用于对所述风格化的特征图采用所述可逆残差模块进行回归，得到风格迁移后的刺绣风格图像。
第三方面，本发明实施例还提供了一种无损数字刺绣图像风格迁移设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种无损数字刺绣图像风格迁移方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种无损数字刺绣图像风格迁移方法。
可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例的一种无损数字刺绣图像风格迁移方法的流程图；
图2是本发明另一实施例的无损数字刺绣图像风格迁移方法的流程图；
图3是本发明一实施例的风格迁移网络模型的结构示意图；
图4是本发明一实施例的可逆残差模块的示意图；
图5是本发明一实施例的对比学习过程示意图；
图6是本发明一实施例的对比损失函数训练示意图；
图7是本发明一实施例的一种无损数字刺绣图像风格迁移系统的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
现有的基于预训练模型的艺术风格迁移方法存在以下几个方面的问题：
内容泄露问题：使用一张内容图像和风格图像通过风格化网络生成风格化图像后，将风格化图像作为内容图像，风格图像继续作为风格图像进行多次风格化操作，会发现经过几次迭代后风格化结果中原内容图像的内容出现泄漏。风格异常问题：这个问题对于艺术风格迁移，尤其是绣品风格迁移极为不利。风格异常问题即当把风格化的图像（即拥有刺绣风格的自然图像）作为风格图，任意自然图像进行内容图再进行风格迁移过程后，生成的图像的风格会出现不符合预期的结果。
目前暂时没有针对数字刺绣这类绣品风格图像进行专门的风格化设计的方法，也就是说，用现有的艺术风格迁移的方法对具有刺绣风格的图像进行风格迁移后生成的刺绣风格化图像不包含一些刺绣所特有的风格特色和纹理细节，这是最主要的一个问题。现有的方法中存在一些方法采用流模型的思想来解决基于VGG提取特征的模型存在的内容泄露等问题，但基于流的模型由于对于特征提取可逆的要求，耦合模块的表征能力较弱，且由于使用的风格转换模块（AdaIN或WCT）自身的缺陷，风格化的效果不尽如人意，也很难对数字刺绣图像的风格进行良好的保持。
本发明通过采用可逆残差模块对内容图像和刺绣图像进行处理，可逆残差模块消除了基于预训练模型的方法中解码器的重建误差，完全可逆的设计使得整个风格迁移过程不存在内容和风格泄露问题，从而实现无损的风格迁移；采用基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，能过保证不存在内容泄露问题的同时将不同语义区域的风格转换到内容图像中对应语义区域，采用损失函数训练好的风格迁移网络模型，得到风格迁移后的刺绣风格图像，能够在解决内容泄露问题和风格异常问题的同时将刺绣图像的风格进行良好的保持。
参照图1，本发明实施例提供了一种无损数字刺绣图像风格迁移方法，本无损数字刺绣图像风格迁移方法包括但不限于步骤S100至步骤S500，其中：
步骤S100、获取内容图像和刺绣图像；
步骤S200、构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；
步骤S300、将内容图像和刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过可逆残差模块进行前向映射，得到内容图像的第一特征图和刺绣图像的第二特征图；
步骤S400、采用基于注意力机制的风格转换模块将第一特征图和第二特征图进行风格迁移，得到风格化的特征图；
步骤S500、对风格化的特征图采用可逆残差模块进行回归，得到风格迁移后的刺绣风格图像。
在本实施例中，为了避免内容泄露和风格异常，实现无损的风格迁移，本实施例通过获取内容图像和刺绣图像，构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型，将内容图像和刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过可逆残差模块进行前向映射，得到内容图像的第一特征图和刺绣图像的第二特征图；为了保证不存在内容泄露问题的同时将不同语义区域的风格转换到内容图像中对应语义区域，本实施例采用基于注意力机制的风格转换模块将第一特征图和第二特征图进行风格迁移，得到风格化的特征图，对风格化的特征图采用可逆残差模块进行回归，得到风格迁移后的刺绣风格图像。
在一些实施例中，可逆残差模块通过如下方式进行前向映射：
其中，表示把输入/>沿通道维度均分成两份，一份为/>，另一份为/>，表示可逆残差模块进行前向映射的输出，/>表示三个带有Relu激活层的卷积操作。
在本实施例中，函数采用三个带有Relu激活层的卷积操作来进行，通过卷积来耦合特征。由于这样的操作每次只能对一半的通道的信息进行操作，所以每次操作前本实施例会采用通道交换模块交换通道信息，从而使每个通道的信息都能得到处理，以更好的表征图像的特征。
在一些实施例中，基于注意力机制的风格转换模块通过如下方式将第一特征图和第二特征图进行风格迁移：
其中，表示注意力机制，/>表示利用注意力模块预测出的调制参数，/>表示归一化后的第一特征图，/>表示归一化后的第二特征图，/>表示求均值操作，/>表示逐元素点乘，/>和/>表示权重参数，/>表示风格化的特征图。
在本实施例中，采用注意力机制可以实现内容图像和刺绣图像相似语义区域的对应风格迁移，这完美契合刺绣图像用不同针法和留白来处理不同物像的特点，有助于对刺绣风格特色在风格迁移过程中加以保留。
在一些实施例中，可逆残差模块通过如下方式进行回归：
其中，表示把输入/>沿通道维度均分成两份，一份为/>，另一份为/>，表示可逆残差模块进行回归的输出，/>表示三个带有Relu激活层的卷积操作。
在本实施例中，通过回归实现可逆残差模块完全可逆的过程，使得整个风格化过程是无损的操作，即不存在内容风格泄漏的问题。
在一些实施例中，通过如下方式构建损失函数：
采用风格判别损失函数作为第一损失函数；
引入对比学习，构建对比损失函数；
引入GAN判别器，构建第二损失函数和第三损失函数；
基于第一损失函数、对比损失函数、第二损失函数和第三损失函数，构建损失函数。
在本实施例中，通过引入对比学习拉近由同一种刺绣风格生成图像之间的距离，推远由不同种刺绣风格生成图像之间的距离这不仅有助于提升风格化的效果，还有利于对每一种刺绣风格的学习，而不是学习到一个平均值；通过引入GAN判别器构建第二损失函数和第三损失函数，能够有助于风格迁移网络模型生成的图像更贴近刺绣风格特色，使得刺绣图像的风格进行良好的保持。
在一些实施例中，通过如下方式构建对比损失函数：
其中，，/>表示风格投影网络，/>表示从刺绣图像中提取风格嵌入，/>表示用预训练的VGG网络提取的第/>层特征，/>表示对比学习中使用的一个温度超参数，/>表示由刺绣图像/>和内容图像/>生成的风格迁移后的刺绣风格图像，/>表示除了/>以外的所有组合，/>表示除了/>以外的所有组合。
在一些实施例中，通过如下方式构建第二损失函数和第三损失函数：
通过如下方式构建第二损失函数：
通过如下方式构建第三损失函数：
其中，表示采用的GAN判别器，/>表示刺绣图像数据集里的刺绣图像，/>表示一般艺术图像数据集的图像，/>表示风格迁移网络模型生成的风格迁移后的刺绣风格图像，表示纹理提取器提取纹理。
在本实施例中，通过第二损失函数能够使得风格迁移网络模型从大量的真实数字刺绣图像中学习刺绣图像与一般艺术图像以及模型生成的风格化图像的区别，使风格化图像更接近于真实的绣品且与绘画艺术作品区别开来；通过第三损失函数能够使得风格迁移网络模型利用纹理提取器提取出刺绣图像的纹理和生成图像的纹理进行比较，进一步拉近生成图像与原始刺绣图像之间的距离。
为方便本领域人员理解，以下提供一组最佳实施例：
由于现有技术要么编解码器和转换模块存在内容风格泄露的问题，要么由于模块设计的限制导致风格化效果不佳，如出现不应该出现的伪影、风格转换不足以及无法针对刺绣的特色进行针对性的风格迁移导致效果与预期不同等问题。本实施例所采用的刺绣风格迁移方案是针对刺绣特色进行设计的不存在内容风格泄露问题的高质量无损数字刺绣图像风格迁移方法，高质量无损数字刺绣图像风格迁移方法可用于湘绣、苏绣等领域。参照图2，本实施例设计的方法具体包括以下几个步骤：
步骤1、前向映射过程。
将内容图像和刺绣图像/>输入风格迁移网络模型中，风格迁移网络模型包括可逆残差模块和基于注意力机制的风格转换模块，如图3所示。风格迁移网络模型支持正向和反向推理，并在映射-转移-回归方案中操作。内容图像/>和刺绣图像/>经过前向映射过程，将输入的内容图像/>和刺绣图像/>投影到深度特征中，得到内容图像和刺绣图像的特征图，分别记为第一特征图/>和第二特征图/>。
前向映射过程通过堆叠多个可逆残差块来提高风格迁移网络模型的耦合能力，以更好的表征图像的特征。可逆残差模块的结构如图4所示，可逆残差块通过将输入沿通道维度均分成两半得到/>和/>，并进行如公式（1）所示的计算后得到输出y，公式（1）计算公式为：
（1）
其中，表示把输入/>沿通道维度均分成两份，一份为/>，另一份为/>，表示可逆残差模块进行前向映射的输出，/>表示三个带有Relu激活层的卷积操作，通过卷积来耦合特征。由于这样的操作每次只能对一半的通道的信息进行操作，所以每次操作前本实施例都采用通道交换模块交换通道信息，从而使每个通道的信息都能得到处理。
需要说明的是，通道交换模块是现有的技术，现有的流模型都需要采用通道交换模块，一般通道交换模块采用一个1*1的可逆卷积或随机打乱通道或直接一半一半交换的方式，本实施例不做具体描述。
步骤2、将步骤1得到的第一特征图和第二特征图/>输入至风格转换模块，本实施例采用的风格转换模块是一种新型的基于注意力机制的自适应实例归一化模块，该风格转换模块可以实现内容图像和刺绣图像相似语义区域的对应风格迁移，这完美契合刺绣图像用不同针法和留白来处理不同物像的特点，有助于对刺绣风格特色在风格迁移过程中加以保留，具体方法如公式（2）所示：
（2）
其中，表示注意力机制，/>表示归一化处理后的第一特征图，/>表示归一化处理后的第二特征图，通过将输入的第一特征图/>和第二特征图/>归一化处理后输入至注意力模块（即注意力机制）中计算相似度匹配矩阵，即SA（）函数的输出，将该矩阵通过一个卷积层和激活层后得到两个调制参数/>，利用得到的两个参数作为自适应实例归一化模块的调制参数来实现刺绣图像风格特征的迁移，具体实现如公式（3）所示，经过风格转换模块后，得到风格化的特征/>并传入步骤三。公式3计算如下：
（3）
其中，表示求均值操作，对/>在每个通道上取均值，/>表示逐元素点乘，/>和/>表示权重参数，/>表示风格化的特征图。
步骤3、步骤3是将步骤2中得到的风格化的特征图输入可逆残差模块的回归过程，该过程采用与前向映射过程完全逆向的操作来将风格化的特征图转换回到风格迁移后的刺绣风格图像（即结果图），具体的操作如公式（4）所示：
（4）
其中，表示把输入/>沿通道维度均分成两份，一份为/>，另一份为/>，表示可逆残差模块进行回归的输出，/>表示三个带有Relu激活层的卷积操作。
通过这样的完全可逆的过程，使得整个风格化过程是无损的操作，即不存在基于预训练VGG提取特征进行风格化的方法存在的内容风格泄漏问题。
步骤4、通过前三个步骤本实施例获得了风格迁移后的刺绣风格图像，但是在风格迁移网络模型训练过程中，这不是本实施例所需要的东西，本实施例需要通过设计的损失函数反向传播计算梯度并更新前三步中的参数，让风格迁移网络模型能更好的对刺绣图像的风格进行迁移和保存。为了实现这个目的，本实施例在传统的内容感知损失和风格判别损失（内容感知损失和风格判别损失如公式（5）和公式（6）所示）的基础上，设计了两个针对刺绣图像的损失函数并引入了对比损失，具体来说：
1）刺绣图像风格多样，每种图像风格中又包含很多细分的小类，如中国画又可分为工笔和写意等，西画可分为油画和水彩等，不同的风格之间存在较大的差异，从直觉上来说，具有同一种刺绣风格的艺术品应该比具有不同风格的艺术品在风格方面更为相似，这正是对比学习做的事，本实施例通过引入对比学习拉近由同一种刺绣风格生成图像之间的距离，推远由不同种刺绣风格生成图像之间的距离这不仅有助于提升风格化的效果，还有利于本实施例对每一种刺绣风格的学习，而不是学习到一个平均值。具体实现方式如下：
如图5所示，本实施例将4张内容图像和4张风格图像按照这样的组合方式输入风格迁移网络模型中，得到8张风格迁移后的刺绣风格图像。本实施例这样规定，以S1C1为例，仅有与其具有相同风格的S1C2作为正例，除与其具有相同内容因子的S4C1外，其余都作为负例，然后进行如公式（7）所示的对比损失函数计算，从而使风格迁移网络模型更好的对刺绣风格进行学习。
2）更进一步的，本实施例设计了两个由刺绣特色决定的损失函数，第一个是针对刺绣图像与普通艺术图像之间存在区别以及模型生成的刺绣风格化结果通常与真实刺绣图像在人类感知方面存在一定的区别这两个问题，引入GAN判别器构建第二损失函数，如公式（8）所示，从大量的真实数字刺绣图像中学习刺绣图像与一般艺术图像以及模型生成的风格化图像的区别，使风格化图像更接近于真实的绣品且与绘画艺术作品区别开来，这一设计有助于生成的图像更贴近刺绣风格特色。
3）另一个损失函数则是针对刺绣的针法变换的，本实施例以纹理的方式来描述刺绣的针法，利用纹理提取器提取出刺绣图像的纹理和生成图像的纹理进行比较判别，引入GAN判别器构建第三损失函数，如公式（9）所示，本实施例采用与损失2类似的方式，利用GAN判别器判别从真实刺绣图像中提取出的纹理和从生成的刺绣风格化图像中提取的纹理，引导本实施例的生成模型往生成具有与刺绣图像更相似纹理的方向学习，进一步拉近生成图像与原始刺绣图像之间的距离。具体的损失函数包括：
（5）
其中，表示内容感知损失，/>表示用预训练的VGG网络提取的第/>层特征，/>表示总特征层数，/>表示风格迁移后的刺绣风格图像，/>表示内容图像。
（6）
其中，表示风格判别损失，/>和/>分别代表提取的特征图的均值和方差，/>表示刺绣数据集的图像，/>表示特征图的维数，/>表示风格化得到的结果图像。
（7）
其中，，/>表示风格投影网络，/>表示从刺绣图像中提取风格嵌入，/>表示用预训练的VGG网络提取的第/>层特征，/>表示对比学习中使用的一个温度超参数，如图6所示，/>表示由刺绣图像/>和内容图像/>生成的风格迁移后的刺绣风格图像，/>表示除了/>以外的所有组合，/>表示除了/>以外的所有组合。
（8）
其中，表示采用的GAN判别器，/>表示刺绣数据集的图像，/>表示一般艺术图像数据集的图像，/>表示风格迁移网络模型生成的风格迁移后的刺绣风格图像。
（9）
其中，表示采用的GAN判别器，/>表示纹理提取器提取纹理，/>表示刺绣数据集的图像，/>表示风格迁移网络模型生成的风格迁移后的刺绣风格图像。
在本实施例中，一方面通过分析基于预训练的VGG模型进行特征提取方法存在的内容风格泄漏问题，现有的流模型存在的风格化效果不佳这两个问题出现的原因，另一方面更重要的是发现现有的风格迁移技术几乎没有针对刺绣这一类绣品风格进行特别设计的方法，提出了基于对比学习和可逆残差网络的无损数字刺绣图像风格迁移方法，该方法的特征提取网络均采用可逆残差模块，该模块的使用消除了基于预训练模型的方法中解码器的重建误差，完全可逆的设计使得整个风格迁移过程不存在内容和风格泄露问题，从而实现无损的风格迁移，另外针对可逆模型风格化效果不佳，如何设计出能够针对数字刺绣风格特色进行迁移，保证生成的风格化图最大程度保存刺绣图像的风格的问题，我们设计了一个新型的基于注意力机制的自适应归一化模块并且引入了对比学习和设计了两个针对刺绣风格的损失。其中基于注意力机制的自适应归一化模块，可以根据内容特征和风格特征图在语义方面的相似性通过softmax函数得到注意力分数，并进一步对归一化模块的调制参数进行预测，可以在保证不存在内容泄露问题的同时，将不同语义区域的风格转换到内容图中对应语义区域，这完全契合了刺绣图像不同语义区域采用不同针法的特点，提升风格化效果的同时实现对刺绣风格的精确转化，由于刺绣图像风格多样，不同刺绣风格的差异也是较大的，从直觉上来说，具有同一种刺绣风格的艺术品应该比具有不同风格的艺术品在风格方面更为相似，这正是对比学习做的事，我们通过引入对比学习拉近由同一种刺绣风格生成图像之间的距离，推远由不同种刺绣风格生成图像之间的距离这不仅有助于提升风格化的效果，还有利于我们对每一种刺绣风格的学习，而不是学习到一个平均值。更进一步的，我们设计了两个由刺绣特色决定的损失函数，第一个是针对刺绣图像与普通艺术图像之间存在区别以及模型生成的刺绣风格化结果通常与真实刺绣图像在人类感知方面存在一定的区别的问题，引入GAN判别器，从大量的真实数字刺绣图像中学习刺绣图像与一般艺术图像以及模型生成的风格化图像的区别，使风格化图像更接近于真实的绣品且与绘画艺术作品区别开来，这一设计有助于生成的图像更贴近刺绣风格特色。另一个损失则是针对刺绣的针法变换的，我们以纹理的方式来描述刺绣的针法，利用纹理提取器提取出刺绣图像的纹理和生成图像的纹理进行比较，进一步拉近生成图像与原始刺绣图像之间的距离，经过以上设计，我们的发明可以在解决内容泄露，风格化效果不佳等问题的同时将刺绣特有的一些针法，留白等特色在风格化过程中良好的保留下来，实现针对刺绣图像的高质量无损数字刺绣图像风格迁移方法。
参照图7，本发明实施例还提供了一种无损数字刺绣图像风格迁移系统，本无损数字刺绣图像风格迁移系统包括数据获取单元100、模型构建单元200、特征获得单元300、风格迁移单元400和图像回归单元500，其中：
数据获取单元100，用于获取内容图像和刺绣图像；
模型构建单元200，用于构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；
特征获得单元300，用于将内容图像和刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过可逆残差模块进行前向映射，得到内容图像的第一特征图和刺绣图像的第二特征图；
风格迁移单元400，用于采用基于注意力机制的风格转换模块将第一特征图和第二特征图进行风格迁移，得到风格化的特征图；
图像回归单元500，用于对风格化的特征图采用可逆残差模块进行回归，得到风格迁移后的刺绣风格图像。
需要说明的是，由于本实施例中的一种无损数字刺绣图像风格迁移系统与上述的一种无损数字刺绣图像风格迁移方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本系统实施例，此处不再详述。
本发明实施例还提供了一种无损数字刺绣图像风格迁移设备，包括：至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的一种无损数字刺绣图像风格迁移方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的一种无损数字刺绣图像风格迁移方法，例如，执行以上描述的图1中的方法步骤S100至步骤S500。
以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种无损数字刺绣图像风格迁移方法，例如，执行以上描述的图1中的方法步骤S100至步骤S500的功能。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (6)

1.一种无损数字刺绣图像风格迁移方法，其特征在于，所述无损数字刺绣图像风格迁移方法包括：
获取内容图像和刺绣图像；
构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；
将所述内容图像和所述刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过所述可逆残差模块进行前向映射，得到所述内容图像的第一特征图和所述刺绣图像的第二特征图；其中，通过如下方式构建所述损失函数：
采用风格判别损失函数作为第一损失函数；
引入对比学习，构建对比损失函数；其中，通过如下方式构建对比损失函数：
，
其中，，/>表示风格投影网络，/>表示从刺绣图像中提取风格嵌入，表示用预训练的VGG网络提取的第/>层特征，/>表示对比学习中使用的一个温度超参数，/>表示由刺绣图像/>和内容图像/>生成的风格迁移后的刺绣风格图像，/>表示除了/>以外的所有组合，/>表示除了/>以外的所有组合；
引入GAN判别器，构建第二损失函数和第三损失函数；其中，通过如下方式构建所述第二损失函数和所述第三损失函数：
通过如下方式构建所述第二损失函数：
，
通过如下方式构建所述第三损失函数：
，
其中，表示采用的GAN判别器，/>表示刺绣图像数据集里的刺绣图像，/>表示一般艺术图像数据集的图像，/>表示风格迁移网络模型生成的风格迁移后的刺绣风格图像，/>表示纹理提取器提取纹理；
基于所述第一损失函数、所述对比损失函数、所述第二损失函数和所述第三损失函数，构建所述损失函数；
采用所述基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，得到风格化的特征图；具体为：
，
，
其中，表示注意力机制，/>表示利用注意力模块预测出的调制参数，/> 表示归一化后的第一特征图，/>表示归一化后的第二特征图，/>表示求均值操作，/>表示逐元素点乘，/>和/>表示权重参数，/>表示风格化的特征图；
对所述风格化的特征图采用所述可逆残差模块进行回归，得到风格迁移后的刺绣风格图像。
2.根据权利要求1所述的无损数字刺绣图像风格迁移方法，其特征在于，所述可逆残差模块通过如下方式进行前向映射：
，
其中，表示把输入/>沿通道维度均分成两份，一份为/>，另一份为/>，/>表示所述可逆残差模块进行前向映射的输出，/>表示三个带有Relu激活层的卷积操作。
3.根据权利要求1所述的无损数字刺绣图像风格迁移方法，其特征在于，所述可逆残差模块通过如下方式进行回归：
，
其中，表示把输入/>沿通道维度均分成两份，一份为/>，另一份为/>，/>表示所述可逆残差模块进行回归的输出，/>表示三个带有Relu激活层的卷积操作。
4.一种无损数字刺绣图像风格迁移系统，其特征在于，所述无损数字刺绣图像风格迁移系统包括：
数据获取单元，用于获取内容图像和刺绣图像；
模型构建单元，用于构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；
特征获得单元，用于将所述内容图像和所述刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过所述可逆残差模块进行前向映射，得到所述内容图像的第一特征图和所述刺绣图像的第二特征图；其中，通过如下方式构建所述损失函数：
采用风格判别损失函数作为第一损失函数；
引入对比学习，构建对比损失函数；其中，通过如下方式构建对比损失函数：
，
其中，，/>表示风格投影网络，/>表示从刺绣图像中提取风格嵌入，表示用预训练的VGG网络提取的第/>层特征，/>表示对比学习中使用的一个温度超参数，/>表示由刺绣图像/>和内容图像/>生成的风格迁移后的刺绣风格图像，/>表示除了/>以外的所有组合，/>表示除了/>以外的所有组合；
引入GAN判别器，构建第二损失函数和第三损失函数；其中，通过如下方式构建所述第二损失函数和所述第三损失函数：
通过如下方式构建所述第二损失函数：
，
通过如下方式构建所述第三损失函数：
，
其中，表示采用的GAN判别器，/>表示刺绣图像数据集里的刺绣图像，/>表示一般艺术图像数据集的图像，/>表示风格迁移网络模型生成的风格迁移后的刺绣风格图像，/>表示纹理提取器提取纹理；
基于所述第一损失函数、所述对比损失函数、所述第二损失函数和所述第三损失函数，构建所述损失函数；
风格迁移单元，用于采用所述基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，得到风格化的特征图；具体为：
，
，
其中，表示注意力机制，/>表示利用注意力模块预测出的调制参数，/> 表示归一化后的第一特征图，/>表示归一化后的第二特征图，/>表示求均值操作，/>表示逐元素点乘，/>和/>表示权重参数，/>表示风格化的特征图；
图像回归单元，用于对所述风格化的特征图采用所述可逆残差模块进行回归，得到风格迁移后的刺绣风格图像。
5.一种无损数字刺绣图像风格迁移设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至3任一项所述的无损数字刺绣图像风格迁移方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至3任一项所述的无损数字刺绣图像风格迁移方法。
CN202311345903.9A 2023-10-18 2023-10-18 一种无损数字刺绣图像风格迁移方法、系统、设备及介质 Active CN117094882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311345903.9A CN117094882B (zh) 2023-10-18 2023-10-18 一种无损数字刺绣图像风格迁移方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311345903.9A CN117094882B (zh) 2023-10-18 2023-10-18 一种无损数字刺绣图像风格迁移方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN117094882A CN117094882A (zh) 2023-11-21
CN117094882B true CN117094882B (zh) 2024-01-12

Family

ID=88770203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311345903.9A Active CN117094882B (zh) 2023-10-18 2023-10-18 一种无损数字刺绣图像风格迁移方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN117094882B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819692A (zh) * 2021-02-21 2021-05-18 北京工业大学 一种基于双重注意力模块的实时任意风格迁移方法
CN114494789A (zh) * 2022-04-02 2022-05-13 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质
CN115221842A (zh) * 2022-08-31 2022-10-21 内江师范学院 一种基于小样本数据集的字体风格迁移方法、系统及设备
CN116452408A (zh) * 2022-12-01 2023-07-18 威胜信息技术股份有限公司 一种基于风格迁移的透明液体感知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819692A (zh) * 2021-02-21 2021-05-18 北京工业大学 一种基于双重注意力模块的实时任意风格迁移方法
CN114494789A (zh) * 2022-04-02 2022-05-13 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质
CN115221842A (zh) * 2022-08-31 2022-10-21 内江师范学院 一种基于小样本数据集的字体风格迁移方法、系统及设备
CN116452408A (zh) * 2022-12-01 2023-07-18 威胜信息技术股份有限公司 一种基于风格迁移的透明液体感知方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CAP-VSTNet: Content Affinity Preserved Versatile Style Transfer;Wen L, Gao C, Zou C;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition》;18300-18309 *
Image disentanglement autoencoder for steganography without embedding;Liu X, Ma Z, Ma J, et al.;《Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022》;2303-2312 *
SAFIN: Arbitrary Style Transfer with Self-Attentive Factorized Instance Normalization;A. Singh, S. Hingane, X. Gong and Z. Wang;《2021 IEEE International Conference on Multimedia and Expo (ICME)》;1-6 *
基于内容风格迁移的残缺稀疏文字图像盲修复方法;刘栋斌, 王慧琴, 王可;《Laser & Optoelectronics Progress, 2022》;第59卷(第24期);2411001-2411001-12 *

Also Published As

Publication number Publication date
CN117094882A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN109685135B (zh) 一种基于改进型度量学习的少样本图像分类方法
EP3828765A1 (en) Human body detection method and apparatus, computer device, and storage medium
US10740881B2 (en) Deep patch feature prediction for image inpainting
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
TWI755175B (zh) 圖像分割方法、電子設備和儲存介質
CN108701234A (zh) 车牌识别方法及云系统
CN117079139B (zh) 一种基于多尺度语义特征的遥感图像目标检测方法及系统
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112070777A (zh) 一种基于增量学习的多场景下的危及器官分割方法及设备
CN111382647A (zh) 一种图片处理方法、装置、设备及存储介质
CN111325212A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
Wang et al. Concept Algebra for (Score-Based) Text-Controlled Generative Models
CN117094882B (zh) 一种无损数字刺绣图像风格迁移方法、系统、设备及介质
Du et al. Boosting dermatoscopic lesion segmentation via diffusion models with visual and textual prompts
CN113837179A (zh) 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质
CN116630745B (zh) 用于图像的端到端半监督目标检测方法、装置和可读介质
CN115984949B (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN116469103A (zh) 一种医学图像分割数据自动标注的方法
KR102437959B1 (ko) 픽셀간 상관 관계를 활용하는 시멘틱 세그멘테이션에서의 비지도 도메인 적응 장치 및 그 장치의 구동방법
Liu et al. Joint estimation of depth and motion from a monocular endoscopy image sequence using a multi-loss rebalancing network
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质
CN114581340A (zh) 一种图像校正方法及设备
JP2023069083A (ja) 学習装置、学習方法、学習プログラム、物体検出装置、物体検出方法、物体検出プログラム、学習支援システム、学習支援方法及び学習支援プログラム
CN113610016A (zh) 视频帧特征提取模型的训练方法、系统、设备及存储介质
CN108629402A (zh) 用于图像处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant