CN117475262B - 图像生成方法、装置、存储介质及电子设备 - Google Patents

图像生成方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN117475262B
CN117475262B CN202311804219.2A CN202311804219A CN117475262B CN 117475262 B CN117475262 B CN 117475262B CN 202311804219 A CN202311804219 A CN 202311804219A CN 117475262 B CN117475262 B CN 117475262B
Authority
CN
China
Prior art keywords
target
image
feature
region
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311804219.2A
Other languages
English (en)
Other versions
CN117475262A (zh
Inventor
徐海俊
韩晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Mega Technology Co Ltd
Original Assignee
Suzhou Mega Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Mega Technology Co Ltd filed Critical Suzhou Mega Technology Co Ltd
Priority to CN202311804219.2A priority Critical patent/CN117475262B/zh
Publication of CN117475262A publication Critical patent/CN117475262A/zh
Application granted granted Critical
Publication of CN117475262B publication Critical patent/CN117475262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/042—Backward inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像生成方法、装置、存储介质及电子设备。其中，图像生成方法包括：在目标图像中确定第一替换区域和第二替换区域；对目标图像进行特征提取，以获得目标图像的目标特征图谱；在目标特征图谱中确定与第一替换区域位置对应的第一特征区域和与第二替换区域位置对应的第二特征区域；在目标特征图谱中，根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换，以获取对第一特征区域的图谱信息进行变换后的目标合成图谱；将目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，图像生成模型用于根据目标合成图谱进行逆向推理得到目标合成图像。该方案所获得目标合成图像更逼真，图像效果更理想。

Description

图像生成方法、装置、存储介质及电子设备
技术领域
本发明涉及图像处理领域，更具体地涉及一种图像生成方法、装置、存储介质及电子设备。
背景技术
随着工业生产中对产品质量的要求越来越高，各种产品质量检测技术已被广泛引入相关行业。
在基于图像检测的产品质量检测技术中，可以通过神经网络模型可以对产品外观、结构等进行检测，以排除缺陷产品。而神经网络模型通过外观检测物品质量时，需要对应的图像数据进行训练。而工业领域的图像数据通常较为缺乏，因此一种有效的应用于工业生产的图像生成技术非常重要。
发明内容
考虑到上述问题而提出了本发明。
根据本发明一个方面，提供了一种图像生成方法。所述方法包括：
在目标图像中确定第一替换区域和第二替换区域；
对所述目标图像进行特征提取，以获得所述目标图像的目标特征图谱；
在所述目标特征图谱中确定与所述第一替换区域位置对应的第一特征区域和与所述第二替换区域位置对应的第二特征区域；
在所述目标特征图谱中，根据所述第二特征区域的图谱信息对所述第一特征区域的图谱信息进行变换，以获取对所述第一特征区域的图谱信息进行变换后的目标合成图谱；
将所述目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，所述图像生成模型用于根据所述目标合成图谱进行逆向推理得到所述目标合成图像。
示例性地，在目标特征图谱中，根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换，包括：
对于所述第一特征区域中的每个第一特征值，在所述第二特征区域中确定第二特征值；
利用所述第二特征值替换所述第一特征区域中的第一特征值。
示例性地，在所述第二特征区域中确定第二特征值，包括：在所述第二特征区域中随机确定第二特征值。
示例性地，所述根据所述第二特征区域的图谱信息对所述第一特征区域的图谱信息进行变换，以获取对所述第一特征区域的图谱信息进行变换后的目标合成图谱，包括：利用所述第二特征区域的图谱信息直接对所述第一特征区域的图谱信息进行替换。
示例性地，对目标图像进行特征提取，以获得目标图像的目标特征图谱，包括：将所述目标图像输入特征提取模型，以得到多个目标特征图谱；
在所述目标特征图谱中确定与第一替换区域位置对应的第一特征区域和与第二替换区域位置对应的第二特征区域，包括：在每个目标特征图谱中，确定与所述第一替换区域位置对应的第一图谱信息以及与所述第二替换区域位置对应的第二图谱信息，其中，所述第一特征区域的图谱信息包括所有目标特征图谱中的第一图谱信息，所述第二特征区域的图谱信息包括所有目标特征图谱中的第二图谱信息。
示例性地，特征提取模型为无标签的知识蒸馏模型。
示例性地，方法还包括：
对所述样本图像进行特征提取，以获得所述样本图像的样本特征图谱；
将所述样本特征图谱输入到原始的图像生成模型，以得到复原图像；
基于所述复原图像和所述样本图像之间的差异，训练所述原始的图像生成模型，以获得所述经训练的图像生成模型。
示例性地，在目标图像中确定第一替换区域和第二替换区域，包括：对所述目标图像进行目标检测，以获得所述第一替换区域或所述第二替换区域。
示例性地，图像生成模型为稳态扩散模型，所述将所述目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，包括：将所述目标合成图谱和所述目标图像输入经训练的稳态扩散模型，其中，所述目标合成图谱作为所述稳态扩散模型的条件信息，将所述目标图像作为所述稳态扩散模型的输入图像。
根据本发明另一方面，还提供了一种图像生成装置，包括：
第一确定模块，用于在目标图像中确定第一替换区域和第二替换区域；
特征提取模块，用于对所述目标图像进行特征提取，以获得所述目标图像的目标特征图谱；
第二确定模块，用于在所述目标特征图谱中确定与所述第一替换区域位置对应的第一特征区域和与所述第二替换区域位置对应的第二特征区域；
特征变换模块，用于在所述目标特征图谱中，根据所述第二特征区域的图谱信息对所述第一特征区域的图谱信息进行变换，以获取对所述第一特征区域的图谱信息进行变换后的目标合成图谱；
图像生成模块，用于将所述目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，所述图像生成模型用于根据所述目标合成图谱进行逆向推理得到所述目标合成图像。
根据本发明又一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述的图像生成方法。
根据本发明再一方面，还提供了一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述的图像生成方法。
在上述技术方案中，将目标图像对应的特征图谱进行更改，并将更改后的特征图谱作为图像生成模型的输入，以生成目标合成图像。由此，所获得目标合成图像更逼真，图像效果更理想。该目标合成图像有助于保证用于产品质量检测的学习模型的训练效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出了根据本发明一个实施例的图像生成方法的示意性流程图；
图2示出了根据本发明一个实施例的根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换的示意性流程图；
图3示出了根据本发明一个实施例的训练图像生成模型的示意性流程图；
图4示出了根据本发明又一个实施例的图像生成方法的示意图；
图5示出了根据本发明一个实施例的图像生成装置的示意性框图；以及
图6示出了根据本发明一个实施例的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明的实施例的图像生成方法基于图像的特征分布，或者通过涂抹已有图像中的前景区域生成背景区域，或者通过涂抹已有图像中的背景区域生成前景区域，以生成不同的图像。由此，可以提供更多逼真的图像。该图像生成方法可以应用于需要大量图像的应用场景，例如对人工智能学习模型进行训练。图像样本是进行图像识别模型训练的重要输入数据，真实的图像样本能够有效提升所训练的模型进行图像识别的准确性。例如，在工业检测中，需要对产品的外观缺陷进行检测，以排除缺陷产品。此时可以利用人工智能模型对获取的产品的外观图像进行图像识别，确定该产品是否为缺陷产品。人工智能模型在进行图像识别时需要大量的图像样本数据进行训练。如果图像样本少、真实度低，则该人工智能模型的训练效果难以保证，进而影响利用其进行图像识别的准确度。而在工业检测中，真实的缺陷图像样本较少，不足以支持用于图像识别的人工智能模型的训练。
为了至少部分地解决上述问题，本发明实施例提供一种图像生成方法。该图像生成方法中，以修改图像的特征图像为基础，通过图像逆向推理生成不同的图像。
图1示出了根据本发明一个实施例的图像生成方法的示意性流程图。如图1所示，所述方法包括以下步骤S110至步骤S150。
在步骤S110，在目标图像中确定第一替换区域和第二替换区域。
目标图像可以是任何合适的图像。示例性地，目标图像可以是RGB图像或灰度图像。目标图像可以是静态图像，也可以是动态视频中的任一视频帧。目标图像可以是任意合适尺寸、合适分辨率的图像。目标背景图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善目标图像的视觉效果，提高其清晰度，或是突出图像中的某些特征的所有操作。示例性而非限制性地，预处理操作可以包括对原始图像的数字化、几何变换、归一化、滤波等操作。目标图像在不影响后续图像处理的基础上，还可以为经合成的图像。
第一替换区域和第二替换区域为目标图像中的不同的区域。第二替换区域用于替换第一替换区域。可以根据需求确定第一替换区域和第二替换区域。如果希望目标合成图像相对于目标图像减少前景区域，则可以确定目标替换区域的至少一部分前景区域为第一替换区域，而确定目标替换区域的至少一部分背景区域为第二替换区域；如果希望目标合成图像相对于目标图像减少背景区域，则反之。
示例性地，可以通过人工根据其期望在目标图像中确定第一替换区域和第二替换区域的位置，由此获得第一替换区域和第二替换区域。
在步骤S120，对目标图像进行特征提取，以获得目标图像的目标特征图谱。
特征图谱可以简称为特征图，其可以是一个或多个。在此步骤中，可以利用卷积神经网络来对目标图像进行特征提取，以获得其特征图谱。该卷积神经网络可以包括一系列卷积核，由其对目标图像进行卷积操作。特征图谱可以看作是原始图像的抽象表示，其中每个像素点表示一些特定的特征。
步骤S130，在目标特征图谱中确定与第一替换区域位置对应的第一特征区域和与第二替换区域位置对应的第二特征区域。
基于位置对应关系，根据第一替换区域在目标图像中的位置在目标特征图谱中确定第一特征区域，根据第二替换区域在目标图像中的位置在目标特征图谱中确定第二特征区域。
在步骤S140，在目标特征图谱中，根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换，以获取对第一特征区域的图谱信息进行变换后的目标合成图谱。
在步骤S130,确定了第一特征区域与第二特征区域分别对应的位置后，可以获得第一特征区域内的图谱信息以及第二特征区域内的图谱信息。在此步骤中，基于目标特征图谱中的第二特征区域的图谱信息，对目标特征图谱中的第一特征区域的图谱信息进行变换，由此，该第一特征区域的图谱信息会发生变化。可以理解，目标特征图谱中的第二特征区域的图谱信息仅作为变换第一特征区域内的图谱信息的基础，其自身不会改变。
上述变换操作，可以为替换操作。换言之，利用第二特征区域的图谱信息直接替换第一特征区域的图谱信息。示例性地，当获得的目标特征图谱为多个时，可以在每个目标特征图谱中，根据第二替换区域中的图谱信息对第一替换区域中的图谱信息进行替换。
步骤S150，将目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，该图像生成模型用于根据目标合成图谱进行逆向推理得到目标合成图像。
图像生成模型可以为经过训练的神经网络模型，其能够根据输入的特征图谱进行逆向推理，以生成该特征图谱所对应的图像。可以理解，“逆向推理”操作是相对于特征提取操作而言的。特征提取操作是指对输入的图像提取其中的特征，即步骤S120中所执行的操作。而逆向推理操作是根据输入的图像特征获得该图像特征所对应的图像。图像生成模型可以为现有的或未来研发的能够根据输入的特征图谱进行逆向推理生成图像的模型，本申请对此不做限制。
在视觉上，图像生成模型所输出的目标合成图像为基于目标图像的第二替换区域的图像信息变换了其中的第一替换区域中的图像信息图像。通过图像生成模型得到的目标合成图像避免了直接进行图像区域替换导致替换后图像的突兀，使得最终得到的图像更符合预期需求，更接近真实的图像。
在上述技术方案中，将目标图像对应的特征图谱进行更改，并将更改后的特征图谱作为图像生成模型的输入，以生成目标合成图像。由此，所获得目标合成图像更逼真，图像效果更理想。该目标合成图像有助于保证用于产品质量检测的学习模型的训练效果。
示例性地，上述的第一替换区域或第二替换区域，可以在步骤S110中通过对目标图像进行目标检测获得。目标检测（Object Detection）能够用于确定图像中感兴趣的目标的位置。根据区域中是否包括目标，可以通过目标检测模型获得第一替换区域或第二替换区域。示例性地，目标图像可以是芯片（Die）的图像。芯片上可以设置有通孔，其所在区域可以作为前景区域，而其他区域作为背景区域。可以将一个通孔所在区域作为第一替换区域，将背景区域中的一部分区域作为第二替换区域。在此示例中，可以以通孔为目标，对芯片图像进行目标检测，来确定第一替换区域。
通过目标检测自动获取第一替换区域或第二替换区域，在保证系统的准确性的同时，提高了整体系统的响应速度，进而提高了图像生成的效率。
示例性地，步骤S120，对目标图像进行特征提取，以获得所述目标图像的目标特征图谱，可以包括：将目标图像输入特征提取模型，以得到多个目标特征图谱。该特征提取模型可以任何现有的或未来研发的用于特征提取的学习模型。示例性地，特征提取模型可以是基于样本图像训练而获得的。替代地，特征提取模型也可以未经训练，直接利用数据建模而获得的。特征提取模型所输出的目标特征图谱与目标图像的尺寸可以相同也可以不同。可以理解，可以对特征提取模型所输出的目标特征图谱进行图像缩放，以使其与目标图像的尺寸相同。由此，可以便于后续图像处理。
当获得的目标特征图谱为多个时，步骤S130在目标特征图谱中确定与第一替换区域位置对应的第一特征区域和与第二替换区域位置对应的第二特征区域，可以包括：在每个目标特征图谱中，确定与第一替换区域位置对应的第一图谱信息以及与第二替换区域位置对应的第二图谱信息。第一特征区域的图谱信息包括所有目标特征图谱中的第一图谱信息，第二特征区域的图谱信息包括所有目标特征图谱中的第二图谱信息。在这种情况下，每个目标图谱的同一位置的特征值，可以组成特征向量，其可以称为当前点的特征向量值。由此，多个目标特征图谱可以记为C×H×W，其中，C表示目标特征图谱的个数，H和W分别表示目标特征图谱的高和宽。
对于一个目标图像，获得其多个目标特征图谱，以从多个角度描述其特征。这些目标特征图谱作为后续进行图像生成的基础，所最终得到的目标合成图像效果更好。
示例性地，特征提取模型为无标签的知识蒸馏模型。
无标签的知识蒸馏是自蒸馏的学习模型，无需利用标签进行训练，就可以根据输入图像得到与该图像大小相同的特征图谱。无标签的知识蒸馏可以根据一个输入图像，得到多个特征图谱。无标签的知识蒸馏可以去除图像中的冗余信息，更专注于学习图像中的本质特征。
在上述技术方案中，利用无标签的知识蒸馏来获得目标图像的目标特征图谱，可以简化模型复杂度，同时提高模型的泛化能力。此外，无标签的知识蒸馏无需图像样本来进行训练，由此在目标图像较少的情况下仍能够保证特征提取的准确性。进而，在仅有较少的目标图像的情况下，保证了该图像生成方法所生成的目标合成图像的逼真效果。
示例性地，步骤S140在目标特征图谱中，根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换，以获取对第一特征区域的图谱信息进行变换后的目标合成图谱，可包括：利用第二特征区域的图谱信息直接对第一特征区域的图谱信息进行替换，以获取目标合成图谱。第二特征区域和第一特征区域的形状和大小可以相同。可以利用第二特征区域的图谱信息直接对第一特征区域的图谱信息进行替换。具体地，可以根据第一特征区域和第二特征区域各自在目标特征图谱中的位置，计算第二特征区域与第一特征区域在不同方向上的距离，例如特征图谱的横向和纵向。然后，根据所计算的距离移动第二特征区域，以替换第一特征区域。
上述技术方案中，利用第二特征区域的图谱信息直接对第一特征区域的图谱信息进行替换。换言之，该方案中，以区域为单位执行整体替换。该方案可以减少生成目标特征图谱过程中的计算数据量，提升图像生成的速度。
图2示出了根据本发明一个实施例的根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换的示意性流程图。如图2所示，步骤S140，在目标特征图谱中，根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换，以获取对第一特征区域的图谱信息进行变换后的目标合成图谱，可包括步骤S141和步骤S142。
在步骤S141，对于第一特征区域中的每个第一特征值，在第二特征区域中确定第二特征值。换言之，第一特征值为目标特征图谱的第一特征区域中的像素值，第二特征值为目标特征图谱的第二特征区域中的像素值。
可以理解目标特征图谱是对目标图像进行特征提取所获得的，可以认为目标特征图谱中的特征值表示目标图像中的像素的像素值。特征值在目标特征图谱中的位置与其所表示的像素在目标图像中的位置对应。在目标图像与目标特征图谱尺寸相同的实施例中，目标特征图谱中的一个特征值表示目标图像中的一个像素。特征值在目标特征图谱中的位置与其所表示的像素在目标图像中的位置对应是指二者各自的横坐标和纵坐标均共同。可以理解，在目标图像与目标特征图谱尺寸不同的实施例中，例如目标图像的尺寸大于目标特征图谱的尺寸，则目标特征图谱中的一个特征值可能表示目标图像中的多个像素。
步骤S142，利用第二特征值替换第一特征区域中的第一特征值。
在此步骤中，可以遍历第一特征区域中的每个第一特征值，将该第一特征值替换为第二特征区域中的第二特征值，直至将第一特征区域中全部第一特征值替换完成为止。
上述技术方案中，以目标特征图谱中的特征值为单位进行替换。由此，所生成的目标特征图谱细节更丰富。进而，保证了图像生成方法所生成的目标合成图像更逼真。
示例性地，当以特征值为单位进行第一特征区域中的图谱信息替换时，步骤S141可以包括：在第二特征区域中，随机确定第二特征值。
在该示例中，在遍历第一特征区域中的第一特征值时，在第二特征区域中确定随机的第二特征值，而不是与第一特征值在第一特征区域中的位置对应的第二特征值，然后将第一特征区域中待替换的特征值替换为随机抽取的第二特征值。
在上述技术方案中，基于第二特征区域中的随机确定的第二特征值来替换第一特征区域中的第一特征值。因为第二特征区域对应于目标图像中的预先确定好第二替换区域，通过在其中随机抽取特征值的方式得到用于替换的第二特征值，可以丰富所生成的目标合成图谱，同时可以减少进行数据替换时确定特征值位置的计算量，提高了图像生成效率。
图3示出了根据本发明一个实施例的训练图像生成模型的示意性流程图。可选地，上述图像生成方法还可包括训练图像生成模型的步骤。如图3所示，所述训练图像生成模型可以包括以下步骤S101至步骤S103。
在步骤S101，对样本图像进行特征提取，以获得样本图像的样本特征图谱。
样本图像可以为通过检测得到的真实图像，也可以为合成的图像。在一实施例中，可以通过已经训练好的特征提取模型对样本图像进行特征提取，以得到样本特征图谱。
步骤S101与前述步骤S120类似，为了简洁，在此不再赘述。
步骤S102，将样本特征图谱输入到原始的图像生成模型，以得到复原图像。
原始的图像生成模型可以为未训练或未完成训练的图像生成模型。可以通过训练提高其生成图像的性能。复原图像为原始的图像生成模型根据输入的样本特征图谱进行逆向推理得到的图像。复原图像用于与样本图像进行对比，以确定复原图像和样本图像之间的差异。
步骤S103，基于复原图像和样本图像之间的差异，训练原始的图像生成模型，以获得经训练的图像生成模型。
复原图像与样本图像之间的差异表征当前的图像生成模型的性能。该差异越大，表示当前的图像生成模型的性能越差；否则，反之。基于复原图像和样本图像之间的差异，对图像生成模型进行训练，例如修改图像生成模型的参数，使其图像生成性能逐渐提升，直至得到符合需求的经训练的图像生成模型。
经训练的图像生成模型可以用于根据目标合成图谱进行逆向推理得到更理想的目标合成图像。相较于原始的图像生成模型，经训练的图像生成模型生成的图像更符合预期需求，效率更高。
示例性地，图像生成模型为稳态扩散(stable-diffusion)模型。上述步骤S150，将目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，包括：将目标合成图谱和目标图像输入经训练的稳态扩散模型，其中，目标合成图谱作为稳态扩散模型的条件信息，将目标图像作为稳态扩散模型的输入图像。
根据本申请的实施例，基于目标图像的规律分布，利用其目标特征图谱中包含的分布信息作为指导，把噪声图像逐步去噪，生成与特征图谱匹配的目标合成图像。具体地，在稳态扩散模型中图像生成的过程中，逐渐向图像中添加噪声，随着噪声的添加，稳态扩散模型逐渐学习目标图像的特性。在目标特征图谱所给出的条件信息的指导下，可以根据该目标特征图谱生成期望的目标合成图像。
稳态扩散模型可以是空间变换器（Spatial Transformer）架构，其可以包括U-Net网络。空间变换器架构可以包括交叉注意力模块（Cross-Attention）和基本变换器模块（Basic Transformer）等。在接收目标图像作为稳态扩散模型的输入图像时，将目标图像的目标特征图谱作为条件信息，二者使用交叉注意力模块进行建模。可以理解，在交叉注意力模块进行建模前，可以利用编码器对目标特征图谱进行编码。在交叉注意力模块中，目标图像作为查询（Query）关键字，目标特征图谱作为关键值，因此交叉注意力模块能够学习目标图像和目标特征图谱相应内容的相关性。基本变换器模块实际调用交叉注意力模块，基于交叉注意力模块所学习的相关性来生成目标合成图像。总之，在稳态扩散模型进行图像的逆向推理时，除了输入高斯噪声和目标图像外，还输入目标图像对应的目标特征图谱作为条件信息，据此可以生成指定的目标合成图像。
上述技术方案中，将稳态扩散模型作为图像生成模型，利用输入的目标合成图谱作为条件信息来生成目标合成图像。相较于向稳态扩散模型中输入文本信息来作为条件信息，根据输入的目标合成图谱生成的指定图像更符合预期要求。
图4示出了根据本发明又一个实施例的图像生成方法的示意图。
示例性地，在进行图像生成前，可以对稳态扩散模型进行训练，以得到可以用于图像生成的经训练的稳态扩散模型。训练时可以通过经训练的无标签的知识蒸馏模型提取样本图像的特征，得到样本特征图谱。对于稳态扩散模型的训练，可以将提取的样本特征图谱经过稳态扩散模型中的编码器后，输入到U-Net结构的深层网络中，得到对应样本图像的复原图像。基于复原图像和样本图像之间的差异，训练稳态扩散模型，得到可以用于图像生成的经训练的稳态扩散模型。可以理解，上述稳态扩散模型的训练过程可以是个反复的过程，该过程可以持续到经训练的稳态扩散模型满足要求或者满足其他训练完成条件，以得到符合要求的经训练的稳态扩散模型。
示例性地，如图4所示，获取目标图像后，通过经训练的无标签的知识蒸馏模型得到目标图像的多个目标特征图谱。其中，所有目标特征图谱的同一位置的特征值，可以组成特征向量。无标签的知识蒸馏模型所输出的目标特征图谱对应的特征集合可以记为C×H×W。其中，C表示目标特征图谱的个数，H和W分别表示目标特征图谱的高和宽。
示例性地，如图4所示，在目标图像中可以确定第一替换区域和第二替换区域。第一替换区域为待涂抹的区域。第二替换区域为涂抹第一替换区域所依据的区域。第一替换区域和第二替换区域的作用不同，但是可以用同样的表达。为了简洁，下面以第一替换区域为例来进行描述。第一替换区域可以用其位置来表达。
其中，（x,y）表示目标图像中的像素坐标，指第一替换区域中的像素坐标集合。
在通过经训练的无标签的知识蒸馏模型得到目标特征图谱后，可以根据目标图像中的第一替换区域确定在每个目标特征图谱中对应的第一特征区域。
示例性地，根据，可以通过如下公式确定第一特征区域/>：
其中，(h，w)表示在目标特征图谱中的、对应第一替换区域中的像素的特征值坐标，表示在目标特征图谱中的、对应第一替换区域中的像素的特征值坐标集合。
类似地，如图4所示，在通过经训练的无标签的知识蒸馏模型得到目标特征图谱后，可以根据目标图像中的第二替换区域确定在每个目标特征图谱中对应的第二特征区域。其中，第二特征区域中的数据用于变换第一特征区域中的数据。
根据目标图像中所确定的第二替换区域的位置，在每个特征图谱中确定对应第二替换区域的第二特征区域的位置/>。第二替换区域的位置可以由人工设置，也可由算法选定指定区域。可以通过以如下方式确定第二特征区域/>。
其中，为第一替换区域中的像素坐标集合，即第二替换区域。（h，w）表示在目标特征图谱中的、对应第二替换区域中的像素的特征值坐标，/>表示在目标特征图谱中的、对应第二替换区域中的像素的特征值位置集合。
示例性地，如图4所示，在每个目标特征图谱中确定第一特征区域的位置与第二特征区域的位置后，根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换，以获取对第一特征区域的图谱信息进行变换后的目标合成图谱。其中，在每个目标特征图谱中，可以随机在第二特征区域中确定任意一个第二特征值。根据第二特征值对第一特征区域中的第一特征值进行替换，直至在目标特征图谱中第一特征区域内的所有第一特征值均已经被替换，以得到多个替换部分特征值后的目标特征图谱。当第一特征区域和第二特征区域大小形状一致时，也可以在每个目标特征图谱中，直接将第二特征区域的数据对第一特征区域的数据进行填充替换，以得到多个替换后的目标特征图谱。当得到多个替换后的目标特征图谱后，可以将该多个目标特征图谱合成为一个目标合成图谱。示例性地，目标合成图谱的合成可以通过算法、人工以及神经网络模型等方式实现。替代地，可以直接将该多个目标特征图谱拼接成一个目标合成图谱。
示例性地，如图4所示，得到目标合成图谱后，结合高斯噪声作为经训练的稳态扩散模型的输入。通过稳态扩散模型中的U-Net网络进行逆向推理，得到目标合成图像。
图5示出了根据本发明一个实施例的图像生成装置500的示意性框图。如图5所示，图像生成装置500包括第一确定模块510、特征提取模块520、第二确定模块530、特征变换模块540和图像生成模块550。
第一确定模块510用于在目标图像中确定第一替换区域和第二替换区域。特征提取模块520用于对目标图像进行特征提取，以获得目标图像的目标特征图谱。第二确定模块530用于在目标特征图谱中确定与第一替换区域位置对应的第一特征区域和与第二替换区域位置对应的第二特征区域。特征变换模块540用于在目标特征图谱中，根据第二特征区域的图谱信息对第一特征区域的图谱信息进行变换，以获取对第一特征区域的图谱信息进行变换后的目标合成图谱。图像生成模块550用于将目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，图像生成模型用于根据目标合成图谱进行逆向推理得到目标合成图像。
根据本发明另一方面，还提供了一种电子设备。图6示出了根据本发明一个实施例的电子设备600的示意性框图。如图6所示，电子设备600包括处理器610和存储器620，其中，存储器620中存储有计算机程序指令，计算机程序指令被处理器610运行时用于执行如上文所述的图像生成方法。
此外，根据本发明又一方面，还提供了一种存储介质。在所述存储介质上存储了程序指令。在所述程序指令被计算机或处理器运行时使得所述计算机或处理器执行本发明实施例的上述图像生成方法的相应步骤，并且用于实现根据本发明实施例的上述图像生成装置中的相应模块或上述电子设备中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
本领域普通技术人员通过阅读上述关于图像生成方法的具体描述，能够理解上述图像生成装置、电子设备和存储介质的具体实现和有益效果，为了简洁，在此不再赘述。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的图像生成装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种图像生成方法，其特征在于，所述方法包括：
在目标图像中确定第一替换区域和第二替换区域；
对所述目标图像进行特征提取，以获得所述目标图像的目标特征图谱；
在所述目标特征图谱中确定与所述第一替换区域位置对应的第一特征区域和与所述第二替换区域位置对应的第二特征区域；
在所述目标特征图谱中，根据所述第二特征区域的图谱信息对所述第一特征区域的图谱信息进行变换，以获取对所述第一特征区域的图谱信息进行变换后的目标合成图谱；
将所述目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，所述图像生成模型用于根据所述目标合成图谱进行逆向推理得到所述目标合成图像。
2.根据权利要求1所述的方法，其特征在于，根据所述第二特征区域的图谱信息对所述第一特征区域的图谱信息进行变换，包括：
对于所述第一特征区域中的每个第一特征值，在所述第二特征区域中确定第二特征值；
利用所述第二特征值替换所述第一特征区域中的第一特征值。
3.根据权利要求2所述的方法，其特征在于，所述在所述第二特征区域中确定第二特征值，包括：
在所述第二特征区域中随机确定第二特征值。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征区域的图谱信息对所述第一特征区域的图谱信息进行变换，包括：
利用所述第二特征区域的图谱信息直接对所述第一特征区域的图谱信息进行替换。
5.根据权利要求1至4任一项所述的方法，其特征在于，
所述对所述目标图像进行特征提取，以获得所述目标图像的目标特征图谱，包括：
将所述目标图像输入特征提取模型，以得到多个目标特征图谱；
所述在所述目标特征图谱中确定与所述第一替换区域位置对应的第一特征区域和与所述第二替换区域位置对应的第二特征区域，包括：
在每个目标特征图谱中，确定与所述第一替换区域位置对应的第一图谱信息以及与所述第二替换区域位置对应的第二图谱信息，其中，所述第一特征区域的图谱信息包括所有目标特征图谱中的第一图谱信息，所述第二特征区域的图谱信息包括所有目标特征图谱中的第二图谱信息。
6.根据权利要求5所述的方法，其特征在于，所述特征提取模型为无标签的知识蒸馏模型。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
对样本图像进行特征提取，以获得所述样本图像的样本特征图谱；
将所述样本特征图谱输入到原始的图像生成模型，以得到复原图像；
基于所述复原图像和所述样本图像之间的差异，训练所述原始的图像生成模型，以获得所述经训练的图像生成模型。
8.根据权利要求1至4任一项所述的方法，其特征在于，所述在目标图像中确定第一替换区域和第二替换区域，包括：
对所述目标图像进行目标检测，以获得所述第一替换区域或所述第二替换区域。
9.根据权利要求1至4任一项所述的方法，其特征在于，所述图像生成模型为稳态扩散模型，
所述将所述目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，包括：
将所述目标合成图谱和所述目标图像输入经训练的稳态扩散模型，其中，所述目标合成图谱作为所述稳态扩散模型的条件信息，将所述目标图像作为所述稳态扩散模型的输入图像。
10.一种图像生成装置，其特征在于，包括：
第一确定模块，用于在目标图像中确定第一替换区域和第二替换区域；
特征提取模块，用于对所述目标图像进行特征提取，以获得所述目标图像的目标特征图谱；
第二确定模块，用于在所述目标特征图谱中确定与所述第一替换区域位置对应的第一特征区域和与所述第二替换区域位置对应的第二特征区域；
特征变换模块，用于在所述目标特征图谱中，根据所述第二特征区域的图谱信息对所述第一特征区域的图谱信息进行变换，以获取对所述第一特征区域的图谱信息进行变换后的目标合成图谱；
图像生成模块，用于将所述目标合成图谱输入经训练的图像生成模型中，以得到目标合成图像，所述图像生成模型用于根据所述目标合成图谱进行逆向推理得到所述目标合成图像。
11.一种存储介质，在所述存储介质上存储了程序指令，其特征在于，所述程序指令在运行时用于执行如权利要求1至9任一项所述的图像生成方法。
12.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至9任一项所述的图像生成方法。
CN202311804219.2A 2023-12-26 2023-12-26 图像生成方法、装置、存储介质及电子设备 Active CN117475262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311804219.2A CN117475262B (zh) 2023-12-26 2023-12-26 图像生成方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311804219.2A CN117475262B (zh) 2023-12-26 2023-12-26 图像生成方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN117475262A CN117475262A (zh) 2024-01-30
CN117475262B true CN117475262B (zh) 2024-03-19

Family

ID=89625938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311804219.2A Active CN117475262B (zh) 2023-12-26 2023-12-26 图像生成方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117475262B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037640A (zh) * 2021-08-30 2022-02-11 华为技术有限公司 图像生成方法及装置
CN114170250A (zh) * 2022-02-14 2022-03-11 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、装置和电子设备
CN114612283A (zh) * 2022-03-18 2022-06-10 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN116935033A (zh) * 2023-07-18 2023-10-24 湖南宏动光电有限公司 基于卷积神经网络的红外目标检测识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8705887B2 (en) * 2008-08-22 2014-04-22 Weyerhaeuser Nr Company Method and apparatus for filling in or replacing image pixel data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037640A (zh) * 2021-08-30 2022-02-11 华为技术有限公司 图像生成方法及装置
CN114170250A (zh) * 2022-02-14 2022-03-11 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、装置和电子设备
CN114612283A (zh) * 2022-03-18 2022-06-10 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN116935033A (zh) * 2023-07-18 2023-10-24 湖南宏动光电有限公司 基于卷积神经网络的红外目标检测识别方法

Also Published As

Publication number Publication date
CN117475262A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN112183203B (zh) 一种基于多尺度像素特征融合的实时交通标志检测方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN113221740B (zh) 一种农田边界识别方法及系统
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN113591719B (zh) 一种自然场景任意形状文本检测方法、装置和训练方法
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN111723841A (zh) 文本检测方法、装置、电子设备及存储介质
CN117152414A (zh) 一种基于尺度注意力辅助学习方法的目标检测方法及系统
CN113763412B (zh) 图像处理方法、装置及电子设备、计算机可读存储介质
Xu et al. Multiple guidance network for industrial product surface inspection with one labeled target sample
CN114882204A (zh) 船名自动识别方法
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN117710295A (zh) 图像处理方法、装置、设备、介质及程序产品
CN117475262B (zh) 图像生成方法、装置、存储介质及电子设备
CN117011819A (zh) 基于特征引导注意力的车道线检测方法、装置及设备
CN113658180B (zh) 一种基于空间上下文引导的表面缺陷区域分割方法和装置
CN114219989A (zh) 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN111898531A (zh) 卫星通信信号识别方法、装置及电子设备
Manimurugan et al. HLASwin-T-ACoat-Net based Underwater Object Detection
CN118097427A (zh) 一种基于YOLOv8优化的货船水上障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant